本文源自:金融界
金融界2024年10月24日消息，国家知识产权局信息显示，珍岛信息技术（上海）股份有限公司申请一项名为“一种基于多模态的文本摘要生成方法”的专利，公开号CN 118797038 A，申请日期为2024年7月。
专利摘要显示，本发明公开了一种基于多模态的文本摘要生成方法，属于数据处理技术领域，具体包括：采集图像数据和文本数据，并分别进行预处理；基于卷积神经网络提取图像的视觉特征；使用自然语言处理技术对文本数据进行特征提取，通过词袋模型、TF‑IDF获取文本的语义特征，所述语义特征包括词频和逆文档频率；将图像和文本的特征进行融合，得到一个综合的多模态特征向量；融合方法包括简单拼接、加权融合、MLP模态融合；构建文本生成模型，以将多模态特征向量作为输入，生成摘要文本；使用ROUGE评估指标对生成的摘要文本进行评估；根据评估结果，对模型进行优化；本发明实现了生成具有准确度和流畅度的多模态摘要文本。
