本文源自:金融界
金融界 2024 年 11 月 11 日消息，国家知识产权局信息显示，泉州桐兴科技有限公司申请一项名为“一种基于模态多样性的短视频自动标注方法”的专利，公开号 CN 118918520 A，申请日期为 2024 年 10 月。
专利摘要显示，本发明提供一种基于模态多样性的短视频自动标注方法，属于自动标注领域，包括：获取三种模态以描述短视频的整体表示；将三种模态两两组合形成三种模态组，分别将各模态组合输入多头注意力机制中，以得到增强的视觉特征fv、增强的轨迹特征ft和增强的音频特征fa，并获取一致性损失函数以实现对模态关系的制约；分别得到视觉特定表示、轨迹特定表示和音频特定表示，进而得到解纠缠损失函数；利用公式实现各模态的调制，得到调制量；根据一致性损失函数、解纠缠损失函数以及自动检索损失函数得到总损失函数以总损失函数进行训练。本发明增强了模态的表示能力，提高了标注的准确性。
