本文源自:金融界
金融界2024年12月9日消息，国家知识产权局信息显示，广州大有网络科技有限公司申请一项名为“一种混合模态专家情感识别方法和系统”的专利，公开号CN 119089259 A，申请日期为2024年8月。
专利摘要显示，本发明公开了一种混合模态专家情感识别方法和系统，涉及情感识别技术领域，该方法包括：利用不同模态数据对应的预训练模型对待识别模态数据进行特征提取，得到待识别模态数据中模态数据对应的模态特征；其中，待识别模态数据包括音频模态数据、文本模态数据和视觉模态数据中的至少一种；利用训练完成的混合模态专家模型对模态特征进行情感识别，得到待识别模态数据的情感识别结果；其中，混合模态专家模型用于提取模态特征的单模态表征和联合表征，将单模态表征和联合表征动态融合后进行情感识别得到情感识别结果。本发明方法克服了只有一个模态数据可用时提取的表征的判别力不足的问题，提高了在多个模态缺失场景下的识别性能。
