近日，上海交通大学吕宝粮教授与郑伟龙副教授团队在情感计算领域取得了重要突破，其研究成果发表于国际权威期刊 IEEE Transactions on Affective Computing。该团队开发的名为“SEED-VII：一个用于情绪识别的含连续标签的六种基本情绪多模态数据集”的研究论文，为情绪识别技术的发展注入了新的活力。
从生理信号中精准识别情绪一直是科研人员关注的焦点。近年来，众多研究者致力于开发新算法，显著提高了情绪识别的准确率。但随着情感脑机接口技术的飞速发展，以及其在情感障碍疾病客观评估临床应用中的重要性日益凸显，对情绪类别丰富度和数据质量的要求也水涨船高，迫切需要高质量的情绪脑电数据集来助力人类情绪的精准解码。
为深入探究人类情绪解码的神经与认知机理，开发更高效的情绪识别算法，吕宝粮教授与郑伟龙副教授团队精心打造了 SEED-VII 多模态数据集。该数据集涵盖了脑电（EEG）信号和眼动信号，包含了快乐、悲伤、恐惧、厌恶、惊讶、愤怒以及中性这七种情绪。这些情绪是通过精心挑选的 80 段不同视频素材进行诱发的，同时，数据集还配备了能够精准表示相应情绪强度水平的连续标签，为情绪识别研究提供了更丰富、更精准的数据支持，有望推动情绪识别技术迈向新的高度。
本文的主要贡献如下：
1. 开发了一个新的多模态七类情绪数据集
开发了一个由六种基本情绪，即快乐、悲伤、恐惧、厌恶、惊讶和愤怒，再加中性情绪的七类多模态情绪数据集，多模态数据包括同步采集的脑电（EEG）信号和眼动信号。此外，对七类情绪的强度水平,数据集提供了连续的标签。
2. 提出了新的多模态自适应情绪Transformer（MAET）
提出了一种灵活的模型 MAET，能够通过专用模块处理单模态和多模态输入。为了提升域泛化能力，MAET 采用对抗训练减少被试者间的数据分布差异。
3. 在SEED-VII 数据集上开展了系统的对比实验
在单模态、多模态、被试依赖和被试独立等条件下，使用 SEED-VII 数据集进行了系统的实验，评估和比较了MAET 模型与其他分类器的性能。此外，本文还研究了表征情绪的神经特征的稳定模式以及眼动信号的统计特性。
4. 分析使用连续标签过滤高情绪强度数据的有效性
实验结果表明，过滤高情绪强度数据能够显著增强所提方法的情绪区分能力。此外，我们还进行了低情绪强度和高情绪强度分类和回归实验，探索在无连续标签的情况下进行过滤的可行性。
图：通过短视频诱发被试七类情绪的实验设计图右侧部分的每行表示一个包含20个实验片段的一次完整的实验过程，不同的颜色代表希望短视频诱发被试的不同的情绪状态。为了避免长时间实验导致被试疲劳和情绪诱发效果下降的问题，本研究将七类情绪的诱发通过四次完整的实验完成，每次完整的实验所诱发的情绪类别见图右侧四行中不同的颜色所示。图最左边表示单次实验片段的过程，包括四个部分：实验开始的提示、视频观看、实验结束的提示以及最后需要被试对当前被诱发的情绪状态强度的打分。
SEED系列数据集简介
自2015年10月对外正式发布上海交通大学情绪脑电数据集SEED（SJTU Emotion EEG Dataset）以来，吕宝粮教授和郑伟龙副教授团队先后发布了SEED系列的10个子集，包括四个情绪数据集（SEED、SEED-IV、SEED-V和SEED-VII）、两个跨文化情绪数据集（SEED-FRA和SEED-GER）、三个疲劳驾驶监测数据集（SEED-VIG、SEED-VLA和SEED-VRW）和一个通过脑电信号解码视频的数据集（SEED-DV）。目前，SEED系列数据集已成为全球数据量最大、数据类型最多的情绪脑电数据集，也是国际上最常用的两个标准情绪脑电数据集之一。
郑伟龙副教授
郑伟龙，上海交通大学计算机科学与工程系长聘教轨副教授，博士生导师。入选国家级高层次海外青年人才和上海市海外高层次青年人才。他于2018年在上海交通大学计算机科学与工程系获得博士学位，之后在哈佛大学医学院麻省总医院和麻省理工学院从事博士后研究，长期从事脑认知与智能、情感计算、脑机交互、类脑计算理论与模型等方面研究。在国际高水平会议和期刊发表研究论文110余篇，多篇论文入选ESI高被引论文。荣获IEEE Transactions on Autonomous Mental Development最佳论文奖、IEEE Transactions on Affective Computing最佳论文奖、ACM Multimedia Top Paper Award、中国人工智能学会优秀博士学位论文奖以及吴文俊人工智能自然科学一等奖，入选上海市浦江人才项目、小米青年学者、微软亚洲研究院铸星计划、2023和2024全球前2%科学家年度影响力榜单。目前担任IEEE Transactions on Affective Computing编委。个人主页：https://weilongzheng.github.io/
吕宝粮教授
吕宝粮，上海交通大学计算机科学与工程系二级教授、博士生导师、IEEE Fellow。1994年获日本京都大学工学博士学位，现任上海交通大学智能人机交互与认知工程上海高校重点实验室主任和上海零唯一思科技有限公司首席科学家，担任IEEE Trans. Affective Computing和Journal of Neural Engineering编委。荣获2018 IEEE Trans. Autonomous Mental Development最佳论文奖、2020年度吴文俊人工智能自然科学一等奖、2021 IEEE Trans. Affective Computing最佳论文奖和2022亚太神经网络学会杰出成就奖，入选爱思唯尔2020至2023中国高被引学者榜单。主要研究领域包括深度学习、脑电大模型、情感智能、情感脑机接口及其在情感障碍疾病的客观评估与数字疗法。
SEED-VII数据集已公开发布在：
https://bcmi.sjtu.edu.cn/home/seed/seed-vii.html
论文原文链接：
https://doi.org/10.1109/TAFFC.2024.3485057
审核编校：潘家辉
