本文源自:金融界
金融界2024年9月26日消息，国家知识产权局信息显示，国能大渡河大数据服务有限公司申请一项名为“基于阶段训练和注意力融合的多出口架构自蒸馏方法”的专利，公开号CN 118690831 A，申请日期为2024年8月。
专利摘要显示，本发明提供基于阶段训练和注意力融合的多出口架构自蒸馏方法，涉及知识蒸馏领域，包括：根据深度将教师模型划分为多个出口分支，其中，教师模型和学生模型用于图像分类，多个出口分支中，深度最深的分支为教师模型，深度最浅的出口分支为学生模型，其余的出口分支为中间模型；建立总损失函数；基于多个出口分支及注意力融合算法，训练学生模型，基于总损失函数，计算总损失，基于总损失，优化学生模型，直至学生模型满足预设条件，具有提高知识传递的效率，改进知识自蒸馏框架的性能的优点。
