近期,MathEval数学能力评估标准备受瞩目,该项目由国家级智慧教育人工智能平台携手暨南大学、北京师范大学、华东师范大学、西安交通大学及香港城市大学等多所知名高校共同推出。这一评估工具旨在全面探究大型人工智能模型在解决数学问题方面的能力,覆盖基础算术至高级数学、学生竞赛等多个领域,涉及近30,000道题目,横跨19个数学领域。最新榜单显示,学而思旗下的九章大模型以卓越表现荣登榜首,彰显了其在数学问题解决方面的领先地位。
随着大模型技术的飞速发展,其在数学领域的应用已变得日益广泛,涵盖复杂数学问题的解答、数据辅助分析、学术研究的推动以及教育辅导等多个方面。然而,行业内对于这些模型在数学领域的具体表现进行系统评估的标准仍存在空白。过去的评估主要聚焦于模型的通用能力,或是其在推理、自然科学等领域的表现,而针对数学能力的专项评估及统一标准尚显不足。MathEval的推出,恰恰弥补了这一领域的空白,为评估大模型在数学处理方面的能力提供了专业且全面的标准。
对大模型的数学能力进行精准评估面临诸多挑战,其中最为突出的是如何有效比较不同模型的输出。由于各模型可能采用不同的输入提示模板和输出答案格式,评估工具需要设计既适应各种情况又确保公平性的规则,以便从模型答案中提取出可比较的数据。这一任务对评估工具设计者而言极具挑战性,因为微小的规则调整都可能对评估结果产生显著影响。
从MathEval最新发布的成绩单来看,学而思的九章大模型在总体成绩及中英文、不同教育阶段的子榜单中均展现出显著优势,稳居领先地位。这得益于九章大模型专注于数学问题的解答与讲解。同时,国内其他通用大模型如文心一言4.0和讯飞星火V3.5也在评估中表现出色,成绩甚至超越GPT-4,显示出中国在数学领域大模型技术上的显著进步与强大竞争力。展望未来,如何将这些先进的大模型技术更好地应用于实际场景,以及它们未来的发展方向,将成为业界深入探讨的焦点。
