观点网讯:近日,中科曙光推出面向AI for Science(AI4S)的评测体系OneScienceBench。据该公司官方发布,该体系将评测覆盖从任务执行过程到产出细节的全科研流程,为智能体能力分析和持续优化提供更细致的依据。
AI正深入参与模型开发、论文复现和科学发现等科研环节,如何判断科研智能体完成了多少工作、执行过程是否可靠、结果能否支撑科学结论,仍是待解决的问题。
OneScienceBench围绕生物信息、地球信息、材料化学与流体等领域,设计两类互补的评测任务。其中,单模型实现任务覆盖模型训练、推理、二次开发和论文复现等环节,通过程序逐项校验代码与产物,检验科学方法的实现是否正确。
真实科研场景任务面向多阶段的科研流程,从任务理解、推理决策、执行过程、结果验证四个维度进行判定,考察各环节的执行与衔接情况。
任务设计上,该体系引入“最小充分约束”,只约定必要的输入输出、接口规范、科学参数与运行边界,既保留合理的操作空间,又使任务执行与产出可验证。
评测规模方面,目前OneScienceBench的评测规模已覆盖100余项单模型任务和110余项科学场景任务,并对多个智能体及基座模型组合进行了测试。
此外,该体系从科学方法、科研流程、结果验证和运行条件四个方面给出可追溯的能力证据,并已在GitHub以MIT许可证开源。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。
4001102288 欢迎批评指正
Copyright © 1996-2019 SINA Corporation
All Rights Reserved 新浪公司 版权所有
All Rights Reserved 新浪公司 版权所有
