沈昌祥院士：大模型及生成式AI须首先确保安全可信_新浪财经

转自：北京日报客户端

大模型发展如火如荼，安全保障也需跟上。4月28日，在2024中关村论坛年会平行论坛“行业大模型创新发展论坛”上，中国工程院院士沈昌祥提出，要用主动免疫可信计算筑牢人工智能安全防线，他直言：“大模型及生成式AI必须确保安全可信为前提。”

“人工智能在赋能人类社会加快发展的同时，正逐渐衍生出可危及国家安全和人类安全的重大风险。” 沈昌祥表示，多位著名科学家警告人工智能发展将毁灭人类社会，并援引伊隆·马斯克、OpenAI CEO萨姆·奥尔特曼等全球范围内AI领域重要人物联名公开信观点：“应将缓解人工智能导致的灭绝风险，与其他社会规模风险（如大流行病和核战争）等视作等同，作为全球优先事项。”

沈昌祥认为，机器人智能行为体一旦失控将危及人类安全，只有在确保人工智能安全可信的前提下才能健康发展。

何为“安全可信”？沈昌祥表示，安全可信意味着降低网络空间脆弱性，用安全可信产品和服务，在计算同时并行进行动态的全方位整体防护，使得完成计算任务的逻辑组合不被篡改和破坏，达到预期的计算目标，“这相当于人体具有免疫力，确保健康。”

具体该如何构建安全可信的人工智能？沈昌祥认为，应从三个维度展开。首先是人工智能业务信息安全可信，即在物理环境信息数据处理、算法模型规则及伦理以及软件代码和流程上实现安全可信。其次，是计算处理服务资源安全可信，比如传感控制设备、通信网络、计算能力（云）等方面实现安全可信。最后是安全可信管理，比如系统资源配置应满足高强度计算，建立起异常控制与审计监控等。

人工智能安全可信离不开可信计算的不断演进。沈昌祥介绍称，我国可信计算技术源于1992年立项研究的主动免疫综合防护系统，经过长期技术攻关，形成自主创新的可信计算3.0体系，特征包括终端、服务器、存储系统体系可信等。“从具备可信计算功能的国产CPU，到嵌入式可信芯片，再到具备可信计算技术的设备，完备的可信计算3.0产品链，将形成巨大的新型产业空间。”