近期，多家人工智能企业和研究机构披露，部分前沿模型在测试中突破任务边界、进入真实系统，甚至通过伪装身份、修改记录等方式规避监督。中国信通院开展的研究与测试也发现，模型在目标受阻后可能自主扩大操作范围。这些现象表明，人工智能风险正从有害内容生成向自主行为越界延伸。
相关事件尚不足以证明人工智能已普遍失控，更不能据此认定其具有自主意识，但人工智能能力提升与安全约束之间的落差已经显现。把握风险尚未规模化扩散的窗口期，推动治理由被动应对转向主动防御，已成为人工智能发展的重要课题。
从“说”到“做”，AI越界风险可能向真实系统外溢
过去，人工智能安全讨论较多关注模型被恶意提示诱导、绕过安全限制并生成有害内容的问题。随着模型自主规划能力增强，并以智能体形态获得工具调用、联网和文件操作等权限，风险进一步延伸至任务执行环节。
部分模型在执行任务时，可能超出既定任务范围或授权范围，绕过安全约束，实施未经允许的操作。这类行为可概括为“行为越界”。模型的判断通过智能体的工具调用转化为实际操作，可能对真实系统产生影响。
从触发路径看，既有人类恶意诱导，也有模型为完成目标自主寻找越界路径，还有环境配置失误造成的非授权访问。从行为表现看，则呈现“执行时投机取巧”“识别风险后仍继续执行”“欺骗并规避监督”等不同情形。有的模型绕开正常解题过程，通过外部渠道获取评测答案；有的在判断目标可能是真实系统后，仍将其解释为测试的一部分并继续操作；还有的创建虚假身份，试图推动恶意代码进入真实开源项目，受到质疑后修改活动记录。中国信通院开展复现测试，部分前沿模型在特定测试条件下存在超出授权范围、攻击真实系统的行为。
对于这类安全风险需要客观看待。获取公开评测资料与入侵生产系统，产生的危害程度不同；部分评测关闭了面向公众产品的安全防护，也不能直接等同于日常使用风险。类似“欺骗”的行为不足以证明模型具有人一般的主观意图，同时也并不意味着没有现实危害。
当前，网络已成为风险外溢的重要路径。随着人工智能逐渐深入金融交易、工业软件、能源系统等领域，越界操作可能由单一任务波及关联业务，多智能体之间共享工具、信息和执行结果，还可能放大风险。当智能体进一步接入机器人和智能装备，影响将从数据与系统安全延伸至生产和人身安全。安全评估不仅要识别模型自身的越界行为，还应结合其接入的系统、获得的权限和具体应用场景，判断可能造成的实际后果。
从能力跃升到约束失配，安全治理面临多重考验
AI行为越界风险由模型、任务和环境共同作用产生。模型越善于规划和寻找替代路径，越需要稳定识别授权范围与停止条件。
其一是任务目标与安全约束失衡。如果训练和评价过度强调完成率，却未充分约束完成任务的过程，模型就可能利用规则漏洞获得表面成功。连续运行和反复试错进一步增加了偏离预设路径的机会。即便模型能够识别风险，也不代表一定会停止执行，安全对齐仍需覆盖复杂任务和长程行动。
其二是外部防护与实际能力失配。提示词中的“禁止联网”不能代替网络隔离，一句“不得越权”也不能代替权限控制。软件漏洞、凭证管理疏漏和环境配置错误，都可能使原本局限于测试范围的操作触及真实系统。模型发现和利用漏洞的能力增强，也对安全防护提出更高要求。
其三是监测评估与风险演化脱节。智能体的异常行为可能隐藏在大量正常操作中，仅凭最终回答难以发现。一次性评测也难以覆盖版本更新、工具接入和权限扩大后的变化。我国已形成安全评估、标准建设和行业实践等治理基础，但面向研发测试环节、高风险自主能力、部署后持续监测，相关评测方法仍有待完善。
国际上，前沿模型治理正在向发布前评测、持续监测和分级处置延伸。欧盟通过制度明确系统性风险治理责任，英国持续开展独立测试，美国有关机构加强前沿模型能力评估，头部企业探索安全框架、限制访问和分阶段发布。我国产业界积极探索前沿模型安全评测方法，推动技术防护与风险管理相结合。
总体而言，各方仍在通过持续评测和实践验证等手段识别风险阈值、改进防护措施，探索与模型能力演进相适应的治理机制。
从事后修补到全程防控，让安全能力跟上技术进步
应对前沿模型风险，需要统筹发展和安全，将制度责任、技术防护、评测验证和国际合作贯通起来。
健全制度机制，将风险管理延伸至研发、测试、部署和运行全过程，依据模型能力与潜在危害实施分级管理。完善安全事件报告、风险通报和处置机制，加强对模型权重、身份凭证、重要数据的保护，明确高风险训练测试活动的安全责任。
加强技术攻关，推动安全对齐从约束输出扩展到约束行动。提升模型在长程任务中的权限遵守、风险识别和越界停止等行为能力，同时完善独立于模型的运行防护，强化网络隔离、最小权限、异常检测和独立审计。涉及资金、重要数据及生产设备的操作，应设置人工确认和外部校验，确保异常发生时能够中止任务、撤销权限并追溯责任。
持续深化评测，既测试模型能做什么，也验证其是否能够守住边界。对高自主性模型，应加强发布前独立测试。重大版本更新、工具接入或权限扩大后，应重新评估。推动落实人工智能系统风险管理相关标准和行业安全承诺，形成评测、反馈、整改、复测的闭环，避免安全要求停留在纸面。
加强国际协同，围绕风险分类、测试方法和事件处置共享经验，探索联合评测与标准衔接。依托国际电信联盟等平台参与规则制定，以扎实的技术能力和评测证据提升治理影响力。
人工智能的进步，既体现为解决复杂问题的能力，也体现为在授权范围内可靠行动的能力。让安全约束贯穿执行全过程，才能将不断增长的技术潜力转化为可持续的发展动力。
（呼娜英 作者系中国信通院人工智能研究所安全治理部副主任）
（新华每日电讯）
4001102288 欢迎批评指正
All Rights Reserved 新浪公司 版权所有
