人工智能生成虚假信息的刑法治理

以下文章来源于比较法研究 ，作者皮勇 。 原文标题：《理论前沿｜皮勇：人工智能生成虚假信息的刑法治理——以欧盟《人工智能法》中的安全风险防控机制为借鉴》

作者：皮勇（同济大学上海国际知识产权学院教授，法学博士）

出处：《比较法研究》2025年第1期

目次

一、人工智能生成虚假信息相关行为及其刑法治理困难

二、人工智能生成虚假信息危害的责任主体

三、我国人工智能信息服务安全管理义务及其承担者的刑事责任

四、结论

摘要：人工智能生成虚假信息涉及多种情形，难以在现有法律体系下得到有效控制，应以人工智能系统为防控对象构建安全风险防控体系，当前国际社会和我国采取的是客体式防控，主体式防控不利于实现人工智能系统的可控性和消除人工智能生成虚假信息危害。深度合成、生成式等人工智能系统是与公众交互信息的人工智能系统，对其生成虚假信息的治理应当以系统提供者、运营者承担安全管理义务为重点，当前我国相关立法不完善，欧盟《人工智能法》中的安全风险类型化防控机制具有借鉴价值。基于风险防控的有限规范责任理论可以为人工智能安全管理义务承担者负刑事责任提供理论支持，有必要设立故意违反人工智能安全管理义务犯罪，该罪的性质是违反特殊的公共产品运行安全管理义务的不作为犯，犯罪主体应当限定为人工智能系统提供者和运营者，处罚造成严重后果或有其他严重情节的行为。

关键词：人工智能；虚假信息；欧盟《人工智能法》；安全管理义务；刑法治理

网络空间充斥着大量虚假信息，维护网络信息安全是我国刑法的重要任务。随着人工智能技术的发展应用，网络空间出现了大量人工智能生成的虚假信息，这些虚假信息具有更高的仿真性和欺骗性，随着深度合成和生成式人工智能应用工具化和普及化，不具有高技术能力和信息资源的违法犯罪人也能制作、获取高仿真的虚假信息，使得网络空间中高欺骗性虚假信息倍增，造成严重危害。由于人工智能的自主性，前述虚假信息的生成、传播有别于传统的网络谣言犯罪，给网络虚假信息的刑法治理带来新挑战，有必要研究人工智能生成虚假信息相关行为及有效的治理方案。

01人工智能生成虚假信息相关行为及其刑法治理困难

当前新一代人工智能应用于社会多领域，自动驾驶汽车、人工智能医疗、深度合成、生成式人工智能系统获得广泛应用。其中，涉及虚假信息生成、传播的主要是DeepFake、ChatGPT等人工智能系统，这些人工智能系统并非自动生成、发送虚假信息，而是与人类活动相结合，当前主要表现为以下四种情形。

（一）行为人利用人工智能系统生成虚假信息并通过互联网平台传播

该情形是行为人向ChatGPT、DeepFake等深度合成和生成式人工智能系统输入文字、音频、视频素材等信息，操控后者生成虚假信息并通过互联网平台散布。当前此种情形的案件数量较大，如2023年我国发生“上虞工业园区火灾”虚假视频案，又如同年发生的编造传播“甘肃一火车撞上修路工人致9人死亡”虚假新闻案。该类案件在境外也有发生，比如捷克色情制造公司Czech Casting利用DeepFake软件制作淫秽视频并在互联网上贩卖案。在该种情形的案件中，虚假信息的生成和传播与人工智能软件的使用者、提供者和互联网平台三方有关，对其适用刑法受虚假信息的内容影响：（1）在“上虞工业园区火灾”虚假视频案中，行为人使用人工智能软件编造虚假火灾信息并故意散布，符合编造、故意传播虚假信息罪的危害行为特征，如果达到“严重扰乱社会秩序”程度的，如虚假信息具有“可能性、重大性、急迫性”，可以追究刑事责任。（2）在“甘肃一火车撞上修路工人致9人死亡”虚假新闻案中，洪某弟使用ChatGPT系统编造虚假信息并故意散布，由于该虚假信息不属于我国刑法第291条之一规定的四种虚假信息，故不能按该条规定之罪处罚。对于编造、故意传播虚假的险情、疫情、灾情、警情、恐怖信息之外的虚假信息的，2013年最高人民法院、最高人民检察院《关于办理利用信息网络实施诽谤等刑事案件适用法律若干问题的解释》（以下简称“《网络诽谤解释》”）第5条规定，“编造虚假信息，或者明知是编造的虚假信息，在信息网络上散布”，造成公共秩序严重混乱的，以寻衅滋事罪定罪处罚。寻衅滋事罪与编造、故意传播虚假恐怖信息罪的最高法定刑相同，该司法解释处罚编造、传播一般的虚假信息行为，使得两罪及编造、故意传播虚假信息罪的罪刑关系失衡，加之，将寻衅滋事罪中“公共场所秩序”修改为“公共秩序”，使该罪的适用范围由“物态‘公共场所’扩大到纯粹信息交流、无侵害人身/财产危险的信息网络”；有学者批评其“以解释之名，行立法之实”，认为“《刑法修正案（九）》生效后利用信息网络或者其他媒体造谣、传谣的行为，原则上即不得再根据司法解释以寻衅滋事罪论处”。

在以上两案中，网络服务提供者对虚假信息的扩散起着重要作用，如果拒不履行信息网络安全管理义务且情节严重的，可能构成拒不履行信息网络安全管理义务罪。有学者基于帮助犯及相关理论，提出该罪处罚的是中立帮助行为，批评该罪“将网络中立帮助行为作为分则罪名的正犯行为处理”；也有学者提出该罪处罚的是违反安全管理义务的不作为行为，“其对特定义务的有意识违反奠定了正犯性”。笔者认同后者观点，该罪是不作为犯，应受处罚的是“拒不改正”行为，“主观上具有拒不履行协助管理义务、对抗法律的心态，客观上拒不改正，未阻止法定后果的发生”。当前网络空间违法犯罪泛滥，且集中于网络服务平台中，主管部门没有直接管理信息网络的能力和条件，如果不要求网络服务提供者承担必要的协助管理义务，网络空间将成为事实上的“法外社会”，该罪作为网络空间的安全基石“不可动摇”。

在前述案件中，人工智能系统对违法犯罪活动的实施提供了关键支持，如其不被有效管控，难以逆转人工智能生成虚假信息的泛滥之势，然而，我国现行刑法对其无法规制。首先，利用人工智能系统如DeepFake系统制作、故意传播假冒他人的虚假淫秽视频的行为可能构成制作、传播淫秽物品罪，也有学者提出应对滥用个人生物识别信息的行为增设身份盗窃罪，但以上犯罪立法或立法建议针对的是利用人工智能系统的行为，而非提供人工智能系统或服务的行为。其次，除非人工智能系统是专用于非法侵入、非法控制计算机信息系统的程序，或者提供者明知他人实施侵入、非法控制计算机信息系统的违法犯罪，而为其提供两用型人工智能系统，否则，对提供行为也不能适用提供侵入、非法控制计算机信息系统程序、工具罪。再次，当前法律法规没有规定人工智能系统提供者的刑法义务，仅ChatGPT等向网络用户提供信息服务的人工智能系统提供者可以认定为网络服务提供者，脱网提供信息服务或向网络用户提供技术支持的人工智能系统提供者都不属于网络服务提供者，从而不能适用拒不履行信息网络安全管理义务罪。ChatGPT等人工智能信息系统运营者不了解下游犯罪人及其活动，没有帮助其实施违法犯罪的故意，不构成适用帮助信息网络犯罪活动罪及其他网络相关犯罪。

（二）行为人明知与人工智能系统交互得到虚假信息而故意通过互联网平台散布

该情形是行为人与ChatGPT等生成式人工智能系统交互中，人工智能系统输出不实信息，行为人明知该信息为虚假信息，仍然通过互联网平台散布。2023年美国律师施瓦茨在提交的法庭文件中引用了ChatGPT编造的案例。如果行为人从ChatGPT上获取了虚假的险情、疫情、灾情、警情、恐怖信息，明知为虚假信息而通过互联网平台散布的，可以构成编造、故意传播虚假恐怖信息罪和编造、故意传播虚假信息罪。但是，如果虚假信息是诽谤他人的信息，对于以上行为能否认定为诽谤罪则有不同观点。我国刑法第246条将诽谤罪行为规定为“捏造事实诽谤他人”，刑法学通说认为，诽谤罪的危害行为包括捏造事实和诽谤两个行为，缺少其中之一则不能构成诽谤罪。而前述《网络诽谤解释》第1条第2款规定，“明知是捏造的损害他人名誉的事实，在信息网络上散布，情节恶劣的，以‘捏造事实诽谤他人’论”。关于该款解释是否为类推解释？有学者认为，诽谤罪的构成要件行为是单一行为，是“以捏造（或者虚假）的事实诽谤他人”，前述解释不是类推解释而是平义解释。倘若如此，因为诽谤他人的虚假信息往往带有侮辱的意义，“以捏造（或者虚假）的事实诽谤他人”同时构成诽谤罪和侮辱罪，两罪是部分交叉的法条竞合关系且法定刑相同，直接以后罪定罪量刑即可，无需专门解释为诽谤罪。更重要的是，我国刑法明确将该罪行为规定为“捏造事实诽谤他人”，“捏造事实”是法定的构成要件行为，以司法解释和学理解释的方式推翻刑法的规定属于越权解释，即使诽谤罪行为应当像编造、故意传播虚假恐怖信息罪和编造、故意传播虚假信息罪一样，包括“明知是虚假信息，故意在信息网络或者其他媒体上传播”的行为方式，也应修改该罪立法来实现。但是，行为人明知与ChatGPT等人工智能系统交互所得的是诽谤他人的虚假信息，故意在互联网平台上散布的，可以认定为“捏造事实诽谤他人”，理由是：客观上该虚假信息由行为人向ChatGPT系统输入数据后形成，由于其不能控制ChatGPT的输出结果，不属于事前或事中的故意“捏造事实”，在虚假信息形成之后，因其明知为虚假信息而故意传播的心理态度，可以被评价为“事后的故意”捏造事实，与后续的故意传播行为一起，构成诽谤罪的“捏造事实诽谤他人”行为。

ChatGPT系统生成虚假信息是否可以认定为刑法上的“捏造事实”？客观上虚假信息由ChatGPT系统生成，但是，刑法上的行为限于自然人或单位所实施，并对生成虚假信息持故意的心理态度，ChatGPT系统不满足犯罪主体、犯罪故意条件，其生成信息不构成刑法上的“捏造事实”。赞同人工智能犯罪主体说的学者认为，ChatGPT等生成式人工智能有可能满足自由意志到刑事责任能力条件，再到具备刑事责任主体条件，以新的物种成为刑法上的犯罪主体。这种理论假说的条件在当前及可见的未来难以满足，不影响第二种情形下对前述自然人、网络服务提供者和人工智能系统提供者的刑事责任。

（三）行为人采信与人工智能系统交互获得的信息并故意通过互联网平台散布

该情形是行为人向ChatGPT等生成式人工智能系统输入文字等信息后获得虚假信息，其认同该信息内容的真实性并通过互联网平台散布。即使行为人认识到散布其采信的信息会造成危害后果，因前述三罪要求明知为虚假信息，故其行为不能被认定为构成前述三罪。美日刑法对诽谤罪规定了“确有恶意”、“合理确信”等入罪条件，对认定前述三罪无参考价值，因为后者规定了“明知”条件，所谓“主观真实”的情形不构成前述三罪，无需援引宪法的规定来解决包括三罪在内的言论型犯罪的司法困难。但是，该情形有可能构成侮辱罪，煽动民族仇恨，民族歧视罪，宣扬恐怖主义、极端主义罪，即使行为人相信信息的内容是真实的，如相信他人存在阴私缺陷而公开散布的，可以构成侮辱罪；又如行为人基于极端宗教信仰相信“圣战进天堂”而宣扬散布的，仍然应依法追究其宣扬恐怖主义、极端主义罪的刑事责任，行为人对散布所采信信息的社会危害性有认识，齐备以上两罪的主客观要件，没有理由不追究其刑事责任，以上两罪立法不违宪。在该二罪司法适用中进行所谓“合宪性认定”，不仅无必要反而有害。

（四）行为人与ChatGPT等生成式人工智能系统交互获得虚假信息但未散布

该情形是ChatGPT等生成式人工智能系统向我国境内的用户输出虚假信息，后者未将该信息对外散布。ChatGPT等境外生成式人工智能系统不符合我国互联网信息服务相关规定，不能合法向我国境内用户提供服务，行为人采取“翻墙”等手段使用或者在境外使用获取虚假信息但未散布的，不违反现行刑法规定，更无刑事责任之虞。但是，以上系统对公众输出虚假信息客观上具有危害性。ChatGPT等生成式人工智能系统的交互能力源于其算法，算法通过数据训练形成，如果训练数据的选择存在偏见和歧视，算法必然有“偏见和歧视”，进而可能输出不准确或虚假的信息。事实上，当前ChatGPT等境外生成式人工智能系统多采用外文数据特别是境外新闻网站上的数据作为训练数据，基本上不使用我国官方媒体上的数据，而前者网站上充斥着“反华仇中”信息，导致其算法在某些方面存在明显的偏见，当其向我国境内广大受众输出虚假信息时，会扰乱我国信息网络活动秩序，对我国社会安全造成严重危害。

第三、四种情形中同样存在前述人工智能系统、网络服务提供者和人工智能系统提供者相关刑事责任问题。当前我国规制前述人工智能系统提供者的仅有《互联网信息服务深度合成管理规定》（以下简称“《深度合成规定》”）、《生成式人工智能服务管理暂行办法》（以下简称“《办法》”）等互联网信息服务相关部门规章，将其按网络服务提供者进行管理，适用范围有限，法律层级低效力弱，无法有效管控人工智能信息服务安全风险，欠缺惩治严重危害人工智能安全行为的犯罪立法。有学者以新过失论为依据，提出对人工智能系统提供者设定“设计、出厂检查、运行管理义务”，设立类似于拒不履行信息网络安全管理义务罪的人工智能系统提供者拒不履行义务的结果犯，以弥补人工智能安全刑事立法的不足，但是，该义务与信息网络安全管理义务的性质和内容不同，其属于人工智能产品质量管理义务还是人工智能服务安全管理义务，以及设立该义务的法律依据、理论基础和罪状等，缺乏深入研究。

综上，人工智能生成虚假信息的刑法治理涉及多种情形，对于自然人、网络服务提供者相关行为已有相应刑法规定，学界对相关问题的讨论较为充分，目前主要问题是欠缺人工智能系统及其提供者相关立法，人工智能生成虚假信息的危害难以在现有法律体系下得到有效控制，理论上对前述危害的责任主体及行为研究不足，有必要对以上问题进行专门研究。

02人工智能生成虚假信息危害的责任主体

对于人工智能生成虚假信息的危害，人工智能系统用户、互联网信息服务提供者、人工智能系统及其提供者以不同方式“加功”，消除危害必须进行全面的源头治理。用户和互联网信息服务提供者作为刑事责任主体已有定论，人工智能系统及其提供者应否作为刑事责任主体是学者们讨论的焦点问题，当前人工智能安全立法对此没有明确的规定，应研究人工智能生成虚假信息的应然责任主体及其理论基础问题。

（一）前提问题：人工智能系统是否可控

人工智能系统具有自主性和智能性，在研究人工智能系统及其相关方是否应当及承担何种法律责任之前，需要回答一个前提问题——人工智能系统是否可控？2024年5月通过的欧盟《人工智能法》（Regulation of the European Parliament and of the Council Laying Down Harmonized Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts，以下简称EU AIA）将人工智能系统定义为“一种基于机器的系统，它被设计为具有不同程度的自主性，为了显性或隐性目标可以产生影响物理或虚拟环境的输出，如预测、建议或决策”。强调自主性是人工智能系统的基本特性，具有推理和影响物理的或虚拟环境的能力，能够在没有人类干预的情况下进行操作，自主地适应和执行新的任务。当前人工智能系统不仅在逻辑思维能力方面远超人类，如在国际象棋和围棋的人机大赛中AlphaGO等人工智能系统击败了顶尖的人类棋手，其智能“涌现”可比肩人类的灵感，未来人工智能在整体上超越人类已经不再遥远。人工智能系统的高自主性、高智能性和高复杂性及其指数级的演进速度，使得当前及未来人工智能系统是否可控成为需要回答的关键问题。如果人工智能系统不具有可控性，其智能性、自主性程度越高，对人类的威胁就越大，人类无力抵抗人工智能发展应用带来的一切，包括可能遭受的损害、操控乃至毁灭。对于不可控的人工智能系统，无论其是作为客体进行管控还是按法律主体来规范都是不可能实现的，从而其不应被发展和应用，否则等于选择人类自我毁灭之路。当前国际社会假定人工智能系统具有可控性，并将其规定为人工智能开发应用的基本原则。2017年1月阿西洛马会议确定的23条阿西洛马人工智能原则中包括“人类控制”原则，2021年9月25日我国发布的《新一代人工智能伦理规范》第3条也规定了人工智能活动应遵循的基本伦理规范，其中包括“确保可控可信”、“确保人工智能始终处于人类控制之下”的原则。

在假设人工智能具有可控性并以此为目标的基础上，应以人工智能系统为防控对象构建安全风险防控体系。人工智能安全风险防控方式主要有两种。一种是客体式防控，将人工智能系统作为客体，通过规范人工智能系统的设计研发、生产、应用等活动来防控人工智能系统安全风险，使相关人员承担产品生产、应用安全管理义务，并追究违反义务行为的法律责任。另一种是主体式防控，将人工智能系统设定为法律主体，要求其遵守法律规定的行为规范，对其违法行为追究法律责任。防控方式的选择不仅要有科学性、正当性、合理性，还要考虑效果和效率，为防控付出的社会成本、司法成本和个人成本与取得的利益相比不失衡，并考虑其他附生影响，兼顾促进人工智能发展应用和有效控制安全风险。

当前国际社会和我国采取的是客体式防控，通过规范人工智能系统研发设计、生产、提供、运营方来防控人工智能安全风险。对于人工智能损害的责任，2016年5月欧盟委员会法律事务委员会提交的《关于机器人的民法规则的对委员会建议的报告》要求“不应仅以损害是由非人类代理人造成的为理由，限制可能向受害方提供的赔偿形式”，提出按严格责任对机器人造成的损害追责，2017年2月欧盟议会通过了《关于机器人的民法规则》采纳了以上建议，强调“承担责任的必须是人而不是机器人”，这一立场在欧盟委员会、欧洲议会和欧盟理事会的人工智能相关立法文件中得到延续，如2022年9月欧盟委员会《人工智能责任指令》提案，欧盟《人工智能法》更是建立了人工智能安全风险防控制度。客体式防控策略不仅是欧盟的选择，也得到国际社会的认同，阿西洛马人工智能原则中的“职责原则”要求，“高级人工智能系统的设计者和建设者是系统利用、滥用和行动的权益方，他们有责任和机会塑造这些道德含义”。我国同样采取了这种防控方式，前述《新一代人工智能伦理规范》第3条要求，“坚持人类是最终责任主体，明确利益相关者的责任，全面增强责任意识，在人工智能全生命周期各环节自省自律，建立人工智能问责机制，不回避责任审查，不逃避应负责任”。以上要求体现到我国人工智能安全立法中，如前述《深度合成规定》《办法》等规章规定了人工智能服务提供者及其他相关方的安全管理义务，而不是要求人工智能系统遵守行为规范。

主体式防控论者主要是哲学、法学界的部分学者，这些学者基于未来人工智能的高自主性、高智能性，从哲学、法学上论证人工智能系统可以作为刑法上的主体并受刑法规制，较少论及能否实现人工智能系统的可控性及其效果效率。主体式防控不一定会免除人工智能系统相关方的安全风险防控义务，但是，在承认人工智能系统法律主体地位并使之承担法律责任的情况下，前述相关方的防控责任势必削弱。如果主要靠主体式防控不能实现人工智能系统的可控性，人工智能系统安全风险就得不到有效控制，进而会否定主体式防控及人工智能系统刑法主体化主张的合理性。可见，人工智能系统的刑法地位是应然责任主体问题的关键。

（二）可控性前提下人工智能系统的刑法地位

在人工智能可控的假设基础上，赋予人工智能系统何种刑法地位，应以能否有助于实现其可控性并具有较高的效率为重要标准。支持主体式防控的观点中，一般从哲学上论证人工智能系统可能成为“理性主体”出发，认为当未来人工智能系统发展到具有自由意志或理性之后，人类就有必要承认其刑法主体地位，对其违反刑法的行为追究刑事责任。有学者认为：“ChatGPT等生成式人工智能与人类一样可能是同时受自然法则（他律的、自然律的因果性）和道德法则（自律的、由自由而来的因果性）支配的物种，从而推定其可能拥有自由意志，进而满足承担刑事责任或者成为刑事责任主体的最本质条件。”也有学者认为，如果人工智能系统“在客观上有能力识别并尊重一个自然人主体作为主体的自由，并相应调整自己的行为”，就可能成为“有道德的”人工智能系统，因其具备足够决策能力，就可以实施刑法意义上的行为并可能具有违法性，可能以客观标准作为人工智能罪责能力的判断依据，使得对其科处刑罚是有意义的。不过，与前者观点不同的是，后者的论证质疑甚至否定刑法上的自由意志、行为的主客观要素统一性、刑罚的性质等，以避开刑法对人工智能系统的主观要件要素的要求。另一种支持论的观点对比公司和人工智能系统，认为公司没有灵魂和身体却被规定在刑法中，人工智能系统已经造成危害，可以成为刑法主体并承担刑事责任，并建议增设删除系统软件、限制自由、社区服务和罚款等专门的刑罚。以上观点主要在哲学、法学领域进行理论和制度上的突破，将人工智能系统作为新的犯罪主体，希望以刑法处罚方式防控人工智能系统带来的危害，虽然其认为作为刑法主体的是未来的“理性的”、“道德的”或有自由意志的人工智能系统，但是，其理论基础不完整、不稳固，颠覆刑法基础制度，不大可能被立法者接受，从刑法治理、系统性防控等方面分析，也不利于实现人工智能系统的可控性。

首先，刑法制裁的事后性不利于实现人工智能系统的可控性。人工智能安全风险始于研发设计，并沿着人工智能价值链扩散、扩大，网络环境下人工智能系统生成虚假信息造成危害后果时，虚假信息已经大范围扩散达到无法控制的程度，而刑法制裁具有事后性和最后保障手段的特性，只有危害严重到应受刑罚处罚的程度时，刑法才会介入，不利于及时、有效控制安全风险。将人工智能系统作为犯罪主体进行刑事制裁时，该系统已经处于难以控制甚至失控状态，事后刑事制裁对促进可控性的作用不大，即使有一定的作用，作为“极刑”的删除系统软件或数据及更轻的其他“刑罚”最多对特定人工智能系统起“特殊预防”作用，对其他有着“独立人格”的人工智能系统没有控制作用，无法实现一般预防，期待其“引以为鉴”和“自我约束”无异于天方夜谭。

其次，主体式防控依赖于人工智能系统的可控性，且促进可控性的成本高、效率低。将人工智能系统“刑法主体化”后，对其“犯罪”进行刑法处罚以该系统处于可控状态为前提，否则，难以想象连技术、军事手段都无法控制的、具有“自由意志”和超人类的社会掌控能力的超级人工智能会在人类的刑事司法面前“良心发现”、“低头就范”。而且，由于刑法的适用遵循严格的法律程序和权利保障要求，效率低于行政管理和技术控制，为了对人工智能系统进行“刑法处罚”，须付出对实现或促进可控性基本上无积极作用的司法成本，实际上是一种“屠龙以龙被缚为前提”的低效或无效的防控，之所以要付出这一成本，只因其以人工智能系统的“理性”为由将其主体化，而再无其他合理依据。

笔者认为，防控人工智能安全风险需要多管齐下进行系统性防控，刑法应当以适当的方式发挥重要作用。应对新技术发展应用的风险和挑战，各国普遍采取技术、管理、政策、法律等多种防控手段并使之形成系统化防控体系，面对新一代人工智能安全风险应采取相同的防控策略，关键是使人工智能系统的研发设计者、生产者、提供者、使用者参与防控，承担合理的安全管理义务，从风险源头并贯穿系统流转应用各环节实施有效的安全风险防控。对于ChatGPT、Sora等生成式人工智能系统输出虚假有害信息，如果要等到其危害达到严重程度时才追究系统的刑事责任，实际上与其目标背道而驰，而对以上系统提供者、运营者等相关方施加数据治理、虚假信息管控等安全管理义务，对拒不履行义务者依法追究刑事责任，则能实现系统的可控性和防控人工智能系统安全风险。主体式防控没有从科学和事实出发，没有发挥具有防控能力的义务承担者的积极作用，寄希望于未来高自主性、高智能的人工智能系统的“理性”、“自我约束”和接受人类的处罚，不仅无助于促进和实现人工智能系统的可控性，也没有合理的依据能够消除包括人工智能生成虚假信息在内的危害。无论是当前还是未来的人工智能系统都应确保可控性，作为保障法的人工智能刑法不应是将人工智能“拟人化”的人工智能犯罪法，而应当是防控人工智能安全风险失控的风险刑法，人工智能系统只能作为防控的客体，人工智能刑法应当贯彻客体式防控对策，将其作为刑法上的行为对象。

（三）人工智能安全风险防控刑事责任的理论根据和责任主体范围

随着新一代人工智能技术的发展应用，“生产力在现代化进程中的指数式增长，使风险和潜在自我威胁的释放达到了前所未有的程度”，“现代化进程正变得具有‘自反性’，日益成为其自身的主题和问题”，人工智能安全风险“弥散”在社会各领域，有效防控人工智能安全风险成为智慧社会安全发展的基础。有效防控人工智能安全风险的制度设计应以人工智能系统可控为前提和目标，才能解决包括深度合成、生成式人工智能系统生成虚假信息危害在内的“制度性失控”问题。“作为风险控制机制的组成部分，刑法不再为报应与谴责而惩罚，而主要是为控制风险而进行威慑”，服务于实现人工智能系统可控性及其安全风险防控的目标，以人工智能系统为防控对象，在人工智能安全风险的形成、扩展和实现全过程控制风险，为安全风险防控制度提供保障。

由于人工智能系统的自主性，以因果关系为基础的传统刑事责任制度难以适应构建人工智能刑法的需要。在传统刑事责任制度中，行为人对危害后果承担刑事责任是基于刑法上的因果关系，行为人的行为与危害结果之间必须存在有社会相当性的、正向引起或反向制止关系，即使是在间接正犯的场合，行为人对结果的支配作用也须确认。在人工智能系统介入的情形下，人工智能系统自主、直接引起危害后果，人工智能系统研发、生产和应用相关方对具体危害结果只有非支配性作用，难以认定其行为与危害后果存在刑法上的因果关系。事实上，人工智能系统算法的形成是基于影响因素的相关性，以ChatGPT系统为例，其算法是基于数以亿计的参数对学习数据的统计加权后形成复杂的关联关系，无论是最初的系统算法的设计者，还是投入应用后引起算法改变的用户，都只是与算法有着相关性程度不同、不起决定性作用的影响因素。如果仍以因果关系为基础，要求人工智能系统研发设计人员、生产者、运营者或用户对危害后果承担刑事责任，是违背事实和缺乏理论和法律支持的。但是，将因果关系泛化为相关性关系则与条件说无异，实际上是“舍弃因果关系要件设定针对违法行为本身的责任，以此跳过因果联结及可追溯性难题”，不仅会导致刑法基本制度的理论基础坍塌，还会引起人工智能安全防控责任主体范围的过度扩展。况且，以相关性为基础的追责或治理策略本质上是错误的，如历史上1665年英国瘟疫中人们发现疫病传播与猫之间具有相关性而大肆屠猫，既不能消除犯罪发生的原因，又使无辜者遭受不公正对待。因此，在人工智能社会环境下，套用“人的社会”环境下发展起来的因果关系理论或其“修补”版，无法为解决前述问题提供理论指导，需要发展新的理论工具。

实现人工智能系统的可控性及安全风险防控目标的科学路径只能是要求相关人员履行人工智能安全风险防控义务，并为人工智能安全风险防控制度的有效实施提供刑法保障。由于存在前述因果关系问题，对人工智能系统研发设计者、生产者、运营者、用户的行为难以进行道义上的非难，道义的责任论无法解释何以使其承担刑事责任。规范的责任论可以为其刑事责任提供理论依据，根据规范的责任论，行为人承担刑事责任的根据是“违反义务实施违法行为的决意”，具有责任能力、故意或过失以及“行为人存在适法行为的期待可能性”。为了保障人工智能安全，国家必然要制定人工智能安全风险防控制度，对人工智能安全风险相关人员设定行为规范，刑法对有能力遵守却违反以上规范的严重危害行为依法追究刑事责任，具有正当性和必要性。人工智能的发展和应用给社会带来新的危险，“为了有效保护法益，法益保护早期化行为入罪是必要的，但应根据谦抑原则予以适当限制”，由于人工智能系统的自主性及其危害后果与前述人员之间仅有相关性关系，违反以上规范的责任应当有别于传统的规范责任，是基于风险控制需要的、有限的规范责任，应与前述人员的风险引起或防控风险的能力成比例，对犯罪主体范围、危害行为及刑事责任进行合理限制，使之区别于传统犯罪和违反人工智能安全秩序的一般违法行为。

违反人工智能安全风险防控制度承担刑事责任的主体应当是与安全风险的引起、形成、扩散、实现有着直接联系，或者对防控安全风险能起到实质性作用的人，这些责任主体可以按照人工智能安全风险及相关行为分为多种类型。根据人工智能安全风险的确定性和危害性程度，可以分为禁止的人工智能活动和人工智能系统相关风险行为，前者有确定的社会危害性，应当设定禁止性规范，后者可分为高风险和一般风险行为，应当设定不同的安全管理义务，对于违反前述禁则和义务、严重危害的行为，有必要追究刑事责任。承担刑事责任的主体应当包括以下类型：（1）实施禁止的人工智能活动的人。该类主体包括非法制作、提供、使用有害的人工智能系统的行为人，由于其引起人工智能安全危险或造成严重危害后果，有必要依法追究其刑事责任。（2）高风险人工智能系统的生产者、提供者、运营者和专业使用者。该类主体引起高风险或者有能力控制高风险，对其故意违反刑法上的人工智能安全管理义务且情节严重的，应当依法追究其刑事责任。（3）与公众交互的人工智能系统的提供者和运营者。这类人工智能系统本身没有有害用途或高风险，如深度合成、生成式人工智能系统，由于其使用对象众多，容易引起广大公众权益受损的后果，或者妨害社会安全与秩序，需要提供者和运营者承担一定的安全管理义务以消除影响，如果其故意违反义务，造成严重危害或有严重情节的，应当依法承担刑事责任。

03我国人工智能信息服务安全管理义务及其承担者的刑事责任

深度合成、生成式人工智能系统是信息服务类人工智能系统，非专门用于危害性用途或具有高风险，对其生成虚假信息的治理应当以系统提供者、运营者承担安全管理义务为重点。我国前述部门规章规定了人工智能信息服务安全管理义务，对减少人工智能生成虚假信息的危害发挥了积极作用，但也存在不足，有必要借鉴国外相关立法，完善我国人工智能信息服务安全风险防控立法，并为其提供刑法保障。

（一）我国人工智能信息服务安全管理义务规定存在的问题

没有网络安全就没有国家安全，网络安全是总体国家安全的重要组成部分。网络安全包括网络运行安全和网络信息安全，作为网络信息安全的新组成部分，人工智能信息服务安全关系网络安全、公共安全和国家安全。为了保障人工智能信息服务安全，我国制定了前述《深度合成规定》《办法》等规章，对人工智能系统提供者及其他相关方规定了安全管理义务，要求其防控人工智能安全风险。

《深度合成规定》对深度合成服务提供者、技术支持者、使用者和应用程序分发平台规定了禁止性和命令性行为规范。前者禁止任何组织和个人利用深度合成服务制作、复制、发布、传播违法信息和虚假新闻信息以及从事违法活动，禁止采用技术手段删除、篡改、隐匿深度合成标识。后者规定了深度合成服务提供者、技术支持者、使用者的义务：（1）提供者的义务包括2类共14项，一类是互联网信息服务相关的10项义务，另一类是深度合成服务相关义务，包括数据治理和个人信息告知同意、算法安全审核与评估、添加标识与日志保存、显著标识与提示共4项义务；（2）技术支持者的义务包括2类4项，互联网信息服务相关义务是备案、技术协助与整改义务，深度合成服务相关义务是数据治理与个人信息告知同意、算法安全审核与评估义务；（3）使用者的义务为依法转载新闻信息义务，没有规定深度合成服务相关义务。应用程序分发平台仅须承担信息网络安全管理义务。

《办法》规范利用生成式人工智能技术向我国境内公众提供内容信息的服务，由于尚不存在脱离互联网提供的生成式人工智能服务，以上服务实际上属于互联网信息服务。该办法既规定了互联网信息服务相关禁止性和命令性规范，也规定了人工智能信息服务提供者的义务，后者包括防止歧视、提升透明度、提升准确性、提升可靠性、数据治理、指导使用者、内容信息标识、配合调查和技术协助共8项义务。

以上规章的规定具有以下特点：（1）以上两部规章采取的是客体式防控策略，将人工智能系统作为防控对象，规范的是系统提供者及其他相关方而不是系统本身。（2）人工智能系统提供者承担了主要防控义务。提供者须承担数据治理、算法安全审核与评估、标识信息、提示或指导使用者的义务，前二项义务是为了防止生成违法、虚假信息，后二项义务是为了控制信息传播的消极影响。由于人工智能系统的自主性，前者实现的难度大、效率不高，后者较易实现，但难以避免对信息接收者的影响。（3）两部规章对人工智能系统的技术支持者和使用者的要求有分歧。《深度合成规定》要求技术支持者承担数据治理、算法安全审核与评估义务，实质上将其视作系统提供者，还禁止系统使用者利用深度合成服务制作、复制、发布、传播虚假新闻信息以及删除、篡改、隐匿深度合成标识，而《办法》没有规定类似的禁则。笔者认为，如果使用者未传播人工智能系统生成的信息，就不会对其他人造成影响，无必要禁止其删除生成信息标识，反之，则可以按前述第1、2、3种情形处理，因此，前述针对使用者的禁则有多余之嫌。

除了前述问题，以上两部规章的其他问题主要有法律位阶低，治理效力弱，对严重违法行为的处罚与其危害不相称，规定笼统、不完备，缺乏配套制度如数据治理安全标准等，对系统提供者等规定的义务宽泛，与其风险引起或履行能力不成比例，防控人工智能安全风险的实际效果不佳。

（二）欧盟《人工智能法》中的安全风险防控制度对我国的借鉴

欧盟《人工智能法》是世界上第一部促进人工智能安全发展的国际公约，对世界人工智能发展应用和各国人工智能安全立法有重要影响，对我国人工智能安全立法有参考价值。该法的目的是“改善欧盟内部市场运作，促进采用以人类为中心和值得信赖的人工智能，确保对《宪章》规定的健康、安全和基本权利包括民主、法治和环境的高水平保护，免受欧盟范围内人工智能系统的有害影响，并支持创新”，将人工智能安全作为发展人工智能的基础。为了实现以上立法目的，该法建立了安全风险类型化防控制度，将防控对象分为三大类六小类，分别采取不同的防控对策：（1）禁止违反欧盟价值观的人工智能活动；（2）根据人工智能系统风险的高低，将其分为高风险人工智能系统、非高风险的特定人工智能系统和其他人工智能系统，对前二类系统规定了相应要求及其相关人的安全管理义务，对其他人工智能系统则通过鼓励和促进制定行为守则的方式，提倡相关人自愿遵守该法规定的要求；（3）将通用人工智能模型分为有系统性风险和一般的通用人工智能模型，规定了与人工智能系统不同的风险防控要求。与我国前述规章有关的是前二类人工智能系统风险防控规定。

根据欧盟《人工智能法》，高风险人工智能系统是对人的健康、安全或基本权利造成严重伤害、风险高且用于该法规定领域的人工智能系统，该法对该类系统的提供者、部署者及其他相关方规定了安全管理义务。提供者的义务除了确保系统符合7项强制性要求外，还有建立质量管理体系、保存该法第18条规定的文件、保存日志数据、通过合格评定程序和起草欧盟合格性声明及加贴CE标志、登记、对不符合要求的高风险人工智能系统采取必要的纠正措施、与主管机构合作以及标注名称、地址等义务。高风险人工智能系统经过生产、提供、流转和使用等多个环节，其风险与人工智能价值链上的多方行为紧密关联，提供者之外的部署者及其他相关方被要求承担适当的义务：（1）授权代表的义务。在欧盟境外设立的提供者在欧盟境内提供高风险人工智能系统之前，应书面授权任命一名在欧盟境内设立的授权代表担任其欧盟内的联系人，执行授权任务如核实情况，提供信息、文件和日志，与主管机构合作等。（2）进口者的义务。进口者承担核实相关情况、阻止违反该法的系统投放市场、报告风险、标注名称和地址、保存使用说明和欧盟合格声明证书副本、向国家主管机构提供信息和文件以及与国家主管当局合作降低和减轻风险的义务。（3）经销者的义务。经销者承担核实相关情况，阻止违反该法的系统投放市场，确保存储或运输条件符合要求，对不符合该法规定的系统采取纠正、撤回或召回措施，报告风险，向主管机构提供信息和文件，与国家主管当局合作降低或减轻风险的义务。（4）部署者的义务。部署者被要求承担的义务包括遵照使用说明、安排适格人员进行人工监督、符合预期目的的数据输入控制、监控系统运行、保存自动生成的日志、向受影响的劳工提供相关信息、注册义务、数据保护评估、对特定对象依法使用、告知系统使用对象、与相关国家主管合作，以及评估高风险人工智能系统可能对基本权利的影响。

非高风险的特定人工智能系统的提供者、部署者应遵守透明度义务。提供者应当在系统的设计和开发过程中确保相关自然人能够被告知其正在与人工智能系统互动，生成合成音频、图像、视频或文本内容的人工智能系统包括通用人工智能系统的提供者，应确保人工智能系统的输出以机器可读的格式并可检测为人工生成或操作来标记。情绪识别系统或生物识别分类系统的部署者应告知自然人该系统的运行情况及其成为系统的使用对象，生成或处理形成深度合成的图像、音频或视频内容的人工智能系统的部署者应当披露该内容是人工生成或操纵的。我国前述两部规章规制的深度合成、生成式人工智能系统对应于上述生成或处理形成深度合成的图像、音频或视频内容的人工智能系统，我国前述规章中的提供者和技术协助者相当于欧盟《人工智能法》中的提供者和部署者。

欧盟《人工智能法》对违反部分人工智能系统安全管理义务的行为规定了罚则。对于违反前述义务的自然人和一般的公司，分为两档进行处罚，其中，违反信息提供义务的，最高处750万欧元和上一财政年度全球年营业额的1%中较高的罚款；违反其他义务的，最高处1500万欧元和上一财政年度全球年营业额的3%中较高的罚款。

欧盟《人工智能法》建立的防控人工智能安全风险制度在防控立场、方式方面对我国人工智能安全立法具有参考价值。首先，该法将人工智能定性为可控的工具。该法提出，“作为一个先决条件，人工智能应该是一种以人为中心的技术。它应该作为人们的一种工具，其最终目的是增加人类的福祉”，这一立场被贯彻到其安全风险防控制度中。例如，该法要求人工智能系统应设置适合进行人工监督的措施，强调人工监督“意味着人工智能系统被开发和用作一种服务于人类、尊重人类尊严和个人自主权的工具，并以一种可以被人类适当控制和监督的方式运作”，没有任何条款试图将人工智能系统或者其中的某一类作为“法律上的人”，也没有将人工智能系统作为责任主体，规定任何形式的处罚。其次，该法构建了以提供者和部署者为双核心的、多方协同相互补充相互监督的风险防控制度。提供者承担主要安全管理义务，部署者承担人工智能应用阶段的安全管理义务，授权代表、进口者、经销者是风险的传递者，基于其阻断或削弱风险传递和扩大的能力和地位，承担一定的安全管理责任。这些义务是相互补充、监督、协作的关系，如授权代表、进口者、分销者、部署者要承担核实情况、报告风险及与主管机构合作等义务，要求各方合力防控人工智能安全风险，对人工智能安全风险承担整体防控义务。

与欧盟《人工智能法》的以上规定比较，我国前述规章同样将人工智能系统作为管理对象，主要对人工智能信息服务提供者施加安全管理义务。由于当前人工智能信息服务提供者同时是运营者[与欧盟《人工智能法》中的部署者（deployer）地位相同]，相当于要求提供者和运营者承担相同的安全管理义务。不仅如此，我国前述规章仅适用于互联网信息服务领域的人工智能信息服务，适用范围窄，规制效用弱，而且，没有根据人工智能系统的危险或风险程度，对各类人工智能系统和通用人工智能模型的价值实现链上相关方设置基于风险类别化的、相互配合的、系统化的义务。为了全面、有效地防控人工智能安全风险，我国人工智能安全管理体系有必要借鉴该法的规定。

（三）违反人工智能系统信息服务安全管理义务的刑事责任

随着人工智能信息服务的普及应用，人工智能生成虚假信息的危害会更加严重。当前生成式人工智能系统的调用量非常高，ChatGPT系统的每月活跃用户量超过1亿，我国文心一言系统的用户量超过1亿，日调用量达数千万次，人工智能系统生成、传播违法、虚假信息的危害已经超过传统互联网平台。我国前述规章无力控制日益严重的人工智能信息服务安全风险，虽然其规定“构成犯罪的，依法追究刑事责任”，但是，我国现行刑法只能处罚滥用人工智能系统的行为，没有规定刑法上的人工智能安全管理义务及其违反人工智能安全管理义务的犯罪行为，不能实现对以上虚假、有害信息的源头治理。笔者认为，为了保障人工智能信息服务安全，维护国家安全、社会安全和公众的合法权益，有必要设立故意违反人工智能安全管理义务犯罪。

1.刑法上人工智能信息服务安全管理义务的范围

人工智能系统提供者及其他相关方履行人工智能安全风险管理义务，对保障人工智能安全起关键作用，合理设定刑法相关义务，对有效治理人工智能生成虚假信息和公正对待义务承担者具有重要意义。

行政法意义上的人工智能信息服务安全管理义务范围广泛，涉及实体性风险防控义务、公民基本权利保障义务和监管程序的要求。我国前述两部规章和欧盟《人工智能法》都规定了以上三类义务，如属于第二类的个人信息保护义务等，以及属于第三类的注册、备案义务，这两类义务数量大、种类多，对于人工智能安全监管和保障公民基本权利是必要的，但是，对防控人工智能信息服务安全风险不起实体性作用，违反前者义务的应受个人信息保护相关法律处罚，违反后者义务的只应负行政法律责任。

刑法意义上的人工智能信息服务安全管理义务应当限于法律法规规定的实体性防控风险的义务。前述规章是保护人工智能信息服务安全的综合性立法，其规定的义务并非都指向人工智能安全风险防控，如违反个人信息保护义务的行为可能构成侵犯个人信息犯罪，不需要按违反人工智能安全管理义务犯罪处理。只有对防控人工智能信息服务安全风险有实体性作用的义务，才可能成为刑法意义上的人工智能安全管理义务，在此范围内，还应当根据不同程度的安全风险合理设定刑法义务。前述规章规定的深度合成、生成式人工智能系统对应于欧盟《人工智能法》规定的与自然人互动的人工智能系统，后者对系统提供者、部署者只规定了透明度义务，只有高风险人工智能系统提供者、部署者才承担数据治理、日志保存等义务，这是因为高风险人工智能系统对受欧盟法律保护的利益造成重大风险，使其承担这些义务与防控高风险成比例是必要的和正当的。我国前述规章对提供者规定了更多的义务，是否应当借鉴欧盟的规定，将提供者的义务限制为透明度义务呢？笔者认为，欧盟《人工智能法》立法是缔约国多方妥协的结果，虽然立法上更为完备，但也存在若干不完善之处，其中，对非高风险的特定人工智能系统提供者、部署者只施加透明度义务不足以防控该类系统的风险。详述如下：生成式人工智能系统的学习数据具有开放性，既来源于系统提供者，也来源于广大用户，仅靠提供者进行数据治理难以取得良好效果，一般情况下将数据治理作为其义务，会给提供者施加过重的负担，如果将其作为刑法上的义务，更是难言具有刑法期待可能性。但是，公众对生成式人工智能系统输出的内容信息也并非因提供者、部署者的标识和提示就不受其影响，仍然会有大量用户因对人工智能技术和大企业盲目信任，受到其提供的错误、有害信息的影响。同时，包括生成式人工智能系统在内的交互式人工智能系统和通用人工智能模型的学习数据并非不可以治理，例如，可以在系统中设置排除使用者供给学习数据，加之，当前网络环境下的学习数据供给并非均等机会，对某个国家、民族、群体的数据歧视甚至敌视客观存在，如果对信息服务类人工智能系统和通用人工智能模型放弃数据治理义务，在出现严重的生成式内容信息危害的情况下，将无法对其进行有效防控。因此，对信息服务类人工智能系统提供者、部署者保留数据、算法治理义务是必要的，同时，应当仅在出现严重的有害性信息扩散时，才追究提供者严重违反该义务行为的刑事责任。此外，随着人工智能技术的发展，会出现新的人工智能信息服务类型，相应地会有新的部门规章规定相关义务，进而出现义务增多、泛化、不统一的状况，而安全管理刑法义务是追究义务承担者刑事责任的根据，应当慎重设定，有必要通过制定人工智能安全法等法律法规来规定，并限定在合理范围内。

2.违反人工智能信息服务安全管理义务犯罪的刑法性质和构成特征

人工智能信息服务提供者可能同时是网络服务提供者，但二者的服务内容及承担的义务不同，违反人工智能信息服务安全管理义务不能适用网络服务提供者相关犯罪立法，前者的刑事责任具有独立性。

首先，不是共犯责任。有观点认为，网络服务提供者承担刑事责任的实质根据是共犯责任，在《中华人民共和国刑法修正案（九）》出台之前“实践中采用司法解释的方式，明确网络服务提供者对网络犯罪提供帮助的共犯责任”，该修正案“将散见于诸多司法解释中的同类规定通过立法统一法律化，提升规范层级。同时，在立法上将法益保护前置，实现了帮助行为正犯化”。这里不评价该观点的合理性，其主张的共犯责任不能成为人工智能信息服务相关方的刑事责任根据，原因是人工智能系统不是犯罪人，其生成虚假信息不是法律上的行为，前述相关方不履行义务不构成对网络犯罪（包括刑事违法行为）的帮助，帮助犯或帮助行为正犯化理论都不适合解释该行为的性质及刑事责任根据。

其次，违反前述义务的行为不是中立帮助行为。有观点认为，拒不履行信息网络安全管理义务罪处罚的是“网络中立帮助行为”，只有帮助“是明确具有利用该帮助实施犯罪意图的被提供者，且实施了侵害法益或使法益陷入危险状态的行为”，才可能成立帮助犯，正常经营的网络服务提供者不可能属于该种情形，都应当出罪。人工智能系统提供者和技术协助方为系统的运行和算法的形成创造了基础条件，受刑法评价的不是其正常业务活动，而是不履行人工智能安全管理义务行为，即违反数据与算法治理、标识和提示义务的行为，而人工智能系统既不是违法犯罪人也无编造、传播虚假信息行为，以上行为不具有帮助行为性质，不成立所谓中立帮助行为，不适合按中立帮助行为理论来讨论其出入罪的根据。

再次，不是保证人责任。有观点认为，网络服务提供者的刑事责任根据是保证人责任，因为网络服务提供者居于保证人地位，要求其“对于危险源的监督，产生了保护他人法益不受来自于自己控制领域的危险威胁的义务。这种对于危险源的控制是不作为犯的义务。这种保证人义务的根据在于，复杂社会系统中的秩序必须依赖于（处分权人所管理的）特定空间和特定控制领域的安全。”该观点分析了网络服务提供者的义务和刑事责任根据，具有相当的说服力，但是，不适合于解释人工智能信息服务相关方的刑事责任根据。无论是提供者、技术协助者或使用者都不能对人工智能系统形成绝对的或有力的控制，履行对人工智能生成信息进行标识和提示义务也只能减少虚假信息的误导，故基于控制能力的保证人理论不适合解释其刑事责任根据。

此外，还有观点认为人工智能信息服务提供者应为违反国家数据安全、个人信息保护、知识产权相关法律法规而承担刑事责任。笔者认为，人工智能信息服务涉及网络运行安全、数据和个人信息安全以及人工智能安全，前两种安全已有独立的行政和刑事法律法规保护，危害前两种安全的行为没有引起新的法律问题，应适用相应的犯罪立法，无需作为人工智能刑法的研究对象。人工智能刑法需要研究的新问题是，人工智能信息服务相关方承担的刑法义务的性质和范围，以及应对何种行为承担刑事责任及其合理限度。

人工智能信息服务相关方承担的是特殊公共产品运行安全的管理责任，因故意违反安全管理义务而承担刑事责任。深度合成、生成式人工智能系统是具有自主性的公共产品，其运行存在安全风险，需要提供者、技术协助者及使用者履行安全管理义务，防止其失控造成危害，为了督促其依法履行义务和惩治危害行为，须对故意违反义务的严重危害行为追究刑事责任，其刑事责任近似于生产安全责任事故犯罪的刑事责任，只是其不直接危害公共安全，而是扰乱公共秩序。由于前述特殊性，应当仅对故意违反实质性防控人工智能安全风险义务的行为追究刑事责任，在满足更高的主客观条件下将其犯罪化才具有正当性。

故意违反人工智能安全管理义务罪应当是行政犯和纯正的不作为犯，除了前述安全管理义务的限定性外，还应满足以下构成条件：

（1）存在犯罪故意。该罪应为故意犯，提供者及其他相关方不能绝对或有力控制人工智能系统的运行，其违反义务行为与危害后果之间只有一定程度的相关性，过失违反义务行为的可责性弱，不具有刑罚可罚性。为了明确该罪的犯罪故意，可以采用拒不履行信息网络安全管理义务罪的做法，将该罪限定为经由监管部门责令改正而拒不改正的故意犯，以此确定行为人明知违反义务而故意为之的心理态度。

（2）犯罪主体是特定义务承担者。我国前述规章和欧盟《人工智能法》规定了多类义务承担者，但并非都应承担刑事责任，如后者规定的授权代表、进口者和经销者，其义务主要是核实情况、提供信息、协助监管、报告风险、与主管机构合作等协助和监督性义务，违反以上义务不实质性增加风险，没有必要将其规定为该罪主体。该罪主体应当具有两方面特征：一是在法律上其违反义务的行为与人工智能系统造成的危害后果有实质性关联关系；二是在客观上其引起了人工智能安全风险，或者具有实际控制风险的能力和条件，从而应限定为人工智能系统提供者和运营者。人工智能系统的用户对人工智能系统算法的影响力有限，除非是能够大量提供数据改变系统算法的专业用户（其作用相当于系统提供者），一般用户不应当是该罪的犯罪主体。

（3）造成严重后果或有其他严重情节。该罪应当与人工智能安全行政立法相衔接，合理设定入罪门槛。《深度合成规定》第22条规定，深度合成服务提供者和技术支持者违反该规定的，依照有关法律、行政法规的规定处罚，“造成严重后果的，依法从重处罚”，“构成犯罪的，依法追究刑事责任”。因此，该罪应当仅处罚造成严重后果或有其他严重情节的行为，如引起信息接收者死亡、重伤或重大财产损失等实害后果，或者对大量用户散布虚假的险情、疫情、灾情、警情、恐怖信息等。关于严重后果或其他严重情节的评价标准，可以借鉴欧盟《人工智能法》的处罚规定，考虑包括违法“行为及其后果的性质、严重程度和持续时间”、“人工智能系统的目的”、“受影响者的人数及其所受损害的程度”、“适用于案件情节的任何其他加重或减轻处罚的因素，如直接或间接从侵权行为中获得的经济利益或避免的损失”等因素，并将严重情节的评判标准规定到刑法或相关司法解释中。

04结论

人工智能生成虚假信息危害严重，人工智能系统用户、互联网信息服务提供者、人工智能系统及其提供者以不同方式“加功”，消除危害应进行源头治理。国际社会一致认同人工智能应具有可控性，要求构建人工智能安全风险防控体系，欧盟《人工智能法》建立的防控人工智能安全风险制度在防控立场、方式方面对我国人工智能安全立法具有参考价值。

作为保障法的人工智能刑法不应是人工智能犯罪法，而是防控人工智能安全风险失控的风险刑法。人工智能系统及其提供者的刑事责任问题是讨论的焦点，也是刑法规制的“盲区”，我国现行刑法只能处罚滥用人工智能系统的行为，有必要设立故意违反人工智能安全管理义务犯罪，该类犯罪应当是行政犯、义务犯，限于人工智能系统提供者、部署者故意违反前述义务造成严重后果或有其他严重情节的行为。刑法意义上的人工智能信息服务安全管理义务应当限于法律法规规定的实体性防控风险的义务，有必要对人工智能信息服务系统的提供者、部署者设置数据、算法治理义务，在发生严重的有害性信息扩散时，应对其严重违反义务行为追究刑事责任，其刑事责任具有独立性，不是共犯责任或保证人责任，其行为不是中立帮助行为。

—— EDN ——