特约文章丨大模型产业化发展的伦理挑战及标准化对策

文 / 董建，杨雨泽，徐洋，肖哲晖，沈芷月

摘 要：本文基于产业发展视角，分析梳理人工智能大模型现状及特点，提出符合大模型产业发展周期的伦理风险模型，围绕医疗健康、内容创意、文化教育等高敏感领域分析大模型赋能行业的伦理风险，并分别从短中长期对以标准化为核心的伦理治理提供工作建议。

关键词：

大模型；伦理；风险；标准化

0 引言

以ChatGPT为代表的人工智能大模型飞速发展，人工智能实现从感知到认知、从决策式向生成式的飞跃，功能和性能大幅增强，其产品和服务表现出极高的个性化、定制化能力。然而，新技术往往是一把双刃剑，大模型驱动人工智能在广泛赋能各垂直领域，与人类社会融合逐渐深入的同时，其在可解释性、公平性、隐私保护、知识产权归属、内容安全等方面的伦理治理风险也将被逐渐放大和强化。为此全球各界纷纷以前期的人工智能治理框架为基础，逐步完善生成式大模型的专项顶层设计和治理方案。

目前，大模型应用研发尚处于起步阶段，普遍以高泛用性的产品和服务的形式出现，面向细分行业领域的应用场景还不明显。随着技术发展与行业应用深入，大模型伦理风险的特性将分阶段呈现变化，治理方法和手段也应随之变化。因此，从标准化角度，对大模型伦理风险的探讨，需着眼当下技术问题，放眼未来产业需求，分阶段、分步骤调整治理策略。

本文通过分析总结人工智能大模型技术及产业发展特点，提出符合大模型产业发展周期的伦理风险模型，旨在对以标准化为核心的伦理治理工作提供理论基础，解决大模型产业化发展过程中潜在的伦理问题隐患。

1 大模型发展周期与伦理风险

1.1 大模型技术特性与伦理指征

2017年后，以Transformer为代表的人工智能大模型底层技术爆发式发展，人工智能各项能力大幅提升，已具备人类的初级逻辑思维能力。大模型目前已取得了巨大技术突破，却也加剧或带来了关联的伦理风险。

（1）超大规模参数的预训练

预训练的本质是由海量数据驱动的规律发现与学习过程，大模型时代的参数呈现指数级上升趋势，传统模型Resnet50参数量仅2500万，而GPT-3.5参数量跃升至1750亿。超大规模参数的预训练使大模型出现了更接近人脑的涌现能力，包括上下文学习（in-context learning）、思维链（chain of thought）等推理能力，但同时，庞大的参数量既极大地加剧了资源消耗，又加剧了大模型的不可解释性，“黑箱”大模型因神经网络复杂性高更是难以被信任。

（2）多任务泛化学习

大模型一般采用多任务学习、跨模态数据对齐或混合专家系统（MoE）等方法，单一通用大模型能够被部署到多个应用场景。然而，通用性与性能的交换（trade-off）一定程度上造成大模型的“幻觉”问题，即更容易被误导，生成有误、有害的内容。

（3）基于强化学习的微调

通过引入指令微调和基于人类反馈的强化学习（RLHF）等微调技术，一般可以有效实现大模型和人类的价值观对齐。不过，额外的训练过程却加大了数据投毒、对抗攻击、后门漏洞等安全风险，导致大模型的输出更容易被操纵，进而可能出现违背主流价值观的生成内容。

1.2 大模型产业化与伦理动态

大模型作为通用赋能技术，能够与大部分行业结合，推动智能化升级换代，催生新模式、新业态、新产业。参照2017年以来由深度学习驱动的人工智能发展周期，大模型产业化发展预计会经历技术爆发期、应用探索期和产业成熟期三个阶段。

短期 - 技术爆发期：目前，大模型产业化正处于这一阶段，预计这一时期可能再持续两到三年。总体上，产学研单位技术创新“百家争鸣”，国内外相关公司竞相进入大模型新赛道，但同时，囿于商业模式不成熟，大模型赋能各行业的应用场景有限。因此，短期内大模型与传统人工智能的伦理风险差异性并不大。

中期 - 应用探索期：经历技术爆发后，大模型将迎来两到三年的应用探索期。技术及产品产业化进程加速演进，赋能应用的广泛性和纵深程度加强，并与社会和文化进一步融合，在医疗、教育、互联网等领域的应用或呈现爆发态势。这一时期，大模型实践将大幅度放大人工智能潜在的伦理问题。

长期 - 产业成熟期：大模型技术未来持续发展五年后，或将进入瓶颈期，其赋能各行业的应用场景和商业模式将趋于稳定。随着公众接受度提高，市场探索重心有望转向脑机接口、人形机器人等高端智能产品，或者与新技术和产业碰撞融合，相应地，大模型相关伦理风险极有可能转移焦点或暴露新要素，特别是在临床、养老、教育、金融等高风险领域。

2 大模型伦理风险分析

人工智能作为具有创造性和革命性的新领域，其伦理内涵分为三层，一是人类在开发和使用人工智能相关技术、产品和系统时的道德准则及行为规范；二是人工智能体本身所具有的符合伦理准则的道德编程或价值嵌入方法；三是人工智能体通过自我学习推理而形成的伦理规范。大模型全面增强了人工智能的功能性能，对全社会、全行业进行新的赋能，但目前尚无法避免既有的人工智能伦理问题，更接受着新的伦理挑战。

立足我国科技伦理治理原则和人工智能伦理规范指导方向，从大模型技术与产业赋能特点看，大模型伦理风险及应对有以下五个重要维度。

（1）人类自主能动性

以人为本是科技伦理的核心要义。大模型加持的自动化算法将各主体都置于“无知”地位的能力，构成隐形机器控制，诱导机器倾向情感依赖，反向塑造人类思维，严重冲击人类主体意识、自主决策、独立思考等，升级了机器对人类价值选择、知情权、参与权、控制权的挑战。

（2）隐私安全与尊严

隐私与尊严是写进《联合国人权宣言》的两大基本人权问题。大模型突出的数据挖掘与推理能力能够深度关联个人信息，加重大数据杀熟，“帮助”隐私泄露与滥用，尤其是在医疗等领域的敏感个人信息泄露与滥用。避免和降低大模型对个人安宁与尊严的损害，是当下需高度关注的问题。

（3）公平发展

公平公正、尊重差异是各个体、各群体、各国家和地区和平相处的前提。大模型加剧算法多样性与“黑箱”带来的信息茧房效应，加深数字化弱势群体、数据代表性不足造成的数字鸿沟，扩大数字基础设施建设水平差异引发的数字化差距。

（4）可持续发展

人类福祉需要通过可持续发展建立与延续，大模型在可持续发展中展现了明显的双刃剑特性。在降本增效的同时，不可回避大模型调整了全社会的劳动力与就业结构，打破了既有平衡。在拓展大模型能力的同时，也不能忽视算力和数据获取的高额成本，以及知识产权保护矛盾。

（5）公开透明与风险控制

大模型赋能是尚在起步阶段的科技与经济活动，其走向充满了不确定和未知。秉持错误的价值观或社会偏见的大模型，在实际运行中很可能威胁个人和社会生命、财产安全。大模型的公开透明与风险控制是贯穿伦理问题的框架。

3 大模型赋能热点行业伦理风险分析

大模型优秀的信息吞吐、知识储备和人机交互能力，拉近了人类与机器的距离，也使其在医疗健康、创意产业与文化教育的赋能表现突出，吸引了投资界和研发界的大量关注。结合上述五个伦理风险维度，下文对三大热点行业的大模型赋能伦理风险展开分析，为标准化路径提供行业视角依据。

3.1 医疗健康

智能医疗健康产品与服务让人们看到了人工智能在医疗健康行业优秀表现的同时，由于医疗数据的特殊性，也将潜在的敏感个人信息使用、患者知情选择等伦理问题推上风口浪尖。后疫情时代背景下，大模型在通用性能上的突出表现，吸引了国内外企业和研究机构在精准医疗、健康监测与预警等垂直领域的开发，前景广阔。医疗健康切实关系到生命延续与人类发展，其伦理风险受到了社会各界的高度重视。

首先，最直观的伦理问题是患者隐私安全、医疗知情权、选择权和控制权。需要注意到个人医疗健康信息大多属于敏感信息，借助载有大模型的智能采集设备近距离采集生理信号，个体隐私在大模型面前毫无保留。人类社会不得不考虑，强制采集信息、诱导控制行为、机器决策压制自主性等损害生命权利情形。例如，以生物电信号控制的外部设备，是否真实符合患者自身意愿？违背患者意愿的反应及产生的风险如何归责？

其次，安全、可信、可解释、可追溯的伦理性要求在医疗健康领域共识性高，但解决此类与公平公正、风险控制相关的问题技术突破和社会接纳上并不容易。医疗推理本质是一个复杂过程，人类医生需要通过科学检查、会诊等评估过程，提出具备合理解释的医疗方案。相比之下，算法“黑箱”、训练数据歧视与偏差、模态单一等，导致医疗大模型欠缺针对推理、追溯、解释相关的风险应对能力。

再者，让医疗健康大模型在人机交互中更具有“人性”，保障人格尊严，以人文视角缓解患者痛苦，也是大模型伦理挑战中亟待解决的问题。长远角度，为了实现精准医疗，大模型训练与性能提升需要大量算力支持，此类资源消耗是否符合发展可持续性，亦需慎重衡量与评估。医疗健康的高风险性使人类必须考虑公开透明的伦理原则，特别是大模型在基因编辑、生物合成等方面的应用。基因检测与编辑事关生物的自然发展与优胜劣汰，大模型是否成为了违背自然原理事件的催化剂？大模型在医疗健康领域的使用与发现，需要透明、清晰、披露相关机制保障。

3.2 创意产业

创意产业是知识和先进技术密集型产业，具有引领社会思想创新、技术创造的作用，尤其以知识产权作为主要产出。在元宇宙概念的加持下，人工智能作为新兴科技赋能创意产业已在媒体、游戏、影视等方向取得显著成效。由于传统人工智能技术的理解能力、创造能力十分有限，其伦理在创意产业中的关注度并不高。然而，ChatGPT、Midjourney 等大模型逐渐成熟与落地应用，给创意产业的劳动力结构和生产模式带来巨大改变。以人为本、可持续发展、公开透明等伦理争议也将愈发凸显。

其一，创新是人类社会进步的重要动力，但大模型不断冲击创作模式，挑战人类在创意产业中的主体地位和能动性。大模型已从增添效果、提高质量的创意辅助工具发展到了能够“独立”模仿创作或自创艺术风格完成创作任务的阶段，未来大有大规模取代人类成为创作主体的可能性。美国好莱坞展开的反 AI 运动如火如荼进行着，深刻说明大模型在创意产业的推广和深入应用并非全然善举，为了创意的延续，需关注长期伦理风险，以及如何利益平衡地使用大模型，促进人机和谐友好。

其二，大模型的使用打破了思想与表达的创作壁垒，引发了专业人士对行业失业和人才缺失双面社会问题的思考。一方面，大模型重塑了人机交互方式，使具备数字技能的任何人群可以通过代码、文本表述等方式调用大模型辅助完成创作，这意味着信息技术人员比传统创作者更受到创意产业的青睐；另一方面，大模型文生文、文生图、文生音乐等能力目前已经达到了大众可以接受的水平，创作时间也极大幅度缩短，可以预见，以机器创作取代人类表达将带来更加可观的商业前景。尽管目前国内外相关调查并不认为大模型和人工智能将取代或大幅影响艺术、设计、影视等从业人员，但从长期来看，大模型的涌现能力会怎样引导创意产业尚不明确，就业与社会稳定等伦理风险需要正视与防范。

其三，大模型使创意产业面临前所未有的可控可信与公平竞争危机。创意产业虽然对解释与逻辑的要求不多，但“黑箱”算法、数据来源的不确定性，仍影响着产品与服务的透明性、可解释性、可问责性、安全性。尤其是大模型技术的飞跃发展，使用成本大幅降低而生成质量大幅提升，为创意产业中的抄袭、伪造提供了巨大便利。虚假新闻、价值观误导信息、歧视图文等充斥网络空间，无主观意识的知识产权侵权也愈发严重。如果忽视大模型的安全与可信问题，创意产业或将成为挑战人类先进思想、意识形态、道德文化、精神健康的主战场。

3.3 文化教育

目前，大模型在教育领域的落地应用已初见雏形。基于大数据的精准教育可以为学生提供准确的学习诊断和分析，促进学生个性化发展。大模型强交互性促使学生从知识消费者转变为共同创造者，从被动接受转向主动探索。逐渐深入教育领域的大模型应用不断冲击着现代教育模式，激化信息安全、隐私保护、思维惰性、价值观引导等一系列伦理风险。

短期来看，教育大模型在内容、决策与隐私方面暴露了严重的伦理问题。其一，内容准确性不足，损害个人发展权利。大模型的准确性需要在海量数据训练中提高，当训练数据不足时，可能会出现片面、虚假信息。其二，决策依据难追溯，损害教育公平公正。当训练数据中存在偏见歧视信息或者是用户恶意输入不安全信息时，会产生不公平的决策，影响学生的心智健康成长。其三，大模型可能需要大量搜集学生个人信息反哺训练，但目前无法完全保证学生隐私不被泄露，潜在威胁以未成年人为主的群体的身心健康。

长期来看，公平与可持续是关乎人类全局的伦理问题，需要大模型为基、人类主导、数字技术支持的教育密切关注。在公平性上，数字基础设施建设的地区差异，数字技能培养意识的差异，随着时间推移会造成不可逆转的发展鸿沟，需要各界共同解决。以人为本的可持续发展，需要人类具备批判性思考能力。对大模型工具的长期依赖会产生思维惰性，泯灭创造力，丧失独立思考能力。同时，正确价值观的培养是育人的根基，大模型深入教育各个环节，但对某些群体、价值观、道德观具有不良倾向或偏颇判断，因此需要警惕其反塑造作用，尤其是对学生价值观的不适当潜移默化引导。

4 标准化视角下的治理路径

4.1 人工智能治理标准化现状

国际层面，人工智能国际标准化工作主要通过国际标准化组织及国际电工委员会第一联合技术委员会人工智能分技术委员会（ISO/IEC JTC 1/SC 42）开展，其相关标准如表 1 所示。目前，伦理治理已写入SC42的人工智能标准化路线图，并主要针对鲁棒性、可解释性、偏见缓解等方面研制国际标准。

表1 ISO/IEC JTC 1/SC 42 人工智能治理相关标准

此外，电气与电子工程师协会（IEEE）近年来也聚焦人工智能领域伦理道德标准。2017年发布了第二版《伦理一致性设计》（Ethically Aligned Design，EAD），目的是指导与规范人工智能在设计上合乎道德的标准。目前，IEEE 正在基于“EAD”研制7000系列标准，发展人工智能应该关注设计环节，通过建立标准化的流程实现人工智能对齐，避免算法偏见等潜在伦理道德风险。其已发布的相关标准如表2所示。

表2 IEEE 人工智能伦理治理相关已发布标准

国内方面，我国国家标准委等五部委于2020年联合发布《国家新一代人工智能标准体系建设指南》，指明“安全/伦理”是我国人工智能标准体系重要组成部分。同时，国家人工智能标准化总体组下设人工智能与社会伦理道德标准化研究组，负责我国人工智能伦理治理标准化统筹管理工作，并在2023年初发布《人工智能伦理治理标准化指南》，内容涵盖人工智能伦理治理标准体系，如图1所示。

图1 人工智能伦理治理标准体系

总体上，目前我国大部分人工智能治理标准围绕安全、可信赖进行规范，关于人工智能或大模型伦理治理的专项标准尚为空白。

4.2 面向大模型伦理治理的标准化路径

标准作为现代化治理体系中不可或缺的一环，具备高可实施性及落地性，有助于将抽象的伦理原则转化为可操作的治理细则。基于上述对于大模型伦理风险演变的研判，本文研究认为，大模型伦理治理的标准化工作需结合产业化的三个阶段开展。

短期：由于大模型应用场景有限，其伦理问题并未与人工智能伦理出现分化，主要治理对象依然为传统人工智能系统。围绕人工智能基础软硬件、数据、算法模型等基础要素，及时落实安全、可信赖等技术标准，解决通用技术性问题，整体提升人工智能产业伦理符合性，并通过标准实施反馈为大模型积累实践基础。

中期：针对大模型特定伦理风险，进行专项标准化工作。面向大模型不可解释性、“幻觉”、能源密集等特殊问题，及时根据大模型发展趋势动态调整人工智能治理模式，研制符合大模型技术及应用特点的伦理治理标准，满足大模型鲁棒性、可解释性、公平性等技术要求，实现负责任的研发应用。

长期：大模型全面赋能“千行百业”，需要从行业和用户角度出发，解决大模型赋能行业后的治理风险。伦理准则的内涵和具体要求因行业不同而存在差异，因此需要结合大模型在各行业应用现状，深度挖掘符合特定行业的伦理需求，有效解决大模型赋能行业智能化过程中出现的伦理问题，提高伦理治理规范化水平。

5 下一步工作建议

大模型产业化发展带来的伦理风险与行业赋能应用成效呈现正相关增长态势。构建大模型健康发展生态，既要重视商业模式探索，也要加速推动伦理治理进程。对此，基于本文研究提出下述四点建议供各界参考。

（1）动态更新人工智能伦理准则，区分明确适合大模型、生成式人工智能、通用人工智能的伦理准则。促进形成跨学科合力，研究准则内涵外延，动态更新方式方法，提高伦理准则对快速演变技术的适用性。

（2）加速打造政产学研用多方协同的治理模式。从近期看，着重加强伦理驱动的技术研究和标准规范，建立面向大模型的公共技术服务或检验检测平台等；从中长期考虑，全面研究和论证人工智能立法策略。

（3）提高支撑技术的实践水平，跨越准则到治理技术鸿沟。深耕治理底层理论和保障性技术研究，关注真实性、公平性、可解释性等大模型重点技术要求，攻关专项治理技术及配套实施工具，通过开源开放等方式共建治理生态。

（4）强化标准布局，引领大模型产业高水平治理。全面建设人工智能伦理治理体系，在医疗健康、内容创意、文化教育等伦理高风险领域，发挥急用先行标准的引领作用，深化标准对产业治理的关键作用。

（参考文献略）

董建

中国电子技术标准化研究院信息技术研究中心副主任、高级工程师。主要从事信息技术标准化工作，牵头 / 组织研制人工智能、大数据、电子公文等领域国家 / 行业标准20余项。

选自《中国人工智能学会通讯》

2024年第14卷第1期

人工智能伦理治理新挑战专栏