文｜胡泳
北京大学新闻与传播学院教授
戴维·温伯格（David Weinberger）在《知识的边界》一书中对网络化知识的认识曾给我们打开知识的新疆界[1]，而他对人工智能时代的知识的见解，可以归纳如下：
人类努力获得对复杂系统的理解。然而，我们基于“人类的理解”所作的预测并不像人工智能那样准确，虽然人工智能并不真正理解任何东西。
不过，鉴于人工智能的预测比基于人类理解的预测更准确，我们应该放弃对理解的追求，而专注于建立能够为我们作决定的人工智能。
将主导权交给预测性人工智能，我们将迎来人类进化的下一个阶段[2]。
通过大模型及其背后的生成式人工智能，以及现在方兴未艾的代理式人工智能，我们其实已经迈入了温伯格所称的“人类进化的下一个阶段”。
利用统计模型、回归分析和深度学习技术，预测性人工智能旨在以高精度预测未来的结果或趋势，可以应用于众多行业之中，如医疗保健、金融、营销和供应链管理、法律等，作出数据驱动的决策、优化流程并改善结果。
但正如温伯格所看到的，理解是一个大问题。随着AI系统在各个领域的决策过程中变得越来越重要，可解释人工智能（explainable AI，简称XAI）的要求应运而生。
XAI是一个探索如何使AI系统更可解释的领域，帮助用户理解AI预测和决策背后的推理过程。这使得它与传统的“黑箱”AI模型不同，后者可能提供准确的预测或分类，但没有提供关于如何得出这些结论的洞察。
毋庸置疑，人工智能的未来关键在于，我们是应该放弃理解，还是致力于建立可以理解的人工智能？
深度学习：极其黑暗的黑箱
随着技术的发展，我们可能很快就会跨越一些门槛，而越过这些门槛，使用人工智能就需要信仰的飞跃。当然，我们人类也并不能够总是真正解释我们的思维过程，但我们找到了直觉上信任和衡量人的方法。
换言之，人类建立信任，不依赖于可计算的透明性，而依赖于一种具身直觉的理解：我们通过陪伴来判断善意，通过回应来确认存在，通过关系来衡量责任。对于那些以不同于人类的方式思考和决策的机器来说，这是否也是可能的？
我们以前从未制造过以其创造者不理解的方式运作的机器。过去的工具——从锤子到蒸汽机、从航天器到超级计算机——尽管精巧复杂，但仍服从因果、遵循逻辑，其工作方式皆在人的掌控与理解之内。我们知道它们为何而动、因何而停。
然而，当深度学习、语言模型与自组织算法诞生后，局面发生了变化：历史上第一次，我们拥有了比我们更难以理解的创造物。
这些机器在高维空间中“思考”，拥有我们无法直观感知的表征与路径。它们给出的答案有效，但解释缺席；它们的判断精准，却不知其因。我们能指望与这些不可预测和不可捉摸的智能机器，达成多好的沟通和相处？这些问题将把我们带向人工智能研究的前沿。
人工智能并不一向这样。从一开始，对于人工智能的可理解性，或可解释性，就存在两派观点。
许多人认为，建造根据规则和逻辑进行推理的机器是最有意义的，这样将使它们的内部运作对任何愿意检查某些代码的人来说是透明的。
其他人则认为，如果机器从生物学中获得灵感，并通过观察和体验来学习，那么智能将更容易出现。这意味着要把计算机编程转给机器。与其由程序员编写命令来解决一个问题，不如由程序根据实例数据和所需输出生成自己的算法。后来演变成今天最强大的人工智能系统的机器学习技术，遵循的正是后一种路径：机器基本上是自己编程。
任何机器学习技术的工作原理本质上比手工编码的系统更不透明，即使对计算机科学家来说也是如此。这并不是说，所有未来的人工智能技术都将同样不可知。但就其性质而言，深度学习是一个特别黑暗的黑箱。
我们把海量数据投入其中，大语言模型便生成回答、判断、偏好等等，但我们不知道它是如何抵达这些结论的。它的路径，不可追溯；它的“规律”，不可求证；它的偏差，不可预警。它像一个沉默的神谕者：我们依赖它，却无法质问它；我们服从它，却无法要求它承担责任。
于是，技术不再只是工具，而成了一种不透明的权力。它是制度化的行动者，在社会中行使权力。这种权力不通过暴力显现，而通过规则、标准、算法逻辑潜移默化地渗透人类生活。
一旦面对这样的黑箱，就产生了人对系统的信任问题。温伯格所举的经典例子，是一个名为“深度患者”（Deep Patient）的医疗学习怪物。纽约某医学院的研究人员向它输入整整70万份病历，并让它不受限制地找出它能做的事情。结果，它作出的诊断和预测远远超出了人类医生的能力。虽然该“黑箱”诊断系统无法解释它给出的预测，但在某些情况下，它的确比人类医生更准确。
这就是深度学习，会带来人类从未考虑过或甚至无法想象的发现。温伯格说，“深度患者”的教训是，深度学习系统不必将世界简化为人类能够理解的东西。
问题在于，温伯格没有深入处理人对人工智能的信任。比如，即便“深度患者”的诊断比人类医生更准确，但要是它无法解释自己给出的判断，医生和患者会对它表示信任吗？
AI医生值得信任，需要满足三个条件。
第一是可解释性：患者和医护人员可以理解决策逻辑，因为信任不仅基于结果，更基于过程的透明与可理解。
第二是可追责性：错误和风险能明确归属，责任可以追溯并落实。
第三是伦理嵌入：算法设计中考虑患者尊严、脆弱性和权利。
如果患者只能被动接受结果，而医生的角色，从指导者、守护者，逐渐转变为算法的执行者，就会产生伦理责任问题。患者的主动权被剥夺，医生的判断空间被压缩，错误的诊断不再容易追溯到人，而算法又无法承担伦理责任；最后受伤害的，仍是患者。
这说明，技术越强大，越需要明确它的权力与边界，否则信任就只是一种表象。
人类信任：难以经受失败的打击
人类的信任往往基于我们对其他人如何思考的理解，以及对这些思考的可靠性的经验了解。这有助于创造一种心理安全感。
而AI对于大多数人来说，仍然是相当新颖和陌生的。它使用复杂的分析系统进行决策，以识别潜在的隐藏模式和来自大量数据的微弱信号。
即使可以在技术上解释，AI的决策过程对于大多数人来说通常都是难以理解的。更何况目前的人工智能发展是在朝着不可理解的方向加速前进。同自己不明白的事情互动会引起焦虑，并使我们感觉我们失去了控制。
芯片制造商英伟达推出的自动驾驶汽车，看上去与其他自动驾驶汽车没有什么不同，但它实际上迥异于谷歌、特斯拉或通用汽车所展示的任何东西，而是显示了人工智能的崛起。英伟达的汽车并不遵循工程师或程序员提供的任何一条指令。相反，它完全依靠一种算法，这种算法通过观察人类的行为而学会了自己驾驶。
让一辆车以这种方式行驶是一项令人印象深刻的壮举。但它也有点令人不安，因为并不完全清楚汽车的决定是如何做出的。来自车辆传感器的信息直接进入一个巨大的人工神经元网络，该网络处理数据，然后提供操作方向盘、刹车和其他系统所需的命令。其结果似乎与你所期望的人类司机的反应一致。
但是，如果有一天它做出一些出乎意料的事情——比如撞上了一棵树，或者在绿灯前停止不动呢？按照现在的情况，可能很难找出它这样做的原因。该系统是如此复杂，甚至设计它的工程师也难以分离出任何单一行为的原因。而且你也不能向它提问：没有办法来设计一个系统，使它总是能够解释为什么它做那些事。
除非我们找到方法，让深度学习等技术对其创造者更容易理解，对用户更负责任，否则，将很难预测何时可能出现失败——而失败是不可避免的。
麻省理工学院研究机器学习应用的教授托米·贾科拉（Tommi Jaakkola）说：
“这是一个已经凸显意义的问题，而且在未来它将变得更有意义。无论是投资决策、医疗决策，还是可能的军事决策，你都不希望仅仅依靠‘黑箱’方法。[3]”
贾科拉对AI的一般局限性和常见失败提出了重要见解，尤其关注AI在实际应用中的问题，以及其在复杂场景中无法考虑所有变量的局限性。其中包括：
AI的误用——贾科拉指出，AI并非因为技术本身存在缺陷而失败，而是因为它常常被用于不适合解决的问题。错误的应用场景是AI失败的主要原因之一。
数据不完整——机器学习项目中，处理不完整的数据源是一大挑战。这是许多AI项目失败的常见原因。
模型局限性——他强调当前AI模型的固有局限性。例如，即使神经网络的微小变化，也可能导致其无法捕捉所有必要信息，从而在复杂的现实场景中产生不可预测或错误的行为。
系统稳健性——贾科拉的工作强调构建稳健且值得信赖的机器学习系统的重要性，这对于防止公众信任流失尤其关键，特别是在医疗等关键应用领域。
贾科拉的见解常被引用于讨论为何许多企业AI项目或试点计划未能产生预期效果，有研究显示失败率可能高达95%。因此，要想让AI真正发挥价值，企业不仅要优化算法，更要关注信任建设和伦理设计。
这就引申出了可信任AI（trustworthy AI）问题。“可信任 AI”是人工智能伦理与治理领域的核心概念，指的是在技术、法律、伦理和社会层面都值得信赖的AI系统。它不仅追求性能和效率，更强调对人类价值、权利和社会责任的尊重。
如果人工智能系统在我们的日常生活中越来越广泛地应用于各种服务和产品，那么就必须从用户角度看待对AI信任与否的重要性。如果AI驱动的系统在人类活动的重要层面成为代理或半代理工具，那么我们就不可能不忧虑，这些工具在何等程度上，会影响到人类的思维、决策和行为。
信任与不信任AI，作为一种调节器，可能显著控制人工智能技术扩散的程度。当用户、机构或社会群体对AI系统保持信任时，他们更愿意采纳、依赖和投入资源，从而加速技术应用的普及。反之，不信任则会抑制采纳率，使潜在的技术优势无法转化为现实效益。
这种调节效应不仅是技术层面的，也深刻涉及伦理与社会心理层面。信任建立在可靠性与稳健性、可解释性与透明度、公平性与无偏私、隐私与安全、责任可追溯、伦理与法律合规等因素之上，而一旦这些基础缺失，AI的高准确率或高效率也难以赢得使用者的认可。
由此可见，可信任AI不仅仅是技术问题，它是技术、伦理、社会与法律的综合实践。一个AI系统即便算法先进，如果不可靠、不透明、偏见严重或无法承担责任，就不能称为可信任AI。
摧毁信任，也就摧毁了文明
所以，理解，还是不理解，绝非可以轻易得出结论，因为我们投入的赌注太太了。正如人类行为的许多方面也无法详细解释一样，也许人工智能也不可能解释它所做的一切。
或许这就是智力性质的一个特点：它只有一部分被暴露在理性解释之下。而另外一些是本能的，或潜意识的，或不可捉摸的。
如果是这样，那么在某个阶段，我们可能不得不简单地相信人工智能的判断（这是温伯格所主张的），或者干脆不使用人工智能。相信或者不使用，这样的判断将不得不纳入社会智能。
正如社会建立在预期行为的契约之上，我们将需要设计和使用人工智能系统来尊重和适应我们的社会规范。如果我们要创造机器人坦克和其他杀人机器，重要的是它们的决策必须与我们的道德判断相一致。
哲学家丹尼尔·丹尼特（Daniel Dennett）对可解释性持很审慎的态度。他说：
“如果我们要使用这些机器并依赖它们，那么让我们尽可能坚定地掌握它们是如何和为什么给我们答案的。但是，由于可能没有完美的答案，我们应该对人工智能的解释持谨慎态度，就像人类对彼此的解释一样——无论机器看起来多么聪明。而如果它不能比我们更好地解释它在做什么，那么就不要相信它。”[4]
审慎的原因在于，人类的未来，也许并不关乎某种超级智能的接管，而是人工智能的普遍使用可能对文明构成存在性威胁，这种危险根源于人性的脆弱性——不知道自己知道什么，也不知道该信任谁。
比起担心人工智能对工作的影响，我们更应该担心人工智能对信任的影响，因为信任乃是文明最重要的基石之一。
我们花费越来越多的时间在数字环境中，进化并没有为我们做好充分准备。与此同时，人工智能很可能会进化以实现自我复制，因为进化并不仅限于生物有机体。
在这样的两极发展中，虽然我们赞成人类通过使用医学中的专家系统或导航中的GPS等提高效率，但我们也必须看到一个危险，那就是机器在感知、记忆和算法计算等基本任务中所占比例日益增加，而人们可能会倾向于将这些系统人格化，赋予它们并不具备的智力能力。
正如丹尼特所担心的，人们可能会误解本质上是“寄生”的AI系统，而不是建设性地利用它们来挑战并发展人类用户的理解能力[5]。对人工智能的正确认识，不应是“替代人类”，而是“拓展人的可能”。
机器学习的兴起是人类历史上最重大的变革之一，越来越多的机器学习模型将成为我们的知识库，就像现在的图书馆和人类的头脑一样。
然而，机器学习模型里没有“知识”，它们只是对数据模式的统计拟合。算法可以识别关联、预测趋势，但并不理解因果关系、背景意义或伦理后果。它不会像人类一样反思自己的判断，也不会承担责任。
因此，即便模型输出准确，它也无法提供可解释的理由，也无法回应使用者的进一步质问。模型的“智能”只是表象，真正的信任仍需建立在人对人之间的理解、回应和承担之上。
人类的认知不仅是模式识别，更包括自我反思、道德感知与情感回应。当算法把我们置于脆弱、依赖与无助的境地，我们需要重新思考知识的性质和用途，甚至重新思考作为能够了解自己世界的生物，我们到底是谁。
*参考文献：
[1]《知识的边界》，戴维•温伯格著, 胡泳、高美译，山西人民出版社，2014年。
[2] Weinberger, David (2019). Everyday Chaos: Technology, Complexity, and How We’re Thriving in a New World of Possibility. Harvard Business Review Press.
[3] Knight, Will (Apr 11, 2017). “The Dark Secret at the Heart of AI.” MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.
[4] Knight, Will (Apr 11, 2017). “The Dark Secret at the Heart of AI.” MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.
[5] Dennett, Daniel C. (2017). From Bacteria to Bach and Back: The Evolution of Minds. Penguin, 402-3.
