特约文章丨为什么大模型不知道它不知道什么_

文 / 刘古权，赵育慧

摘要：

得益于智能技术的高速发展，人工智能大模型在智能问答、智能技术、智能推荐、内容生成等方面不断深入应用，极大地推动了各领域的数字化转型进程。为探究大模型“智能”的本质，本文解析了“大模型知道它知道什么”的底层逻辑和“大模型不知道它不知道什么”的内在原因，结果表明，预训练概率模型的不确定性、预训练数据的局限性、人工智能无自我意识等特征揭开了大模型神秘的面纱。最后针对“大模型将如何知道它不知道什么”这个问题提出了几点建议，为进一步丰富大模型功能场景提供了发展思路。

关键词：

大模型；ChatGPT；人工智能；人类智慧；协同效应；智能时代

0 引言

随着新一代信息技术的快速变革，当今世界已经进入了数字时代，我们的工作和生活方式也随之发生了翻天覆地的变化。每一次在互联网上的搜索、社交媒体上的点赞、购物网站上的浏览，都在不知不觉中产生了大量的数据，这些数据承载着海量的信息，大型语言模型 ( large language models，LLMs) 在数据的海洋中应运而生。

大型语言模型简称大模型，是指基于海量数据训练的、拥有巨量参数的模型，这些模型通常具有较深的网络结构、较多的神经元，以及数亿到数千亿个参数，这些参数可以通过训练过程自动调整以捕获输入数据中的复杂关系，在生成流畅、连贯和信息丰富的自然语言文本方面表现出卓越的能力，可以适应广泛的下游任务。

1 ChatGPT 掀起大模型发展热潮

2022 年 11 月，美国人工智能实验室 OpenAI 公司发布了 ChatGPT，迅速引发了全球的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为人工智能发展史上用户增长速度最快的应用软件，ChatGPT被社会各界广泛认为是一场颠覆性的技术革命。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版大模型 GPT-4，将强算力和强算法进一步优化结合，大幅提升了大模型的预训练生成能力和多模态多场景应用能力，再一次实现了人工智能领域的技术飞跃，并在全球范围掀起大模型发展浪潮。

放眼全球，引起热烈讨论的大模型除爆火的 ChatGPT 外，还有谷歌的 PaLM2、微软的Kosmos 等超算力大模型如雨后春笋般竞相问世，据相关统计，2023 年上半年全球新发布的大模型已超过 400 个。在 ChatGPT“走红”3 个多月后，中国国内的互联网巨头企业如百度、阿里、腾讯等纷纷相继推出大模型产品并已成功落地。2023年 5 月底，《中国人工智能大模型地图研究报告》显示，国内 10 亿级参数规模以上人工智能大模型已发布 79 个，各行各业的数字化需求正大力推进人工智能的快速发展。IDC 发布的《2022 中国大模型发展白皮书》总结了大模型产业生态图谱（如图 1 所示），未来大模型将不断丰富其应用场景和功能领域，在搜索、对话、推荐等基本功能的基础上，继续深入探索医疗、遥感、城市、基础科学、元宇宙等复杂场景。

图1 中国大模型生态（图片来源：IDC）

尽管大模型在执行许多任务时表现出色，但它们在思维认知和自主意识等方面仍然存在很大的局限性，尤其是在涉及特定领域知识或复杂推理的情况下，有时会生成不准确或不合适的答案。因此，大模型能够得以深入发展应用场景的一个重要基础是不断增加其领域知识和推理能力，以增强模型输出内容的可靠性。

2 大模型知道它知道什么

在机器学习中，模型的知识主要基于模型的数据、参数和架构，这些参数经过不断调整和训练，使得模型能够从输入数据中学习到知识从而执行相关任务。大规模的数据集、合适的模型架构，以及有效的训练方法赋予了大模型丰富的知识量，知识的充分积累使大模型拥有了“知道”的能力，这里的“知道”并不是说大模型像人一样拥有了真正的自我认知意识，而是指大模型能够通过模式识别、信息抽取、语义理解、知识迁移、自我监督等方式去运用知识解决问题和执行任务（见图 2）。

图2 大模型知识生成过程

智能技术的迅速发展使得数据量呈爆发式增长，海量的数据是大模型进行训练从而生成内容的重要基石。通过分析和挖掘大规模数据，大模型能够积累关于不同领域的知识，涵盖了科技、医学、历史、文化、娱乐、常识等各个领域，这些知识成为大模型执行后续各种任务的基础。除此之外，大模型通过处理大量的上下文数据来学习如何理解关联信息，从而能够在对话系统中保持准确、连贯和自然。随着训练数据规模的增加，大模型整合了来自不同领域的知识，从而提供能够更可靠、更全面、更多元的回答。在数据和知识进行持续积累的过程中，大模型会出现以往小模型所无法具备的更高阶的能力，可以看作是“量变引起了质变”，业界将这种现象称为大模型的能力“涌现”现象。

作为首款在语言智能领域实现智能涌现的预训练大语言模型产品，ChatGPT 具备了精准的语义理解能力、强大的语言表达能力、严谨的逻辑思维能力。然而，尽管算力强大如 ChatGPT，依然存在许多技术所无法避免的不足之处，正如美国学者 Ray Campbella 所言：“AI 不是一种魔法，而是一种技术，具有所有技术所固有的能力和局限性。”例如，当在 ChatGPT 中输入“诸葛亮巧借东风”“周瑜草船借箭”这类极具误导性又明显带有欺骗性的问题时，ChatGPT往往无法准确识别出问题本身的是否真实，输出的内容可以明显看出具有大量的拼凑痕迹。这说明了大模型其实并不具备理解问题本身意义的能力，因此才会“一本正经地胡说八道”，我们把这种生成内容与客观事实不符或前后矛盾的现象称为大模型产生了“幻觉”，这说明大模型实际上并不

是总能够知道它知道什么。

3 为什么大模型不知道它不知道什么

大模型通过数据分析和逻辑推理而“知道”的其实只是不同生成内容发生的概率，例如，当输入问题“孙悟空一共几次打白骨精”时，大模型预训练后可能得到“3 次”“4 次”等不同的答案，如果它们的概率分别是 40% 和 60%，大模型经最优化分析后将会取最大概率的答案“4 次”，然而这很明显违背了客观事实，那么为什么大模型不知道它不知道什么？

第一，数据规模的有限性。大模型是基于海量的数据进行预训练的，它们通过学习和模仿这些数据中的语言模式，分析其信息特征并进行知识融合，从而生成相应内容。在涉及特定领域的问题时，如果没有充足的数据量作为预训练基础，大模型将无法调出足够多与问题相关的数据，也就不能进行准确的推理和回答，这时大模型将会给出“模棱两可”甚至“胡编乱造”的答案。

第二，数据质量无法保证。尽管大模型可以训练大规模的数据集，但这些数据通常来自于互联网，并且大部分是由人类标注、直接或间接产生的，其中包括了大量的不准确和歧义性信息，同时也存在着人类自身的主观性和局限性问题，这可能导致大模型在数据训练的过程中错误地相信一些虚假信息，而模型本身没有判断数据真伪的能力。

第三，训练技术的局限性。目前几乎所有的大模型预训练都基于 Transformer 架构，这是一种深度学习模型架构，最初由 Google 的研究人员于 2017年提出，目前已成为自然语言处理和其他序列建模任务的主流架构。Transformer 架构利用自注意力机制和神经网络实现概率建模，使得它具有卓越的建模能力、并行计算的优势，以及容易训练和调整的特点；但同时，由于自注意力机制的复杂性，解释模型的预测结果相对困难，该架构失去了部分获取局部信息的能力，在涉及具体知识领域时可能无法准确聚焦相关问题。

第四，概率模型的不确定性。大模型实际上是一个用于计算文本出现可能性的概率模型，即主要基于隐马尔可夫模型、条件随机场、贝叶斯模型、最大似然估计等概率模型生成内容，同时有助于大模型理解数据中的统计规律、语法结构和语义信息。例如，隐马尔可夫模型（具体作用原理如图 3 所示）通常用于序列建模和标注任务，能够处理语音识别、词性标注、关系抽取、自然语言生成等任务。通过输入大量的多模态数据，利用统计学方法和概率分布模型，分析训练数据中的语言模式和上下文关联性，来预测接下来最可能出现的单词或句子，生成的文本虽然能够保证语句自然连贯，但由于模型本质上是通过调整训练参数来保证逻辑合理性，而并没有真正的问题理解能力，因此生成的内容具有一定程度的随机性和多样性。

图3 隐马尔可夫模型

第五，人工智能没有自我意识。人工智能只是一种基于算法、模型和数据的技术，它们的工作原理是通过模式识别、统计学习和数据处理来生成输出。大模型能够在分析数据、识别模式、回答问题、执行任务等方面表现出色，但这些操作都是基于预先编程或训练出来的规则和模式。它们没有意识体验和自我理解能力，不知道自己是一个模型，不了解自己的目的是什么，也没有自我认知和自主意识，只是根据输入数据生成输出而不能理解其意义，当然也无法知道自己的输出内容是否真实可靠。

大模型通过训练和学习过程成功地获取了某些知识和能力，它们可以对输入数据进行处理、执行各种任务，并作出合理的预测。而大模型的知识和能力是有限的，如果某个问题或任务超出了其训练领域，它们可能不具备理解或解决的能力。在人工智能领域目前的发展阶段，大模型虽然能够在很大程度上知道自己知道什么，但由于以上种种局限性的存在，它们很难知道自己不知道什么。因此提高大模型的自我认知能力，使它们能够知道自己不知道什么，从而更好地处理不熟悉的情境和问题，这对于提高大模型的可理解、可信任、可解释性至关重要。

4 大模型将如何知道它不知道什么

第一，保证数据规模和质量，发展领域大模型。大模型的性能和效果在很大程度上依赖于训练数据的质量和数量，通用大模型在能够广泛用于多个领域的同时对数据量的要求非常高，收集精深、广泛而准确可靠的数据对工作者的困难往往很大。为解决这一难题，可以研发专门针对特定领域或行业进行训练和优化的领域大模型，如医疗、法律、金融、管理和决策大模型，这些模型经过相关领域的训练，很大程度上避免了多领域数据融合的歧义问题，能够更好地理解特定领域的专业术语和问题。

第二，结合知识图谱，定义知识边界。知识图谱可以用于描述概念、属性和实体的关系结构，将大模型与知识图谱相结合，可以使模型了解自身知识的范围和深度，这种结构化表示使得知识可以更容易的组织、查询、关联和理解。当大模型拥有了自己的知识图谱后，就可以知道自身的知识边界在哪里，如果涉及到当前边界外的知识，模型能够给出系统提示。知识图谱可以通过添加新的实体和关系不断进行自我更新和完善，从而拓展了大模型的知识边界，以更好地适应新的信息和问题。

第三，开发元认知模型，完善自我监督机制。元认知是指对自身思考和认知过程的认知，大模型没有真正的自我意识和理解能力，本质上是因为不具备像人类一样的元认知能力。通过研究人工智能的元认知模型，可以监控模型的决策和学习过程，从而识别模型在特定任务上的困难或错误，并提供反馈以改进性能。自我监督机制可以为模型提供自动生成的监督信号，帮助模型在学习过程中更好地利用未标记的数据，将元认知模型与自我监督机制相结合，有助于增强模型的学习、理解和自适应能力。

第四，打通合作机制，发挥协同效应。协同效应指的是不同部分或个体共同合作时所创造的整体效果超过各个部分或个体单独行动的总和效果，即“一加一大于二”的效应。通过明确任务目标，建立信任机制并采取适当的协作策略，大模型可以与其他人工智能或人类进行合作，以了解和弥补自身知识和能力的不足，协作过程同时也是一种成长过程。例如，大模型可以发出请求以获取自身知识边界以外的信息或进行集体智慧计算。

第五，探索能力涌现机制，打开人工智能思维“黑盒”。复杂系统学科里已经对各种涌现现象做过很多相关研究，这种在宏观层面上展现出微观个体无法解释的特殊现象，其具体发生机理，至今仍是一个未解之谜。当模型训练数据达到一定规模后，就会突然出现能力涌现现象，而经过长时间训练后，模型还会出现“顿悟”现象，这类现象的出现在一定程度上说明了大模型看起来好像对训练数据有了理解能力，然而其运作方式和具体过程就像一个黑箱，目前尚无法给出确切的科学解释。随着人们对人工智能领域的深入探索，未来或许有可能打开这个黑箱，从而进一步赋予大模型显性化的认知和理解能力，使得大模型能够知道它不知道什么。

“大模型不知道它不知道什么”表明了模型本身通常不具备对自己知识能力局限性的明确认知，这在当前人工智能领域发展阶段是一种很常见的情况。大模型可能在某些领域或任务上表现出高度的自信，而实际上由于缺乏对问题本质的深刻理解，它们往往无法正确理解或应对一些复杂问题。当大模型能够明确识别自身的不足之处和不确定性时，它们能够更谦虚地对待问题，并更可能接受反馈并进行改进。在这种情况下，大模型可以更好地理解自己的决策过程，意识到某些问题中它们不具备足够的知识，从而采取谨慎的行动或向外部寻求帮助。从“大模型不知道它不知道什么”到“大模型知道它不知道什么”，这种转变对于未来构建自适应性更强、可解释性更高的人工智能至关重要。

5 结束语

在数字化智能化时代，人工智能在人类活动中发挥着越来越重要的作用。不可否认的是，人作为拥有认知能力的独立个体，其能够学到的知识是有限的，并且获取知识的过程具有不可避免的时间局限性，而人工智能通过不断增强其算力几乎能够无限获取各个领域的数据，相当于拥有了群体知识和能力。尽管人工智能的决策是群体决策中所有情况发生概率的最优结果，但由于人工智能没有自我意识只能作为人类的决策助手，而无法成为决策本身。因此，在未来的人机协同组织中，人类可以基于人工智能的群体知识能力丰富自己的个人智慧，协同人工智能大模型将能够最大程度地赋能组织。

（参考文献略）