拨开迷雾!贝叶斯推理:读懂“不确定性”

拨开迷雾!贝叶斯推理:读懂“不确定性”
2024年05月17日 21:31 媒体滚动

转自:科普中国

电影《三大队》

电影《三大队》中,程兵曾是一名警察,负责侦破一起命案。程兵一直着手寻找一名疑凶王二勇的下落。一开始,只有一个模糊的目标人形象,程兵判断对方是王二勇的可能性很低。后来获悉一名男子与王二勇长相酷似,程兵对其是目标人的信心增加了一些。

再经过深入调查,发现该名男子不仅爱看法制节目,还热衷于玩老式俄罗斯方块游戏,这两个与王二勇爱好吻合的线索,使程兵确信他就是自己要找的人,认为对方是王二勇的概率接近 100%。

随着一个个新线索被发现,程兵对目标身份的判断在不断更新,从最初的低概率怀疑,到最终的高概率确认。这一过程正是运用了贝叶斯推理,不断修正先验概率,得出后验概率的结果

程兵判断目标人物是王二勇的过程,实际上是在进行贝叶斯推理。假设有 A、B 两袋球,A 袋内红球占 3/4,B 袋内绿球占 3/4。随机给你一袋,通过一个个摸出球的颜色来判断是 A 袋还是 B 袋,这就类似于程兵在确定对方是否为王二勇的过程。

一开始没线索,假设 A、B 袋的概率均为 50%,这是“先验概率”。如果摸出一个红球,因它更可能来自 A 袋,A 袋的概率就上调到 75%,这是根据新线索更新后的“后验概率”。

接着如再摸出一个红球,A 袋概率继续上调至 90%。但接下来若连摸出两个绿球,A 袋概率将重新降至 50%。继续下去,再摸出 4 个球,如果 8 次中有 6 红 2 绿,A 袋概率将高达 98.8%,虽难确定绝对是 A,但已极有把握。

这一动态更新概率的过程,就是将原先的判断与新线索不断融合,使结果越来越精确。贝叶斯推理不只给出最有可能的答案,还量化了对此答案的确信程度。它代表着一种思维理念:坚持反馈迭代,摒弃固步自封,包容不确定性,勤于学习探索,理论与实践并重。

小百科:什么是“贝叶斯推理”?

贝叶斯推理是一种在不确定情况下进行概率判断和决策的数学方法,它源于 18 世纪英国数学家托马斯·贝叶斯的研究。

贝叶斯推理的核心原理是:根据已知信息得出一个“先验概率”,然后每获取一条新证据,就利用贝叶斯公式,结合新线索对先验概率进行修正,得到“后验概率”的更新值。这一修正过程会不断重复,持续引入新信息,使概率估计值逐步向真实概率靠拢。

具体来说,贝叶斯公式运用了条件概率的乘法法则,将后验概率表示为:后验概率=先验概率*似然函数/证据概率。其中似然函数描述了新证据发生的概率,证据概率是一个归一化因子。这样就能通过简单的概率乘除法,将先验概率与新证据整合,得到修正后的后验概率估计。

通过循环迭代,贝叶斯推理让我们在不断吸收新信息的同时,动态调整对事件可能性的判断。最终不仅给出最有可能的结论选择,还能量化出对这个选择的确信程度有多高。

贝叶斯推理都发挥着重要作用,帮助我们在不确定的世界中作出明智的判断和决策。

图 1:贝叶斯定理的提出者英国数学家托马斯·贝叶斯(1702-1761)图 1:贝叶斯定理的提出者英国数学家托马斯·贝叶斯(1702-1761)

美国辛普森杀妻案

美国辛普森杀妻案曾在 20 世纪 90 年代引发轰动,辛普森聘请“梦幻律师团”为其辩护。检察官展示出辛普森曾长期家暴妻子的证据,认为这是“谋杀的前奏”。而辩护律师 Alan 反驳称,美国每年虽有 400 万妇女遭家暴,但仅 1432 人被杀,概率只有 1/2800,暗示辛普森可能无辜。

按贝叶斯推理,妻子确已被杀,问题是辛普森是否为凶手。辛普森的家暴行为虽是一个线索,但与 1/2800 的概率无关。我们应关注的是,在妻子遇害的情况下,凶手正是施暴者的概率有多大。数据显示,在遭家暴且遇害的妇女中,凶手是家暴男的概率高达 90%。这一证据极大增加了辛普森的嫌疑,但 Alan 的诡辩削弱了其说服力

这启示我们,在不确定情况下,不应止步于表面数字,而要注重条件概率之间的关联。贝叶斯推理教导我们,在获取新线索时,要动态修正既有判断,从先验概率推出后验概率。

图 2:1995 年法庭上的辛普森图 2:1995 年法庭上的辛普森

贝叶斯推理的应用

贝叶斯推理应用范围广泛,包括二战密码破译、医学诊断、电商推荐、垃圾邮件识别、金融投资决策、剧本杀游戏等。在人工智能和计算光学成像领域也扮演重要角色。

我们拍照片时,相机记录完整光场数据,可直接获得清晰图像。但在很多情况下,相机只能获取有限的数据,却需重建出清晰照片。

一个典型例子是 2019 年发布的首张黑洞照片。由于黑洞在遥远的宇宙深处,理想条件是建造一个地球大小的射电望远镜,但现实中只有分布在全球各处的 8 个普通大小望远镜采集数据。尽管数据有限,但通过对黑洞的科学认知,从中猜测出一张“合理的”照片成为可能。

图 3:2019 年发布的历史上第一张黑洞照片图 3:2019 年发布的历史上第一张黑洞照片

重建照片既需要理想化地满足各种约束条件,又需现实化地拟合测量数据。在贝叶斯框架下,可将这两方面需求量化为概率值,并将它们结合为总体概率值,以此为目标寻找最佳重建结果。

研究者历时两年,综合多种算法,最终才获得了那张被广为传播的黑洞照片,尽管无法百分百保证与真实一致,但已是正确可能性最大的猜测结果。

不止在宇宙探索中需要考虑照片真相的不确定性,我们日常应用中也是如此。例如普通相机只能拍摄平面图像,要测量物体的三维形状,需结合投影仪和相机共同实现。

通常需多次投射不同结构光条纹图案才能获取足够数据,如果只有单张条纹图案,数据不足会导致重建结果的不唯一性。在这种情况下,如何顺利重建三维模型?

图 4:结构光三维测量:通常需要依次投影多张不同的条纹图案图 4:结构光三维测量:通常需要依次投影多张不同的条纹图案

普通相机的另一个局限是只能记录光场的振幅(或者说强度),也就是光的明暗,这对于拍摄一张日常普通照片没有问题。

但是在显微镜之下,面对所要观测的透明细胞和微生物,光的振幅常常无法体现出样本细节,而光的相位信息更加重要,相位表示了光的传播路程长短,一个细胞不同部位不同厚度的差异都会造成光相位变化。但光相位又没办法直接测量和记录,而且我们不仅需要样本的相位照片,对于显微镜,还进一步希望相位照片是放大后的结果。

为了获得高分辨率的相位成像结果,研究者提出了差分相衬(Differential phase contrast, DPC)和傅里叶叠层显微成像(Fourier Ptychographic Microscopy, FPM)相结合的方法,简单说就是通过一个 LED 灯的阵列照射样本,每次只开启一部分数量的 LED 灯照明,这意味每次光从不同方向照射显微镜下的样本。

在每一个照明模式下,都拍摄一张光强度的照片,最后从所有光强度照片的细节中,可以计算重建出原本不可见的高分辨率的相位成像结果。“世界上没有免费的午餐”,在这一方案中,要付出的代价是拍摄不同光照条件下照片的数量,常常要超过 100 张,那么如果我们只有 5 张这样的照片,数据严重不足的情况下,还能同样获得高质量的计算结果吗?

图 5:在差分相衬和傅里叶叠层显微成像相结合的方案中,将不同照明模式下光强度的照片数量从 173 张至 185 张降低到仅为 5 张,输入经数据训练的贝叶斯神经网络,仍然可以预测出显微镜下微小生物样本的高分辨率相位图像,并且同时附带生成一张不确定概率图,表示预测结果中各个不同部分的可信程度

普通相机所使用的图像传感器通常是一个由很多微小单元组成的阵列,每个小单元用于记录照片中每个像素的信息,然而在可见光以外的一些波段,比如红外,X 光和太赫兹,这种阵列传感器难以制造出来,或者价格非常昂贵,研究者转而尝试另一种称为单像素成像(Single-pixel Imaging, SPI)的替代方案。

这种特殊的相机中,传感器只有一个像素,每次只能记录物体场景整体的光强弱,拍摄者需要每次把不同的投影图案照射到物体表面,经过很多次不同图案的照射,单像素探测器收集到足够多的数据,也可以计算重建出物体图像来。但同样这里的关键词是“足够多”,如果我们只希望照射很少量的投影图案,记录下很少的数据,能否依旧重建出清晰的物体图像呢?

图 6:一个单像素成像系统 图源:作者自行绘制图 6:一个单像素成像系统 图源:作者自行绘制

以上各种情形下所面临的共同挑战在于,实际获取的图像数据少得可怜,却又希望还原出一张完整清晰照片,看起来都是“不切实际的幻想”,寄希望于“空手套白狼”,而人工智能证明了“幻想还是要有的,万一实现了呢”。

一个深度学习神经网络数学模型,模拟人的大脑结构,包含了大量的神经元和相互之间的连接突触权重,研究者事先根据不同任务,准备大量训练数据,比如结构光三维测量中就是单张扭曲变形的条纹图案和对应的实际三维物体模型,相位显微成像中就是少数几张不同照明模式下的光强度照片和高分辨率的相位成像结果,单像素成像中就是数量有限的探测器数据和实际的物体图像。神经网络模型经过训练后,模型中所有的连接权重数值得到优化,就学会了怎样从不充足的数据中猜测出所希望获取的照片,能够帮我们完成上面这些看似不可能完成的任务。

图 7:三种成像系统与贝叶斯神经网络相结合后重建结果:普通神经网络只能给出预测结果(红色框内),而贝叶斯神经网络既能给出预测结果(红色框内),又能给出不确定性的估计(蓝色框内)

普通深度学习模型虽能给出预测结果,但无法量化该结果的可信程度。我们希望人工智能不仅能猜出答案,还要“有自知之明”,给出答案的可信度。

贝叶斯深度学习就可以满足了这一需求,它将神经网络当前的连接权重值视为先验概率模型,每个训练样本相当于一条新线索,可以不断将先验概率更新为后验概率。如此一来,神经网络不再固定不变,能同时给出预测结果及其不确定性估计。

举例来说,在计算成像任务中,普通神经网络只能输出重建的图像,而贝叶斯神经网络不仅能重建图像,还能为每个像素值附加一个不确定度评估。这就展现了不确定世界的更完整图景。

总结

总的来说,在现实生活中,我们常常面临种种不确定性问题,无法立即得知准确答案。比如刑侦人员需要从线索中判断嫌疑人是否为真凶;科学家需要从有限观测数据中推测出一张清晰的天文照片;医生需要从症状和检查结果中诊断疾病原因;等等。这些问题背后都存在多种可能的答案选择,我们很难一下子就下定论。

有了贝叶斯推理这一强大工具,我们就能泰然自若地面对这些不确定性。贝叶斯推理教导我们,要先基于已有信息给出一个初步的概率估计,这就是“先验概率”。之后只要不断获取新的线索和证据,就可以反复运用贝叶斯公式,将新信息与先验概率融合,动态更新出“后验概率”的新估计值。

通过这种循环迭代的方式,我们就能以一种客观理性、渐进式的思维方式,有序地将零散的新旧信息整合起来,逐步缩小不确定性的范围,将概率估计值向最终的真实答案靠拢。最终,贝叶斯推理不仅让我们找到正确可能性最大的答案选择,还能量化出对这个选择的确信程度有多高,让我们对结论的可靠性有个明确认知。

因此,无论是追查真凶,重建天文照片,还是诊断疾病,只要运用贝叶斯推理,我们就能在不确定的环境中游刃有余,作出明智的判断和决策。

参考文献

[1]Leonard Mlodinow著,郭斯羽译,醉汉的脚步:随机性如何主宰我们的生活,湖南科学技术出版社(2010)

[2]S. Feng, C. Zuo, Y. Hu, Y. Li, and Q. Chen, "Deep-learning-based fringe-pattern analysis with uncertainty estimation," Optica 8(12), 1507-1510 (2021)

[3]左超,张晓磊,胡岩,尹维,沈德同,钟锦鑫,郑晶,陈钱, "3D真的来了吗?——三维结构光传感器漫谈," 红外与激光工程, 49(3), 45 (2020).

[4]Y. Xue, S. Cheng, Y. Li, and L. Tian, "Reliable deep-learning-based phase imaging with uncertainty quantification," Optica 6(5), 618-629 (2019)

[5]L. Tian, X. Li, K. Ramchandran, and L. Waller, "Multiplexed coded illumination for Fourier Ptychography with an LED array microscope," Biomed. Opt. Express 5(7), 2376-2389 (2014)

[6]R. Shang, M. A. O’Brien, F. Wang, G. Situ, and G. P. Luke, “Approximating the uncertainty of deep learning reconstruction predictions in single-pixel imaging,” Commun. Eng. 2, 53 (2023).

海量资讯、精准解读,尽在新浪财经APP
辛普森

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 05-24 汇成真空 301392 --
  • 05-21 万达轴承 920002 20.74
  • 04-29 瑞迪智驱 301596 25.92
  • 04-25 欧莱新材 688530 9.6
  • 04-01 宏鑫科技 301539 10.64
  • 新浪首页 语音播报 相关新闻 返回顶部