Skip to article
系列
贝叶斯——在不确定的世界中判断与执行
系列文章 · 贝叶斯——在不确定的世界中判断与执行

继续阅读本系列

第1篇,共3篇
  1. 第1篇ExaRing+:贝叶斯第1篇——读懂沉默的数学
  2. 第2篇ExaRing+:贝叶斯第2篇——微小证据改变判断时
  3. 第3篇ExaRing+:贝叶斯第3篇——你了解自己吗
第1篇,共3篇

ExaRing+:贝叶斯第1篇——读懂沉默的数学

失踪的核潜艇、消失在大西洋的客机、用纸展开的密码战,以及飞向月球的公式

文章概览

本文探讨的核心问题

不知道答案时,如何把不完整的线索与失败尝试的记录,作为下一次判断的依据?

本文的核心主张

贝叶斯推理是一种学习方法:从当前信念出发,比较不同假设,并根据观测可靠性与探测概率更新判断。

深邃大西洋中的潜艇,以及照亮概率地图的探测船灯光

1. 没有归来的潜艇

1968年5月27日,美国弗吉尼亚州诺福克海军基地。

家属们聚在码头上。妻子牵着孩子的手,望向海平线,等待结束了三个月地中海任务的核动力攻击潜艇“天蝎”号(USS Scorpion)。今天是它归航的日子。艇上有99名艇员。

正午过去,下午也过去了。海面空空荡荡,那一天,“天蝎”号没有回来。

它最后一次通信是在六天前,从大西洋亚速尔群岛附近发来的一则简短位置报告。此后再无音讯。海军在整个大西洋拉响警报,军舰和巡逻机沿着它的预定航线搜寻。然而,没有油迹,也没有一片漂浮物。

那是美苏冷战时期。仅在几个月前,苏联、法国和以色列的潜艇就接连在海上失踪,甚至传出了苏联将其击沉的说法。但比“发生了什么”更迫切的问题是:

它究竟在哪里?

大西洋广阔无边,水深超过3,000米。要在一丝光都照不到的海底找到一艘不足80米长的潜艇,比在面积相当于数万个足球场的漆黑房间里摸索一根针还要困难。

海军请来一个人:海军特别计划局的首席文职科学家约翰·皮尼亚·克雷文(John Piña Craven)。两年前,他已经完成过一次看似不可能的任务。

1966年1月,在西班牙南部小渔村帕洛马雷斯上空,一架载有四枚氢弹的美军B-52轰炸机在空中加油时与加油机相撞。两架飞机化作火球,碎裂在空中。加油机上的四名机组人员全部遇难,轰炸机上也有三人丧生。四枚氢弹随之坠落。一枚在地面上完整地被找到。另外两枚撞击地面时,常规起爆装药爆炸,将放射性物质散布到村庄的田野上。

最后一枚不见了。

一枚核弹下落不明。美国政府大为震动,世界各地的媒体涌向这片西班牙小海岸。陆地被搜了个遍,仍没有炸弹。只剩下大海。

这时出现了一条关键证词。事故发生时,一名正在海上作业的渔民看到一个悬挂在降落伞下的巨大物体落入海中。克雷文没有忽略这条证词。他为炸弹可能坠落的各种情景赋予概率,再把渔民的目击叙述作为证据加入其中。大海变成了一张概率地图。

搜寻并不顺利。最终,由克雷文调来的深潜器“阿尔文”号在海底斜坡上找到了炸弹,但打捞过程中缆绳断裂,炸弹又滑入深处。直到事故发生约80天后的1966年4月,最后一枚氢弹才被打捞出水。地点正是渔民指向的那片海。

克雷文当时使用的武器,既不是军舰,也不是潜水器,而是18世纪一位乡村牧师留下的数学。两年后,他带着同样的武器,再次站到大西洋面前。

这次,他最先拿到的线索是声音。大西洋各处的水下监听站录下了不明爆炸声,以及某种物体被压溃的巨响。声学专家戈登·汉密尔顿比对加那利群岛和纽芬兰的记录,逐步缩小声源范围,确定了大致的位置和时间。但这只是稍稍缩小了需要搜寻的海域,并没有告诉他们潜艇躺在哪里。

接着,克雷文做了一件古怪的事。

他把曾任潜艇艇长的军官、打捞专家、声学分析师和数学家召集到一个房间里,并把“天蝎”号沉没的原因分成几种情景:艇体可能出现结构缺陷,电池可能爆炸,鱼雷也可能在发射管内意外启动。在不同情景下,潜艇随后移动的方向、速度和距离都不一样。

然后,他让专家们下注:对每一种情景、海底地图上的每一个网格,按照自己认为它是真相的程度下注。赌注是一瓶瓶苏格兰威士忌。

看起来像在开玩笑,其实并不是。专家的头脑里积累着一生的经验,但“我觉得大概在这边”这样的话无法用于计算。下注是一种工具,把模糊的直觉提取出来,转化成数字。谁在哪里下了多少注(odds),就成了地图上的概率。

克雷文的团队把声学记录叠加在这些数字之上,计算每种情景下潜艇可能走过的路径。大海被划成一格格概率地图,概率持续更新(贝叶斯更新)。有些网格烧得通红,有些则冷了下来。

探测船“米扎尔”号(USNS Mizar)拖着水下摄影拖曳装置,沿这张地图出海。第一轮搜寻覆盖了最初爆炸声源以西、通往诺福克航线方向的海域。

一无所获。

夏天过去,秋天来了。海军内部开始有人提出结束搜寻。

就在这时,克雷文抓住了声学记录中的一个异常:第一次爆炸发生时,“天蝎”号似乎并没有向归途所在的西方行进,而是在向完全相反的东方移动。一艘正在返航的潜艇,为什么会调转艇首?

克雷文想到了一种可能。如果鱼雷在发射管里自行启动,潜艇会按操作规程立刻转向180度,使鱼雷上的安全装置阻止其爆炸。如果发生过这件事,“天蝎”号就不会躺在所有人正在搜寻的那一边,而会在相反的一边。这成了克雷文的假设。

新证据进入,地图的颜色随之改变。西边红色的网格冷了下来,东边的网格开始升温。

1968年10月底,“米扎尔”号的摄影拖曳装置潜入东侧深海。装置由海军研究实验室的科学家切斯特·布坎南亲自设计。水深超过3,000米,距亚速尔群岛西南方向约740公里。显示器上浮现出金属的轮廓:破裂的艇体、脱落的艇尾。是“天蝎”号。

发现地点距克雷文团队判断最有可能的位置约220码,略多于200米。人们震惊了。仅凭推理的数学,竟能锁定3,000米深海之下的一个点。更令人惊讶的是它的误差范围:面对面积达数百万平方公里、需要按概率不断缩小范围的大西洋,最终计算出的潜艇可能所在区域仅有几十平方公里,而且准确地包含了实际发现的位置。

五个月里,大西洋没有给出任何回答。在这片沉默中,克雷文团队只做了一件事:用当下所知绘制地图,每有新证据就修正地图。专家的直觉成了第一张地图,声音成了证据,就连无功而返的搜寻也成了修正地图的材料。

“天蝎”号为何沉没,至今仍有争论。但它在哪里,数学找到了答案。

这种数学,叫作贝叶斯方法(Bayesian)。

2. 孩子如何认识世界

刚出生的婴儿对世界一无所知。

婴儿推一下杯子,杯子掉下去。再推,又掉下去。头脑里开始形成一个小小的假设:“东西一推就会掉。”看见妈妈的脸,就有奶喝;发出哭声,就有人走近。陌生人走来,妈妈的表情变得紧张,那么,这个人也许需要提防。

没有人给婴儿一本教科书。婴儿只是经历。而每一次经历都成为证据,一点点改写头脑中的世界。

加州大学伯克利分校心理学家艾莉森·高普尼克把这个过程带进了实验室。她制作了一台小机器,放上特定积木就会亮灯、播放音乐,再让孩子和大学生找出哪些积木能启动机器。规则普通时,两组都答得不错。但当隐藏的规则变成“必须把两块积木一起放上去才会启动”时,意外发生了:四五岁的孩子比大学生更容易找出规则。即使证据改变,成年人也很难放下最初“一块积木就能启动”的想法。孩子却会随新证据改变想法。

研究人员认为,孩子的推理与贝叶斯方法惊人地接近。早在19世纪,德国科学家赫尔曼·冯·亥姆霍兹就说,人的知觉是一种“无意识推理”:从进入眼睛的光线片段推测背后的世界,再随新的感觉修正推测。

我们生来就是贝叶斯学习者。

只是,最先把这件事写成数学的,是18世纪的一位英国牧师。

托马斯·贝叶斯肖像

托马斯·贝叶斯

1761年,长老会牧师托马斯·贝叶斯在英国南部温泉小镇坦布里奇韦尔斯去世。朋友理查德·普赖斯整理遗稿时,在一堆文件里发现了一篇未完成的手稿。他立刻意识到它的价值,整理后于1763年寄给英国皇家学会。

手稿提出的问题,把当时概率论的方向整个倒了过来。知道原因,就能预测结果:一枚正面概率为一半的硬币抛十次,可以算出大概会出现几次正面。但贝叶斯反过来问:只看结果,能否找出原因?仅凭“出现了七次正面”这一事实,能否判断这是一枚怎样的硬币?

这正是婴儿每天在解决的问题,也是克雷文在大西洋上解决的问题。从声音这个结果,找出看不见的潜艇位置这个原因。

如果说贝叶斯播下了种子,那么把它培育成参天大树的,是法国的皮埃尔-西蒙·拉普拉斯。他年轻时曾在巴黎军事学校担任考官,评估过一位炮兵学员,那人名叫拿破仑·波拿巴。拉普拉斯独立于贝叶斯得出了同样的想法,并将它发展为强大的计算工具。他研究巴黎新生男婴与女婴的比例,估计土星和木星的质量。据说,后来成为皇帝的拿破仑问他,为何天体力学著作中没有上帝,他回答:“陛下,我不需要这个假设。”那是用证据解释世界的自信。

皮埃尔-西蒙·拉普拉斯肖像

皮埃尔-西蒙·拉普拉斯

此后的历史并不顺利。进入20世纪,统计学主流把这种将“信念”纳入计算的方法斥为不科学,排挤在外。但一件怪事不断重演:每当它被赶出讲坛,就又被召回最迫切的现场。潜艇失踪的大海,密码决定生死的战场,飞往月球的火箭。在跟随这些故事之前,先打开这套思想的引擎,看看它如何运转。

孩子改变积木组合,观察什么条件下灯会亮起

不停留在最初的想法,而是借新的观察认识世界。

贝叶斯引擎的三个部件

① 先验概率(Prior):迄今的信念

这是看到新证据之前已有的判断。无论多么茫然,我们都不是从一张绝对的白纸出发。对克雷文而言,专家们的威士忌赌局就是先验概率;对婴儿而言,截至昨天积累的经验就是先验概率。最初的信念不必准确,但必须摆到明处,不能藏起来。这样才能修正。

② 似然(Likelihood):实际出现的证据

它围绕现实中实际观测到的数据,也就是证据展开。面对证据,贝叶斯方法问两个问题:假设成立时,这样的证据有多大可能出现?假设不成立时,这样的证据又有多常见?证据的力量来自这两个答案的差异。在两边都常见的证据,说明不了什么;只在一边特别容易出现的证据,才会显著改变判断。

③ 后验概率(Posterior):经证据修正的信念

这是结合先验概率和似然后修正的判断。贝叶斯方法真正的力量就在这里:下一条证据到来时,今天的后验概率就成了明天的先验概率。同一台引擎再次运转。这就是学习。

写成公式如下。

P(假设∣证据)=P(证据∣假设)×P(假设)P(证据)P(\text{假设}\mid\text{证据})=\frac{P(\text{证据}\mid\text{假设})\times P(\text{假设})}{P(\text{证据})}

把公式逐项展开。

  • P(假设)P(\text{假设}):看到证据前,相信假设成立的程度,即先验概率。
  • P(证据∣假设)P(\text{证据}\mid\text{假设}):假设成立时,出现当前证据的可能性,即似然。
  • P(证据)P(\text{证据}):综合所有可能情形后,出现该证据的可能性,是使总概率归一为1的刻度。
  • P(假设∣证据)P(\text{假设}\mid\text{证据}):看到证据后的信念,即后验概率。

不必被符号吓住。用一句话说就是:

迄今的信念 × 新证据的分量 → 修正后的信念。

婴儿在做的事,克雷文做过的事,以及我们接下来要遇见的人做过的事,都在这一句话里。

3. 水深3,900米的沉默

“天蝎”号事件41年后,同一片大西洋上,又发生了一次失踪。

2009年6月1日凌晨,从里约热内卢飞往巴黎的法航447航班在大西洋中部消失。这是一架载有228名乘客及机组人员的空客A330,当时正穿越赤道附近一片巨大的雷暴云带。最后一次通信后的几分钟里,飞机连续向地面发送自动维护信息。此后,再无音讯。

几天后,搜救人员在海面发现了残骸和遇难者,但它们已经被风和洋流推移了数日。发现它们的地方,不等于坠机地点。能揭示事故原因的黑匣子,随飞机残骸沉入了深海。

法国航空事故调查局(BEA)以最后确认的位置为中心,画了一个半径40海里、约74公里的圆。这是飞机在最后一次信号后可能飞行的最大距离。海域面积相当于一座城市的28倍。海底并非平坦,而是山脉与沟谷交错的崎岖地形。

第一个夏天,搜寻是在追逐声音。黑匣子装有水下定位信标,入水后约30天内会持续发出规律声波。法国海军核潜艇和美国海军的拖曳式声学探测器,在最后位置周围来回寻找声音。信标电池耗尽的期限越近,搜寻人员越焦灼。

大海一片寂静。

这片沉默被当作一个结论:“已经这样仔细搜寻,却仍听不到信号,至少应该不在那里。”原点附近变成了“已经搜过的地方”。

搜寻改为用声呐直接扫描海底。跨过新年,到2010年春,连无人潜水器也投入了第三轮搜寻。仍然空手而归。数千万欧元投入海中,遇难者家属在等待中疲惫不堪,要求放弃的声音也越来越大。

2010年,BEA打出最后一张牌:委托美国分析公司Metron,综合历次搜寻结果进行概率分析。带队的劳伦斯·斯通承袭了克雷文时代开创的贝叶斯搜索传统。他在1970年代写过最优搜索理论的教科书,1980年代末又为寻找1857年载着金币沉没的“中美洲”号蒸汽船制定过搜索计划。

斯通团队把大西洋划成细小网格,将手头所有线索放到地图上:最后确认的位置,飞机可能飞达的范围,过去类似事故中飞机坠落位置的分布,以及从漂浮残骸位置反推洋流的计算。然后,加上最重要的最后一条线索。

迄今一无所获的搜寻记录。

Metron团队从这片沉默里听出了不同的东西。“没有听到信标声”可以有两种解释:飞机不在那里,或者信标从一开始就没有发声。

要看清这个差别会改变什么,不妨先构造一片极其简单的大海。

无功而返的搜寻留下了什么

假设要找的物体,不在A区,就在B区。按现有信息,它在A区的概率是80%,在B区的概率是20%。先搜A区。但设备并不完美:即使物体确实在A区,也有一半机会漏掉。

结果一无所获。

“原来不在A,那就去B吧。”多数人会这样想。真是如此吗?

原先给A的80份权重,有一半、也就是40份,作为“在那里但没找到”的情形保留下来。B的20份不变,因为搜A的结果没有告诉我们关于B的新信息。剩下的权重是40比20。

即使没有找到,物体在A区的概率仍约为66.7%。

这次换一套好得多的设备:如果物体在A区,有90%的机会能找到。若仍未找到,A剩下的权重就是80的10%,也就是8。与B的20相比,A的概率骤降至约28.6%。

P(A∣未发现)=0.8×(1−0.9)0.8×(1−0.9)+0.2×1=0.080.28≈0.286P(A\mid\text{未发现})=\frac{0.8\times(1-0.9)}{0.8\times(1-0.9)+0.2\times 1}=\frac{0.08}{0.28}\approx 0.286

同样是失败,留下的信息却截然不同。失败的分量取决于搜寻有多充分,而不只是“失败了”这件事。彻底搜寻后的失败,会大幅改变地图;粗疏搜寻后的失败,几乎改变不了地图。

回到大西洋。如果信标可能在撞击中损坏,那么第一个夏天的搜寻,就像捂着耳朵在海上找声音。无论搜得多么久、多么认真,这片沉默几乎都说明不了什么。仅凭听声搜过的原点附近,没有理由被从概率地图上抹去。

把这个可能性纳入地图的那一刻,颜色变了。Metron于2011年1月提交的报告中,最红的区域并不在远海,而就在原点附近:两年前,所有人都以“已经搜过”为由略过的地方。

2011年3月,第四轮搜寻开始。探测船“阿卢西亚”号将三艘REMUS 6000无人潜水器放入海中。潜水器按概率地图指向的区域依次扫描。

4月3日,搜寻重启仅约一周。潜水器的声呐影像上,出现了自然界不会形成的直线与形状。水深约3,900米,发动机、机翼和机身碎片散落在海底。距最后通信位置仅十多公里。那正是两年前第一个夏天,搜寻人员追着信标声从上面经过的海域。

约一个月后,两只黑匣子先后被打捞出水。虽然在深海的高压与冰冷中浸泡了近两年,记录仍然完好。世人才终于明白:始于冰晶堵塞空速传感器的混乱,如何一步步走向228人生命中最后的几分钟。

把飞机打捞上来的,并不是概率地图,而是船、潜水器,以及两年没有离开这片大海的人。

但指出该往哪里看的,是贝叶斯数学。

它没有把失败记录扔进垃圾桶,而是重新读出:这次失败究竟说明了什么。

“那里没有”和“在那里没有找到”之间,隔着一片大海。

4. 用纸上孔洞打的一场仗

把时间再拨回1940年。同一片大西洋上,另一场看不见的战争正在进行。

英国几乎在独自支撑。这个岛国赖以生存和作战的粮食、燃料与武器,大多装在横渡大西洋的运输船上。德国海军要切断这条生命线。U型潜艇分散在海上,一艘发现船队,就用无线电召集同伴,整夜围攻。这种战术被称为“狼群”。所有指挥都通过无线电进行,无线电则由恩尼格玛密码机加密。

恩尼格玛像一台打字机。每按一次键,内部转子就转过一格,字母替换规则随之改变。即使连续输入两次A,输出也不同。把转子的选择与排列、各转子的初始位置、插线板的接线方式都算进去,仅陆军型就约有1.59×10²⁰种设置。海军拥有更多转子,组合还要多。而且,每到午夜设置就会更换。

伦敦西北约80公里处,有一座乡间庄园:布莱切利园。负责德国海军密码的8号屋(Hut 8),由28岁的数学家艾伦·图灵领导。

艾伦·图灵肖像照片
艾伦·图灵

布莱切利园有一台由图灵主导设计的机电式破译装置“炸弹机”(Bombe)。如果能猜出一部分密文对应的明文,它就机械地排除与猜测矛盾的设置。德国海军每天在相近时间、用相似格式报告天气,报告里常出现表示“天气”的WETTER等词。破译人员把这种可猜测的明文称为“crib”。

难题在于时间和机器。1940年,炸弹机屈指可数。海军恩尼格玛从八个转子中选出三个按顺序装入,仅排列就有8×7×6,也就是336种。要在一天期限内逐一交给炸弹机测试,几乎不可能。

图灵把问题倒过来:“如果不能试遍所有可能,能否先筛掉那些不值得试的?”

答案就是“班伯里法”(Banburismus)。令人意外的是,它的武器竟然是纸。

这些长纸条在布莱切利园附近的小镇班伯里印制,字母沿纵向排列。破译人员选取同一天发送的两份密文,在纸上对应字母的位置打孔,再把两张纸叠起来对光观察。两份密文同一位置出现同一字母,孔洞就会重合,透出光来。他们一格一格地滑动纸条,数亮起的孔。

对抗钢铁潜艇的战争,竟在纸上的孔洞间展开。

为什么要数这些重合?如果两串字母毫不相关,同一位置出现同一字母的概率约为1/26。但如果两份密文中有一段是在机器相同状态下加密的,重叠时就会显露原文德语的特征。德语特别常用E、N等字母,所以此时的重合率会升到约1/17。

差别很细微。偶然也完全可能造成几处重合,仅凭一处,什么都不能确信。图灵需要一种方法,既不丢弃,也不夸大这些小线索,而是逐条积累。那正是贝叶斯的方法。

他这样提问:假设两份密文确实按这个偏移量对齐,那么出现这种重合模式有多自然?如果假设不成立、纯属偶然,这种模式又有多常见?两个答案的比值,也就是似然比,便是证据的分量。

图灵还给这种分量起了名字:取自班伯里纸条的ban。1 ban的证据,能使假设成立与不成立的可能性之比,也就是赔率(odds),变成原来的10倍。它的十分之一,即1 deciban,则使赔率约增至1.26倍。图灵的同事、数学家杰克·古德后来回忆,deciban大致是人能凭直觉感知的最小证据分量。

这个单位的秘密在加法里。不直接把赔率乘上证据比值,而对它取对数,乘法就变成加法。破译人员从这里的重合加几deciban,再从那里的重合加几deciban,不断累积分数。超过某个门槛后,假设才值得交给炸弹机测试。336种转子排列,就这样缩减到屈指可数。

战时密码分析人员叠放穿孔纸条,检查细小的重合

比较并累积班伯里纸条上的微小重合,开展密码破译。

强证据仍不足以让人确信时

跟着数字算一遍,就会明白这个单位为什么能给人的兴奋踩下刹车。

假设某个假设成立的概率是10%,成立与不成立的可能性之比就是1比9。此时得到1 ban的强证据:该证据在假设成立时出现的可能性,是假设不成立时的10倍。

后验赔率=先验赔率×似然比19×10=109\text{后验赔率}=\text{先验赔率}\times\text{似然比}\qquad\frac{1}{9}\times 10=\frac{10}{9}

赔率是10比9,换成概率约为52.6%。

关于赔率的含义、如何换算为概率,以及利用贝叶斯因子进行更新的计算,可参阅《沉默工厂》的数学解说《短射原因的概率:从贝叶斯定理到赔率与贝叶斯因子》。

得到了强10倍的证据,确信程度却只是刚过一半。如果假设原本的概率很低,一条惊人的线索还远远不能结束判断。布莱切利园的破译人员每天亲历这一点,所以他们不忙着兴奋,而是继续加分。

这些纸笔计算改变了海上的局势。1941年春夏,英国海军从德国气象船和U型潜艇获取密码资料后,8号屋开始系统地读懂海军密码。一旦能读懂德国海军的命令,运输船队就能改道,避开狼群埋伏的海域。1941年下半年,大西洋上盟军船只的沉没数量明显减少。

然而,1942年2月,德国海军为大西洋上的U型潜艇引入增加一个转子的四转子恩尼格玛,海面再次陷入黑暗。破译人员称这种密码为“鲨鱼”(Shark)。近十个月里,“鲨鱼”无法被读懂,船舶损失再次激增。直到年底,英国水兵冲进一艘正在下沉的U型潜艇,抢出密码资料,才再次打开“鲨鱼”。其中两名水兵没能出来。布莱切利园的人比谁都清楚,衡量证据的分量,就是在衡量人的生命。

战后,英国情报史官方史学家哈里·欣斯利评价,布莱切利园的破译至少使战争缩短了两年。但这一切被作为国家机密封存了数十年。在最迫切的现场取得最大成果的方法,反而最长久地隐去了名字。

5. 飞向月球的公式,以及你口袋里的贝叶斯

1960年,匈牙利裔数学家鲁道夫·卡尔曼发表了一篇论文,提出从不完美的测量值中,持续估计运动物体位置的方法。起初并没有引起太大关注。

美国国家航空航天局(NASA)艾姆斯研究中心看出了它的价值。那里的工程师斯坦利·施密特正面对一项巨大任务:把人送上月球,再带回来。必须用一台存储容量比今天智能手机一张照片还小的计算机,弄清飞越38万公里的飞船此刻究竟在哪里、正往哪里去。

施密特改进了卡尔曼的方法,使其适用于月球探索。“卡尔曼滤波器”由此进入阿波罗飞船的导航系统。

它的原理有着鲜明的贝叶斯特征。飞船先做预测:“根据迄今的速度和方向,现在应该在这里。”这是先验。接着测量到来:恒星位置、雷达信号,都是证据。但预测和测量都不完美,于是依据各自的不确定性,分配应该相信哪一边、相信多少的权重。

新估计=预测+K×(测量−预测),K=预测的不确定性预测的不确定性+测量的不确定性\text{新估计}=\text{预测}+K\times(\text{测量}-\text{预测}),\qquad K=\frac{\text{预测的不确定性}}{\text{预测的不确定性}+\text{测量的不确定性}}

展开这个公式:测量精确时,K增大,新估计更向测量值移动;测量粗糙时,K减小,更相信预测。修正后的位置又成为下一时刻预测的基础。正是今天的后验成为明天先验的同一台引擎。1969年7月,在把阿波罗11号送往月球的航程中,它也在不停运转。

而它的旅程并未止于月球。

惯性导航系统的误差会随时间积累。因此,巡航导弹飞行时,会把雷达测得的地形起伏与存储的地形图比对;接近目标时,再把相机拍下的景象与卫星照片比较。每有新证据,就修正“现在位于这里的可能性”。今天飞机、船舶,以及你口袋里融合GPS信号与加速度传感器来定位的智能手机,也都有卡尔曼滤波器的后继方法在工作。

飞越海面的“战斧”巡航导弹

试飞中的“战斧”巡航导弹。照片:美国海军/NARA。

2005年10月,美国莫哈韦沙漠。一辆驾驶座空着的大众SUV,正在沙丘与悬崖间超过200公里的赛道上行驶。这是美国国防部研究机构DARPA举办的无人车比赛。前一年,没有一辆车能抵达终点,甚至连赛程的一小部分也走不完。而这一年,斯坦福大学塞巴斯蒂安·特龙团队打造的“斯坦利”(Stanley)用6小时53分钟冲过终点。它的大脑是概率推理:用激光和相机提供的不完美证据,持续更新“前方地面是可通行道路的概率”。这项技术成为今天自动驾驶汽车的起点。

还有人工智能。

2024年诺贝尔物理学奖出人意料地授予了两位人工神经网络研究者:约翰·霍普菲尔德和杰弗里·辛顿。辛顿在1980年代与同事共同提出了一种名为“玻尔兹曼机”的神经网络。名字来自19世纪奥地利物理学家路德维希·玻尔兹曼。玻尔兹曼建立了用能量描述大量气体分子处于某种状态之概率的公式,辛顿则把这种概率语言带入机器学习。玻尔兹曼机通过数据学习其背后的概率分布,并以概率推断可见数据背后的隐藏原因。

从结果追溯原因,正是250多年前贝叶斯提出的问题。玻尔兹曼本人并不是贝叶斯学派的一员,但“用概率学习不确定的世界”这一思想,贯穿了物理学、贝叶斯方法和人工智能。这也是今天许多机器学习理论用贝叶斯语言书写的原因。机器学习的方式,最终正逐渐接近婴儿学习的方式。

月球轨道上的阿波罗飞船,以及体现预测与观测校正的航迹

结合不完美的预测与测量,不断修正航路。

6. 没有秤的世界

暂且回望走过的路。

克雷文用专家直觉画出第一张地图,以声音和无功而返的搜寻为证据,找到了“天蝎”号。斯通团队重新读懂“没有找到”的记录,找到了法航447航班。图灵把纸上的每个孔洞累积为证据,打开大西洋上的密码。阿波罗以测量修正每一刻的预测,飞向月球。而婴儿今天依然在推着杯子,认识世界。

他们都没有一把能直接验证正确答案的秤。答案藏在黑暗中,手里只有不完整的线索与不断逼近的期限。

他们没有等待,而是用当下所知画出地图。线索到来,就只按它真正能支撑的程度修正地图。他们没有丢弃白跑一趟的记录,也没有因一次偶然的吻合而兴奋失措。

贝叶斯方法不是知道正确答案后才进行的计算,而是在不知道答案时,选择下一步的方法。

这个问题也不只存在于大海、战场与太空。

精心发出的提案,客户没有回复。初次尝试的事,没有预期顺利。新同事把第一项任务完成得很出色。我们每天都在没有秤的情况下作决定。

那时,我们怎样听取沉默?是把一次失败读成“那里没有”,还是“在那里还没有找到”?是否会因一条令人欣喜的消息,把原先10%的期待一下子抬到90%?

本文要点

  • 贝叶斯方法就是人学习的方式。 从迄今的信念(先验概率)出发,依据实际出现的证据及其似然,修正信念(后验概率)。今天的后验概率成为明天的先验概率。
  • 证据的分量来自比较。 需要比较假设成立与不成立时,这种证据分别有多常见。
  • 失败也是证据。 但其分量取决于搜寻有多充分。
  • 一条强证据不等于确信。 如果起点很低,强10倍的证据也可能只把概率推到略过一半。

下一篇,我们将追随这一思想如何深入日常生活:把一名犹太裔军官诬为叛徒的荒谬概率,以及击破它的数学家;被隐去姓名170多年的文章作者;毫无历史记录的驾驶者如何定保费;每天早晨守护邮箱的隐形门卫;还有那些最善于预测未来的普通人。到了最后的第3篇,这台引擎终于会转向你自己。

今天的经历,真的在改变明天的选择吗?

参考资料

正在加载评论

参与讨论

…

ExaRing+:贝叶斯第1篇——读懂沉默的数学 | EXA Enterprise