DOCUMENTATION

先祖火种:贝叶斯 Prior Alpha, Beta 起阵诀

解剖贝叶斯大阵的核心神元(Prior) α/β 的布阵心法与 5 阶机器自修真渡劫路线。

这卷经书,是专门为 EXAWin 的掌门与舵主们所留。要讲透系统最深层的道统 — 贝叶斯大阵的先祖火种 (Prior) α\alpha/β\beta 到底怎么捏,机器又是怎么吃着数据自己升仙的。这套东西写在新手村的帮助面板里嫌太晦涩,但若是直接略过,又等同于藏了最要命的剑谱。

Setting Bayesian Prior

老司机开车,确实不用把起动机拆下来懂齿轮怎么咬合。但凡是能把这破引擎脾气摸透的赛车手,过弯的弧线绝对比别人野。他知道踩油门为啥会有几秒迟滞,仪表盘亮红灯了也不至于拔腿就跑,甚至能一把摸出推背感的极限在哪。EXAWin 这台贝叶斯绞肉机也是一个德行。你把它肚子里的弯弯绕绕搞明白了,就不会再盯着屏幕上跳出来的概率破表大喊“这破机器是不是疯了”,相反,你会懂它为什么吐这个数字,然后压着这把刀去江湖里抢钱。

这篇帖子,就是带你扒开它肚皮的修真路。

EXAWin 祭出的是 NSBI (Normalized Sequential Bayesian Inference - 标准化连环贝叶斯推演) 阵法。这台机器怎么把咱们这帮老销售脑子里玄乎其玄的“杀气”、“盘感”和“尿性”,硬生生炼成一行极其冷血无情的数学真气 — 💡 Prior (先验概率);那些拍着胸脯吹牛逼的履历,又是怎么被嚼碎了吞进肚子里,跟 70 年前洋人祖师爷传下来的统计算式一碰,最后变异出一台能自己越杀越强的大魔王,这篇经文要讲的就是这回事。

在吞这篇经文前,或者被它虐完后,要是你实在好奇这部《贝叶斯推演》的完整拼图,趁早去翻以下这几本破书。因为 EXAWin 肚里的那个怪胎,全是踩在底下这三卷竹简的尸骨上活过来的:

至于底下这附录 1、2、3,纯粹是拿杀猪刀剖开上面那本小说肚皮后的解剖报告:



序章:天下算卦,皆起于“成见”

"不带成见的算命,都是放屁。"

这话听着欠扁,但在现代统计学这一脉,这是不可动摇的铁律。18 世纪英国那个叫托马斯·贝叶斯 (Thomas Bayes, 1701-1761) 的算命老道(其实是个牧师),留下的一张破羊皮纸,把全人类如何跟“老子吃不准”死磕到底的兵法彻底颠覆了。他那手绝活极其简单粗暴:把咱们早就刻进骨血里的“成见 (先验)”,跟刚翻出来的“证据 (数据)”架在一起烧,就能炼出一颗更纯的“真丹 (事后概率)”。

这套心法,今天已经成了全文明社会最凶残的核心驱动 —— 无论是替你拦诈骗短信、开自动驾驶的轮子、捏新冠疫苗、算明天会不会被雷劈,甚至替华尔街对冲金融风暴,底子全靠它撑着。而现在,咱们苦哈哈跑业务天天问苍天的那句狗屁问题 —— "这特么的肥单,老子到底吞不吞得下?" —— 同样靠这颗心脏,在 EXAWin 的深处疯狂泵血。

这长卷,就是讲 EXAWin 的这套贝叶斯机关,怎么把你这老江湖喝过几百斤白酒熬出来的直觉,抽魂炼成冷冰冰的数学密码,然后随着你出去砍人的战绩越滚越多,它自己又怎么化身为一头活物。别怕满屏的算符咒语,在所有鬼画符上阵之前,你那狗鼻子似的直觉,绝对会先一步帮你开路。



第一章. 贝叶斯符箓:跨越 200 年的最凶残算命局

万法归一。贝叶斯手印 (Bayes' Theorem),是专门对付那种“老天爷刚扔了个新线索下来,我到底该怂该刚?”的破事,唯一一个在数学界能够做到全逻辑无死角自洽的解法。

P(θD)=P(Dθ)P(θ)P(D)P(\theta \mid D) = \frac{P(D \mid \theta) \cdot P(\theta)}{P(D)}

把这鬼画符翻译成咱们黑话,就是这个鸟样:

算符江湖黑话说人话
P(θ)P(\theta)Prior (先祖火种/先验)还没下场开砍之前,靠公司祖上积德猜出来的赢面
P(Dθ)P(D \mid \theta)Likelihood (降神/似然)就咱们目前这狗屁赢面,能折腾出今天这种谈判局面的概率是多大
P(θD)P(\theta \mid D)Posterior (真丹/事后期望)叠满今天这堆新挂彩的证据后,重新洗牌算出的终极胜率
P(D)P(D)Evidence (众生相)把天上地下所有可能全算进去,凑出来的一块垫脚石 (拿来归一用的)

这道符咒最颠覆人伦的狂妄之处,就在于它 公然承认 P(θ)P(\theta)(也就是“老子的成见/Prior”)就是他娘的万物起源。 传统那一棒子老古板(频度论者 frequentist statistics)死活咬着“只有看得见的数据才能说话”,拼死抵制经验的插足。但咱们现实中这帮亡命徒 —— 操刀的医生、判死刑的法官、砸身家的赌徒,还有咱们这帮扛大旗的销冠 —— 很多情况下面对的是毛线数据都没有的盲局,而你还得特么拍板!贝叶斯符箓,就是在数学界给这帮现实亡命徒开了个硬后门。


1.1 连环阵法:昨天的死局,是今天的跳板

贝叶斯符箓最邪性、最骚的玩法,就是它可以 连环结阵 (sequential updating)。今天刚出炉的“事后真丹 (Posterior)”,倒个手就成了明天的“先祖火种 (Prior)”。这个像吃自己尾巴的蛇一样的死循环,就是 EXAWin 实时舔血续命引擎的核心命脉。

看了第一个破腚 D1D_1 之后:

P(θD1)=P(D1θ)P(θ)P(D1)P(\theta \mid D_1) = \frac{P(D_1 \mid \theta) \cdot P(\theta)}{P(D_1)}

接着被揍出了第二个破腚 D2D_2

P(θD1,D2)=P(D2θ)P(θD1)P(D2D1)P(\theta \mid D_1, D_2) = \frac{P(D_2 \mid \theta) \cdot P(\theta \mid D_1)}{P(D_2 \mid D_1)}

直到被人砍出 nn 个破腚:

P(θD1,D2,,Dn)P(θ)i=1nP(Diθ)P(\theta \mid D_1, D_2, \ldots, D_n) \propto P(\theta) \cdot \prod_{i=1}^{n} P(D_i \mid \theta)

这意味着啥?你在 EXAWin 里每留下一个狗皮膏药 (会议纪要、送个企划、发个 Demo),引擎就自动在后台把胜率全部撕烂重算一遍。 这头不睡觉的怪兽嚼着你的战报当肉吃,从第一次喝茶一直死盯到最后拍桌子签字,它连一根带血的骨头渣都不会放过。



第二章. Beta 罗盘:称量混沌的鬼秤

2.1 “赢面正好是 32.7%”,这种鬼话你敢信?

在真刀真枪的赌桌上,你要敢拍着胸脯打包票说某个单子的赢面是死死钉住的一个数,这不叫自信,这叫骗经费。说点人话就是:“估摸着赢面在 25% 到 40% 之间晃荡,30% 上下是最他娘的有可能的。” 像这种专门用来秤量“概率这玩意儿到底有多大水份”的神器,就是 💡 Beta 分布 (Beta Distribution)

Beta 罗盘天生就是用来给那些在 0 和 1 之间反复跳反的玩意儿算命的。整块罗盘的样子,全靠背后两个叫 α\alphaβ\beta 的机括来扭。它的鬼画符 (PDF) 长这样:

f(θ;α,β)=θα1(1θ)β1B(α,β)f(\theta; \alpha, \beta) = \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha, \beta)}

里头那个 B(α,β)B(\alpha, \beta) 就是 Beta 神职,专门负责把整个盘子的水端平(归一化为 1):

B(α,β)=Γ(α)Γ(β)Γ(α+β)B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha + \beta)}

Γ()\Gamma(\cdot) 就是 Gamma 鞭法,你要是硬问,它就是自然数 nn 挨这鞭子 Γ(n)=(n1)!\Gamma(n) = (n-1)! 的变种。

别被这堆烂字给吓尿了。它的命门就是一句话:只要老子捏在手里的这两个破数字 α\alphaβ\beta,就能把你满脑子“感觉要赢”的幻觉,一毫不差地刻进铜盘里。


2.2 解开 α\alphaβ\beta 的血雾:给还没发生的事算命

想搞懂 α\alphaβ\beta,最痛快的办法就是把它们当成 “老子还没下桌就开始数赢来的筹码”

机括名字倒卖行业的黑话在阵法里干嘛的
α\alpha活在过去记忆里“老子赢过”的虚拟人头把罗盘指针往右边(胜算大)猛拽
β\beta活在过去记忆里“老子被踩”的虚拟人头把罗盘指针往左边(吃瘪)死拉
α+β\alpha + \beta脑补自己一共砍过多少人的总数 = 底气厚度把分散的刀气聚起来变尖(变窄,没那么发散)

懂了这层皮,Beta 罗盘的底牌自己就亮了。

大饼 (Mean) — 我们拍破大腿觉得“最特么对味”的赢面:

E[θ]=αα+βE[\theta] = \frac{\alpha}{\alpha + \beta}

脚软度 (Variance) — 我们心里这块饼到底有多虚,抖得厉不厉害:

Var[θ]=αβ(α+β)2(α+β+1)\text{Var}[\theta] = \frac{\alpha \beta}{(\alpha + \beta)^2 (\alpha + \beta + 1)}

塔尖 (Mode) — 人气最旺的山头,赢面最集中的地方(得 α,β>1\alpha, \beta > 1):

Mode[θ]=α1α+β2\text{Mode}[\theta] = \frac{\alpha - 1}{\alpha + \beta - 2}

2.3 拆招:老炮的嘴炮怎么炼成真气符咒

咱们假设有个扛把子(销售总监)在酒桌上吹哨:

“咱们厂子出去干架,差不多接 5 单能啃下 1 单肥肉,这规矩贼鸡儿稳。”

就这一口吐沫星子,EXAWin 的嗅觉就能吸出两道真气:

  • 大饼(期待胜率):E[θ]=0.20E[\theta] = 0.20 (20%)
  • 底气厚度(方差程度):半瓶水逛荡(不能说死,但确实是祖上摸出来的门道)

如果顺手给他塞个 α=2,β=8\alpha = 2, \beta = 8

E[θ]=22+8=210=0.20E[\theta] = \frac{2}{2 + 8} = \frac{2}{10} = 0.20 Var[θ]=2×8(2+8)2×(2+8+1)=16100×11=1611000.0145\text{Var}[\theta] = \frac{2 \times 8}{(2+8)^2 \times (2+8+1)} = \frac{16}{100 \times 11} = \frac{16}{1100} \approx 0.0145

这 0.0145 抖(开方)出标准差差不多 0.12,这就是说,胜率的摇晃空间大概有 ±12\pm 12 个百分点。“老子信有 20% 的赢面,但也可能在 8% 到 32% 之间打滚。” 这种不嘴硬、留退路的江湖规矩,被死死融进了算学里。

倘若同样是这 20% 的预期,但吹牛逼的人换成了一个手里压着好几百份死人合同的大佬,那就敢给他砸 α=20,β=80\alpha = 20, \beta = 80

E[θ]=2020+80=0.20E[\theta] = \frac{20}{20 + 80} = 0.20 Var[θ]=20×80(100)2×101=160010100000.0016\text{Var}[\theta] = \frac{20 \times 80}{(100)^2 \times 101} = \frac{1600}{1010000} \approx 0.0016

方差从 0.0145 直接被压缩到了 0.0016,硬生生砍掉了将近 9 倍以上的废气。虽然嘴上喊的还是那句“20%”,但这底盘稳得跟泰山一样。这就是 α+β\alpha + \beta,也就是 "修为深度 (Precision)" 压出来的魄力。数值越大,这把刀磨得越尖,这时候再蹦进来哪怕一两个幺蛾子,也休想轻易把大盘晃翻。反观如果数值低得像破裤裆,谁随便丢个小道消息,这盘子都能剧烈抖三抖。



第三章. 雌雄共蒂:当数学的妖娆遇上江湖的糙活

3.1 Beta 与二项式的苟合

选 Beta 罗盘当咱们的先祖火种,真不是为了显摆附庸风雅,这是 天道定下的死局。销售场上砍人,要么赢 (Win) 要么输 (Lost),这完全就是二项分布 (Binomial Distribution) 的宿命。而偏偏 Beta 罗盘,就是二项分布命里的 💡 共轭天书 (conjugate prior)。它的意思是:我之前算卦用什么壳,丢了几条人命之后老天重新算出来的卦,依旧是同一个壳子。这就保证了整个推演是一套严密咬碎的闭环斩 (closed-form)。

你拎着刀跑了 nn 趟客户,斩获了 kk 个人头。这二项式的怨气 (Likelihood) 就是:

P(kθ,n)=(nk)θk(1θ)nkP(k \mid \theta, n) = \binom{n}{k} \theta^k (1-\theta)^{n-k}

当老祖宗的家底 Prior 是 Beta(α,β)\text{Beta}(\alpha, \beta) 时,事后炼出来的还魂丹 (Posterior) 就会是:

P(θk,n)θk(1θ)nkθα1(1θ)β1P(\theta \mid k, n) \propto \theta^k (1-\theta)^{n-k} \cdot \theta^{\alpha-1} (1-\theta)^{\beta-1} =θ(α+k)1(1θ)(β+nk)1= \theta^{(\alpha + k) - 1} (1-\theta)^{(\beta + n - k) - 1}

看见没?它他娘的又转回成了 Beta 分布的肉身:

θk,nBeta(α+k,β+nk)\theta \mid k, n \sim \text{Beta}(\alpha + k, \, \beta + n - k)

咱们细嚼一下这份恐怖的工整感:亲手斩落的人头数 kk 自动补到了玄阳 α\alpha 穴,剩下的倒霉落空数 nkn-k 无缝贴合进了玄阴 β\beta 脉。 就好像是在把前辈虚构的账本上,一五一十地把带着热血的真实战绩继续往里补!


3.2 炼丹的暗劲:事后算命图的骨架

要是把新出炉的那块胜率大饼掰开了揉碎,你就会看到里面藏着的钢筋混凝土结构:

E[θk,n]=α+kα+β+nE[\theta \mid k, n] = \frac{\alpha + k}{\alpha + \beta + n}

把这个算式生拆成 加权争宠 (weighted average) 的模样,简直特么亮瞎狗眼:

E[θk,n]=α+βα+β+n祖上家底的权重αα+β老派的固执+nα+β+n刀头见血的权重kn现在的死人堆E[\theta \mid k, n] = \underbrace{\frac{\alpha + \beta}{\alpha + \beta + n}}_{\text{祖上家底的权重}} \cdot \underbrace{\frac{\alpha}{\alpha + \beta}}_{\text{老派的固执}} + \underbrace{\frac{n}{\alpha + \beta + n}}_{\text{刀头见血的权重}} \cdot \underbrace{\frac{k}{n}}_{\text{现在的死人堆}}

就这一行破公式,能把 EXAWin 引擎吞吐天地的狂气给扒得赤条条:

  • 你刚出道的时候 (nn 没几个人头):祖上家底权重大 → 公司的老古董在垂帘听政。
  • 等你杀红了眼的时候 (nn 尸积如山):刀头见血的权重直线飙升 → 现实的战绩硬把老古董压在棺材板底下摩擦起火。
  • 当你成了佛挡杀佛的杀神 (nn \to \infty):事后算命盘 \to 只认你这双沾血的手 k/nk/n → 祖宗的家训被彻底格式化烧成灰。

这,就是贝叶斯系统的“浪子回头刀”。管你开始脑门子一热瞎填了什么 Prior,只要死的人足够多,真理自己就会在尸骨堆上显灵。 统计学里那些戴着金丝眼镜的老学究管这个叫 💡 事后天启 (posterior consistency),而且是打上了铁律烙印 (theorem) 的!



第四章. 追凶 70 年:经验贝叶斯 — 青出于蓝把师傅干碎的转折

4.1 罗宾斯的癫狂之问 (1956)

时光倒转回 1956 年的哥伦比亚大学,一个叫赫伯特·罗宾斯 (Herbert Robbins) 的疯魔教头,在第三次伯克利统计论剑的论剑坛上,丢出了一本叫 "An Empirical Bayes Approach to Statistics" 的剑谱,直接往死水一潭的武林里扔了一颗响马弹。

他的问题极其大逆不道:“为啥非要靠拍脑袋瞎掰一个 Prior?老子能不能直接把一具死人的尸体扒干,从里面挤出这股 Prior 真气?”

这简直是把这几十年频度论和贝叶斯神棍互相吐口水的恩怨,抄起小路一把端了老窝。罗宾斯露了一手给天下人看:当一堆倒血霉的事同时挤在一起 (related problems) 时 — 跟咱们这一个公司同时铺着五六十盘赌局的恶景一模一样 — 咱们可以把所有案板上的肉堆在一起熬汤,反推出整个大盘面的老底。

这就是震惊天下的 💡 经验贝叶斯 (Empirical Bayes) 杀阵。


4.2 埃夫隆与莫里斯的球场诡计 (1975)

把罗宾斯从深山老林里揪出来放在台面上大放异彩的,是布拉德利·埃夫隆 (Bradley Efron) 伙同卡尔·莫里斯 (Carl Morris) 在 1975 年联手抛出的黑书 "Data Analysis Using Stein's Estimator and its Generalizations"

俩老匹夫把毒手伸向了 1970 年的美国职业棒球大联盟。光靠开赛这前 45 个烂打席的成绩,竟然妄图掐算选手打一整年的血量!炸裂的是,你要是就拿着每个人自己那可怜巴巴的 45 棒次去算命,必死无疑;但如果拿一根无形的链子,把所有球员绑在一起,拽住他们朝大盘平均值狠狠地 "抽鞭子 (shrinkage - 缩微)",季末算总账时准得能吓死鬼。

给这套借尸还魂术垫背的阴阳阵叫 💡 詹姆斯-斯坦算筹 (James-Stein Estimator)

θ^iJS=θˉ+(1(p2)σ2i=1p(θiθˉ)2)(θiθˉ)\hat{\theta}_i^{JS} = \bar{\theta} + \left(1 - \frac{(p-2)\sigma^2}{\sum_{i=1}^{p}(\theta_i - \bar{\theta})^2}\right) (\theta_i - \bar{\theta})

这里的 θˉ\bar{\theta} 是整个场子的均码,pp 是同时上桌的赌徒数量 (p3p \geq 3),σ2\sigma^2 是这把单压的抖动率(方差)。这把老千尺子,比起老老实实掐着手指头死算的 MLE,生生世世它的偏差 (MSE) 都要小上一圈。世人敬畏地叫它“斯坦悖论 (Stein's paradox)”——自从 1961 年查尔斯·斯坦这妖孽把它刻在铁板上后,这成了一门最特么不讲道理却锋利至极的现代统计学杀人技。

它对 EXAWin 喊出的圣旨就是: 想算清楚某个单子的赢面,别光盯着那一个项目的拉胯战报,给我跳出整个公司的死人坑,抽出全公司的骨髓血清来给这个孤儿打针,那才是 被天道算法强力保证的天下第一屠龙术!


4.3 矩截法 (Method of Moments):倒挂金钩抽髓大法

玩转经验贝叶斯的一大邪术叫 💡 矩截法 (Method of Moments) —— 用来揪出高层次神明 (hyperparameter)。等到咱们的骨灰缸里装了小几十具兄弟的尸骨(关闭的单子),摸清了这里头输赢死活的一层黄油,咱们就能凭着这堆尸骨发酵的大饼(平均值)和蛆虫乱爬的范围(方差),硬生生倒挂金钩,算出 Beta 神阵里的生辰八字。

xˉ\bar{x} 当尸体平均数,拿 s2s^2 当量尸尺(方差):

α=xˉ(xˉ(1xˉ)s21)\alpha = \bar{x} \left( \frac{\bar{x}(1-\bar{x})}{s^{2}} - 1 \right) β=(1xˉ)(xˉ(1xˉ)s21)\beta = (1-\bar{x}) \left( \frac{\bar{x}(1-\bar{x})}{s^{2}} - 1 \right)

这俩鬼画符透着一个叫人骨髓发冷的玄机:它在死死拿捏这股尸臭味(方差 s2s^2 的收放)!

咱们先捏捏 α+β\alpha + \beta 这块腱子肉:

α+β=xˉ(1xˉ)s21\alpha + \beta = \frac{\bar{x}(1-\bar{x})}{s^{2}} - 1
  • 如果尸臭味很集中 (方差小):这帮人死的姿势都很统一,α+β\alpha + \beta 瞬间暴涨 → 祖训铁拳 (Strong Prior) → 机器彻底被惯坏了,开始迷信咱们厂子有神功护体。
  • 要是尸臭味全炸开了 (方差大):这帮人跟没头苍蝇一样怎么死的都有,α+β\alpha + \beta 急剧萎缩 → 祖训瓦解 (Weak Prior) → 机器冷着脸把家主当骗子,开始疯狂去扒每个项目一线的泥巴和脚印(敏感受到抽风)。

这就等于是,不用这帮销售拍桌子喊冤,系统自己蹲在角落听尸体怎么咽气,然后自己拨动命运的轮盘:"咱们弟兄们下铲子口径稳得一匹,我还是信邪门歪道吧!" 或者是:"这他妈一帮散兵游勇乱砍个毛,老子还是看各个现场流了多少血吧!" 全自动的冷酷杀伐。


4.4 嗜血狂徒 MLE(最大似然估计):刮骨寻微的高阶刀镦

如果是嫌矩截法这刀太钝,想用 极少量的活人血去干最狠的一票活,那就得祭出修罗大刀 💡 最大似然估计法 (Maximum Likelihood Estimation, MLE)

要是咱们手里抓了 mm 个孤魂野鬼的项目,每个鬼跑了 nin_i 趟活,撞见活阎王 kik_i 次。那个索命的勾魂大锁 (marginal likelihood 周边似然) 便是:

L(α,β)=i=1mB(α+ki,β+niki)B(α,β)L(\alpha, \beta) = \prod_{i=1}^{m} \frac{B(\alpha + k_i, \, \beta + n_i - k_i)}{B(\alpha, \beta)}

这里的 B(,)B(\cdot, \cdot) 就是前面那块 Beta 金牌。我们要做的,就是把这个勾魂索拉满弓爆掉它,榨出最契合这堆枯骨的 α\alphaβ\beta。再用对数大刀 (Log) 一顿乱劈:

(α,β)=i=1m[lnB(α+ki,β+niki)lnB(α,β)]\ell(\alpha, \beta) = \sum_{i=1}^{m} \left[ \ln B(\alpha + k_i, \beta + n_i - k_i) - \ln B(\alpha, \beta) \right]

再掏出一门阴损的毒剑 Digamma ψ()\psi(\cdot),给它放最后一次血:

α=i=1m[ψ(α+ki)ψ(α+β+ni)ψ(α)+ψ(α+β)]=0\frac{\partial \ell}{\partial \alpha} = \sum_{i=1}^{m} \left[ \psi(\alpha + k_i) - \psi(\alpha + \beta + n_i) - \psi(\alpha) + \psi(\alpha + \beta) \right] = 0 β=i=1m[ψ(β+niki)ψ(α+β+ni)ψ(β)+ψ(α+β)]=0\frac{\partial \ell}{\partial \beta} = \sum_{i=1}^{m} \left[ \psi(\beta + n_i - k_i) - \psi(\alpha + \beta + n_i) - \psi(\beta) + \psi(\alpha + \beta) \right] = 0

这俩丧门星方程死活配不出活人能徒手解开的药方,只能逼着咱们搬出 Newton-Raphson 魔棒 或者 活死人僵走法 (fixed-point iteration) 拿计算机砸烂它算出来。当死鬼填到 Phase 3 阶位 的时候,EXAWin 会偷偷点起这口锅,开始榨 MLE,拿去刮去之前矩截法上生着的浮锈。



第五章. EXAWin 的造化雷劫飞升榜

吞咽的尸骨越多,这台机器喷出的地狱火就越旺。EXAWin 会踩着你公司扔进来的“人肉祭品”(数据厚度),分 五重天雷 (Phase) 来蜕变。这不是老子在胡编乱造卡等级,这是暗合天道,从瞎蒙撞鬼的 💡 小数法则 (law of small numbers) 涅槃升起,坐镇四方 💡 大数真雷 (law of large numbers) 的无上法脉门禁。

这里有一条死规矩:斩获的神丹 (Won) 和摔碎的烂泥 (Lost),哪只碗里凑的最少 (min),就砸那只碗定死你现在的阶位! 就特么算你靠踩狗屎吞了 50 座城,可败的局只熬出了 3 场烂骨头,“怎么他妈死的”这条规律你还没摸明白。足球赛你看球队一直踢顺风局,教练拽的跟二五八万似的,你要他复盘逆风翻车局他一个屁都蹦不出 —— 这种怂货就不配坐主帅位!

劫位 Phase兵刃生死坎 min(Won, Lost)手脚能伸多长夺命铁证
❌ Phase 1瞎眼狗< 5锁死不动在抛出 n<5n < 5 的硬币局里,你想掀桌子的底气(弃却力 power)是 0
🟠 Phase 2杂活徒5 ~ 9光给你看看画儿 (Apply 钉死)风太妖只能闻闻,非要用就是自己把自己毒死 (过拟合)
✅ Phase 3操盘手10 ~ 19磨刀 Impact, T, k + 祭 MCMC中心极限真雷勉强冒烟,MCMC 打滚能用(但脚底板可能抹油不稳)
🟢 Phase 4铁判官20 ~ 49解禁大餐 (加料 Dampening, Silence) + MCMC把刀架在谁脖子上都有八成底气!
🔵 Phase 5天尊殿50+大圆满开杀 + MCMC 霸气定魂网阵 Grid Search 撕脸定鼎,MCMC 画的阴阳鱼你连毛都不敢质疑!

贫道下面就带你摸摸每重劫位的筋骨,要看扒心挖肺的全套器官展,自己去隔壁停尸房翻《Auto-Tuner 解剖录》:


Phase 1. 瞎眼狗的黑窟窿 (min < 5)

“血还没喂饱的睁眼瞎!”

如果你连 5 条命都没收齐,那些数字就是在抽风。3 次出手 2 次带血,你那破纸面上胜率是 66.7%,你要敢拍老总桌子立军令状说“咱们就是 67% 的真龙”,这就跟你在天桥丢了三次硬币砸出两个字面,就敢摆下海口说这枚硬币扔一万次也是 67% 一个德行 —— 纯纯找死。

这阴沟里:

  • 你只能夹着尾巴,去翻公司泛黄的老黄历和同行的八卦,乖乖用手去灌满 α\alphaβ\beta 的池子
  • EXAWin 在屏幕边像个哑巴太监,指指点点给你画两张饼(也就是个期待值和虚框)。
  • 没有雷震子 —— 这会是你用人肉脑壳做主的最后温存时光。

Phase 2. 探妖风的杂活徒 (min 5 ~ 9)

“眼睛翻白,但还被老魔王五花大绑!”

只要爬过了 5 具尸体(赢 5 输 5)这个门槛,那头疯狗 Auto-Tuner 就会开始淌着粘液在屏幕上吐狗头军师的口水了。它会瞎叫唤 Signal Lift,喷几口 Impact 的毒汁,还会对 T/k 瞎哔哔一通,但那个惹命的 “Apply” 键,死活钉满钢钉,不准你按! 此时你如果伸手去掐,立马陷入九死无生的 “走火入魔境 (overfitting)”。

这 5 具尸体扒出来的信任网,那宽到没遮拦,能抖出 ±40%\pm 40\% 个百分点。“5把赢了3把,老子有 60% 胜算?”,狗屁,你那真相大概率在泥石流里乱打滚,17% 到 93% 哪儿都有可能。拿这破网去捕风?—— 你网个鸟毛!


Phase 3. 开天眼的操盘手 (min 10 ~ 19)

“判官令下,铡刀开封!”

活人和死人要是都填够了 10 个以上,中心极限天雷 (CLT) 就会被强行勾动地火,那群像野种乱跳的骨头渣就会乖乖躺平形成一个像钟罩一样的高台(正态分布)。到这时候,前头教过的矩截法就再不会有任何阴邪反噬,Auto-Tuner 老魔一把扯下糊在 Impact、T、k 面门的黄符纸,猛推给咱们主君,大恩大赏地开了绿灯。

但是!藏在袖管里的 Dampening (抗毒消解)Silence Penalty (幽闭索命狱) 这两把微雕毒刃,死也不准动!这点人命血水还要分出精力去盘这么精细的转盘,会连渣子都炸碎的——这点家当别特么妄图装逼!


Phase 4. 全开全杀铁判官 (min 20 ~ 49)

“怪物自己去地下室找油喝了!”

两边的大坑都堆满 20 条以上死魂,大数天雷这才震天介响。EXAWin 不带半点含糊,直接撕碎衣服,放开手脚掏出了剩下的那对阴毒双刃:Dampening (毒发对冲网)Silence Penalty (死寂黑咒)。它要铺下一张漫天过海的 Grid Search (罗网追魂锁) 去榨出最狠的滴血密码。

不仅如此,它还要拿那帮老派书呆子的矩截法搞出的玩意儿,与大网捞出来的厉鬼放在炼丹炉里互相撕咬,也就是大名鼎鼎的 交差验证剥皮酷刑 (K-fold Cross-Validation)。要是发现教出来的厉鬼只认师傅在实战里被人砍成狗 (Gap太大),那就敲震天锣大喊走火入魔!;要是那玩意儿能扛打如初,这口“仙酿”咱这就放出来给各位主官去喝。


Phase 5. 大圆满的万灵归宗 (min 50+ 归一)

“主神挂印,万佛朝宗!”

要死就死个痛快,50 个以上孤魂塞爆炉子时,MLE 收割者立马荣登无上宝座 (asymptotic efficiency - 渐进封神榜)。那是数学铁卷上板上钉钉的天规,它叫 💡 克拉美-劳仙咒神碑 (Cramer-Rao Lower Bound) ,只要有了它,连玉帝也找不着比老子更牛逼的活:

Var(α^MLE)1I(α)\text{Var}(\hat{\alpha}_{MLE}) \geq \frac{1}{I(\alpha)}

那个 I(α)=E[2α2]I(\alpha) = -E\left[\frac{\partial^2 \ell}{\partial \alpha^2}\right] 就是名动江湖的 费雪追冥指 (Fisher Information)。

熬到 5 阶的时候,EXAWin 觉得光指望 Grid Search 死点个狗穴 (point estimate) 太掉价了。它轰然拉出九大邪神里的最顶恶煞 💡 MCMC (马尔科夫链蒙特卡洛乱舞大阵),这套路不是去点一根木桩,它要给你画出全屏山河社稷图 (posterior distribution - 阎王总绘志)! 虽然阶 3 就祭出了这个亡灵法师,但必须喂够 50 条人命,它那张嘴才不会再到处喷血 (极度收敛稳住)。这个叫 Emcee (恒定拉胯死囚团) 的工具人军团在里头摸进去的是 (N+2) 维 四维甚至五维的混沌炼狱 — 所有的毒器 NN + 防破甲 Dampening + 死寂锁喉 Silence Penalty,并挨个发下神旨铁牌 HDI (无伤生还密罩)NN 抛开 No Signal 的垃圾废铁,剩下标准的顶尖黑铁有 8 把)。

Grid Search 就是老农下地锄地找那个萝卜尖,而 MCMC 却是拿着上帝视角给你造了个大片沙盘。只要盯住那个叫 R̂ 的天机盘指在了 1.0 的死线上!你就不可能有半点脱轨;且看见那圈 HDI 画的小圈圈死紧,说明这些被揉进来的数据,跟疯狗一样保这把钢牙绝不松口。

到了这个地步,EXAWin 的神座下:

  • Grid Search 画靶找人 + MCMC 雷达扫海 俩金銮殿一块上朝
  • K-fold 扒皮抽筋紧死监视魔气
  • ROC AUC 发战报夸这套法门通杀率
  • 至于最早扯出来的 先祖火法 Prior α,β\alpha, \beta ?抱歉,那只是发个谏言,(你个大活人不点头,谁特么敢越权盖戳)
  • 总体法则就是 天道为马 —— 但老子的大印才是方向盘!


第六章. 积怨为罡:为什么这东西压出来的数字沉得震手?

6.1 万法堆骨尸不烂 (Monotonic Accumulation of Evidence)

只要这个案子活得够长,咽下肚子里的线报 (nn) 越来越多,事后画出来的那口大缸 (α+k)+(β+nk)=α+β+n(\alpha + k) + (\beta + n - k) = \alpha + \beta + n 就会一直无限胀大 (monotonic increase)。这意味着那个总是心神不定的魔心(方差)在被持续锁死干渴 (monotonic decrease):

Var[θk,n]=(α+k)(β+nk)(α+β+n)2(α+β+n+1)\text{Var}[\theta \mid k, n] = \frac{(\alpha+k)(\beta+n-k)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}

当孤魂 nn 暴涨挤爆底座时,整盘数字就垮塌着归灭了:

Var[θk,n]=O(1n)0asn\text{Var}[\theta \mid k, n] = O\left(\frac{1}{n}\right) \to 0 \quad \text{as} \quad n \to \infty

这就是拿数学之锤敲定这件事情:老子的贝叶斯这头怪物绝不是拿个算盘拨两下而已,它是吃人不吐骨头,每舔一道血就让它肉体刚硬百倍的 "修真邪祟"


6.2 幼虫蜕大魔的三重天

洗骨境天命之气说人话
🌱 开盲盒境 (Early)α+β+n<15\alpha + \beta + n < 15饿得发昏,外面弹个石子都要诈尸。扔出来的卦象上蹿下跳跟猴儿一样。
🌿 凝煞境 (Growing)15α+β+n<5015 \leq \alpha + \beta + n < 50找准脉络了,不再大喘气。生出了如水银一般沉甸甸的骨骼。安全绳缩了回来。
🌳 镇岳魔尊 (Mature)α+β+n50\alpha + \beta + n \geq 50真罡护体,狂风骤雨泼上来也只当是挠痒痒,这底气配叫一声 “大宗师一指”

拿着玄门尺(Beta 逆分位神功)去每一境去丈量 95% 安保结界 的宽窄:

CI95%=FBeta1(0.975;α+k,β+nk)FBeta1(0.025;α+k,β+nk)\text{CI}_{95\%} = F_{\text{Beta}}^{-1}(0.975; \, \alpha+k, \, \beta+n-k) - F_{\text{Beta}}^{-1}(0.025; \, \alpha+k, \, \beta+n-k)

在 开盲盒境 这种保护罩虚胖炸到了 0.4(能撕出 40 个身位差);混到 魔尊境 这个口子早就闭合收拢到 0.1 根毛底(只有区区 10 个身位)。这就是这尊鼎,怎么靠吸食骨血,硬生生把虚火凝成泰山石的夺命秘法。



第七章. 拿脑袋作保的底气:老子凭什么敢跟着它杀人?

7.1 天道归真咒 (Posterior Consistency Theorem)

外头拿贝叶斯当擦屁股纸的人最爱狂喷:“那个破 Prior 不就是你自己拍黄瓜掰的么?!” 把这帮狂徒嘴巴扇肿的惊世佛掌,就是 💡 天道归真咒 (posterior consistency)

从 Doob, Schwartz, 熬到 Ghosh 跟 Ramamoorthi 几代上古祖师呕血炼出来的佛印是:任由真命天子 θ0\theta_0 随便找个缝 UU 躲起来:

P(θUD1,D2,,Dn)a.s.1asnP(\theta \in U \mid D_1, D_2, \ldots, D_n) \xrightarrow{a.s.} 1 \quad \text{as} \quad n \to \infty 把这句天书翻译过来就是,就算你当初瞎了眼在 Prior 里乱糊狗屎 (只要你没变态到逆天行道),等到尸山填够了万坑,真丹 (事后概率) 自然会用它那双 100% (概率 1) 黑手捏碎伪神直戳天道原貌。

意思是,“开局你设个 20% 还是脑瘫设了个 50%,等特么打完 30 场战役,那个怪物也会叼着一样的心脏爬回你脚边。” Prior 仅仅是一辆顺风车的发车板,从来不是停尸房。手握这尊真神之印,EXAWin 哪怕是一开始任由你胡闹作妖,也毫不慌张,照单全收!


7.2 打脸传统的底牌:连那些老顽固的地盘也直接砸场子

经验贝叶斯的杀生刀不但护得了自己山门,就连在敌对那个讲究打满算的(频度论阵营 frequentist risk),也一样把他们杀得片甲不留。扒拉着 1956 罗宾斯的破书跟 1975 年埃夫隆-莫里斯的两张狗皮膏药抖出来:只要你手盘 p3p \geq 3 在这个三个项目堆起修罗场的盘子里,经验贝叶斯这一手勒马断喉斩的频度风险,永远!永远!永远! 比什么劳什子 MLE 这种笨刀砍的要薄脆干净:

R(θ,θ^EB)=E[θ^EBθ2]<E[θ^MLEθ2]=R(θ,θ^MLE)R(\theta, \hat{\theta}^{EB}) = E\left[\|\hat{\theta}^{EB} - \theta\|^2\right] < E\left[\|\hat{\theta}^{MLE} - \theta\|^2\right] = R(\theta, \hat{\theta}^{MLE})

管你藏着几根毛的 θ\theta,这道斩神令永不空挥 (admissibility)。这是铁板上的大字:只要你那厂子敢同时接下超过三条肥猪崽的大户,拿经验贝叶斯的斩骨刀,就绝对碾压那些蹲角落里一个个硬劈的老实人 (universally superior)。



招魂:压死骆驼的那最后千钧一发

退朝回望,你在 EXAWin 前头那两栏框框里轻描淡写填上的贝叶斯 Prior,绝不仅是在摸鱼敲键盘。

你在往系统里灌进去的,是咱们这家破公司这几十年来拼死拼活从人肉火场里熬出的眼光和血性。这种虚无缥缈却挂满金条的东西,被拿来熔炼成了全世界最阴冷残酷的数学咒文。而你在这块石板上每一天加盖的带血汇报,那些新的脚印被填满的同时,那台嗜血引擎虽然表面笑脸相迎你那祖宗八代的脸面,背后却死死咬住“人血数据真理”,暗地里换筋洗髓,蜕变成仙!

这种过程带着逻辑的毒,沾着理论的血,披着实战的战袍,绝对不是哪个键盘侠喝多了瞎编出来的东西。从 1763 年贝老爷子的破草稿,传给 1956 年罗宾斯的杀降魔,再传 1961 年斯坦抽阴魂悖论,到 1975 埃夫隆-莫里斯血洗缩地大法,乃至 2003 高什-拉马穆尔斯 天道归一大证 — 整整 260 年地球上所有疯子和妖孽的集体黑火晶核,字字句句化作这把无上杀阵为你背书护体。

当你亲手拨乱 EXAWin 上面的这根 α\alphaβ\beta 的拨片,朋友,那是你在跟这 260 年来所有天下英才那双带血的鬼手,默默地交握合印!



藏经阁里头的尸骸骨简

  1. Bayes, T. (1763). "An Essay towards Solving a Problem in the Doctrine of Chances." Philosophical Transactions of the Royal Society of London, 53, 370-418.

  2. Robbins, H. (1956). "An Empirical Bayes Approach to Statistics." Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, 1, 157-163.

  3. Stein, C. (1956). "Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution." Proceedings of the Third Berkeley Symposium, 1, 197-206.

  4. James, W. and Stein, C. (1961). "Estimation with Quadratic Loss." Proceedings of the Fourth Berkeley Symposium, 1, 361-379.

  5. Efron, B. and Morris, C. (1975). "Data Analysis Using Stein's Estimator and its Generalizations." Journal of the American Statistical Association, 70(350), 311-319.

  6. Casella, G. (1985). "An Introduction to Empirical Bayes Data Analysis." The American Statistician, 39(2), 83-87.

  7. Gelman, A., Carlin, J.B., Stern, H.S., Dunson, D.B., Vehtari, A., and Rubin, D.B. (2013). Bayesian Data Analysis. 3rd Edition, CRC Press.

  8. Ghosh, J.K. and Ramamoorthi, R.V. (2003). Bayesian Nonparametrics. Springer Series in Statistics.