伯努利试验及大数定律

luyuanhong

伯努利试验及大数定律

作者 | [美]威廉·邓纳姆(Willian Dunham)

翻译 | 冯速

来源 | 节选自《数学那些事：伟大的问题与非凡的人》，人民邮电出版社，2022 年 3 月。

首先, 伯努利试验不是佛罗伦萨的一道法律程序, 而是初等概率论的基础, 在我们对不确定世界的理解中起着重要的作用。

伯努利试验是一个有两种结果的简单试验。它的结果是成功或失败，黑或白，开或关。没有中间的立场，没有妥协的余地，没有优柔寡断的安慰。

这样的例子太多了。我们观察从一副纸牌中拿出的一张牌, 它或是黑色或是红色。我们接生一个婴儿, 这个婴儿或是女孩子或是男孩子。我们经历 24 小时的一天, 或者遇到流星或者遇不到流星。在每一种情况下, 很方便设计一种结果为“成功”, 另外一种结果为“失败”。例如, 选出一张黑色牌、生一个女儿、没有遇到流星都可以标识为成功。然而, 从概率的角度看, 选择红牌、儿子或者遇到流星为成功也是不会产生差异的。在这种场合下, 成功一词没有价值取向的色彩。

单个伯努利试验没有太大的意义。然而, 当我们反复进行伯努利试验, 并观察这些试验有多少是成功的、多少是失败的, 事情就变得很有意义了, 这些累计记录包含很多潜在的非常有用的信息。

当我们做试验时, 有一个关键的条件：这些重复的试验必须是相互独立的。独立一词不仅有专业定义, 而且还传达了适合我们目标的含义：如果一个事件的结果绝不会对另一个事件的结果产生影响, 那么这两个事件就是相互独立的。例如, 史密斯生一个儿子与约翰逊生一个女儿是两个相互独立的事件。又例如, 投掷一枚一角硬币与投掷一枚一分硬币的结果（正面或反面）也是相互独立的, 一枚硬币的结果不会对另一枚硬币的结果产生影响。

但是, 如果我们研究一副纸牌中的两张牌, 一次只能抽一张, 并认为黑色纸牌是成功, 那么在抽完第一张纸牌后再抽第二张纸牌时, 独立性就丧失了。这是因为, 如果第一张牌是梅花 A（一次成功）, 那么它将影响第二次的抽取结果——它使得第二次抽出黑色纸牌的可能性减小, 第二次抽出 A 的可能性也减小, 而且绝对不可能还是抽到一张梅花 A 。

幸运的是, 这种独立性的缺失可以通过一个简单的对策加以弥补。在抽取第一张纸牌之后, 把它放回到原来的纸牌中, 重新洗好, 然后再抽。因为我们的第一张纸牌已经重新混入到原来的纸牌中, 所以它的身份对第二次抽取已经不再产生影响。在这种意义下, 独立事件要求为每一次试验创造一个不留痕迹的平台, 从而使得每次试验成功的概率保持相同。　

伯努利试验最鲜明的例子出现在博弈游戏中, 例如投掷硬币或者骰子。对于硬币来说, 每一次投掷显然是独立的, 因此在每次投掷时成功的概率（比如说得到正面的概率）是相同的。说一枚硬币是“平衡的”, 意思是这个概率正好是 1/2 。对于一枚均匀的骰子, 如果我们指定投出 3 是成功, 那么我们成功的概率总是 1/6 。　

但是, 如果我们投掷一枚硬币五次会发生什么呢？在这五次投掷中得到三个正面和两个反面的概率是多少呢？推而广之, 如果我们投掷这枚硬币 500 次, 得到 247 次正面和 253 次反面的概率是多少呢？这是一个看似噩梦般的问题, 但是它的解却出现在早期的概率论杰作之一——雅各布·伯努利（Jakob Bernoulli, 1654—1705）的《猜度术》之中。　

伯努利是瑞士本土人, 他的祖父、父亲和岳父都是富裕的药剂师。他抛弃了臼和研棒, 去大学研究神学, 并于 22 岁那年获得了学位。然而, 尽管他的家族都与医药有关, 并且他接受的是布道方面的教育, 但他真正感兴趣的却是数学。　

从 17 世纪 70 年代末开始直到去世, 伯努利一直都是世界上最杰出的数学家之一。他是一个天才, 却有着令人讨厌的个性, 他目空一切, 对那些不具天赋的人的努力嗤之以鼻。例如, 在研究了我们今天所谓的“伯努利数”（为了纪念他而命名）之后, 伯努利找到了对正整数幂求和的一种非常巧妙的捷径。他说“自己用了不到七分半钟”就确定了前 1000 个正整数的十次幂的和。也就是说, 他用了不到十分钟就确定了下面的结果：



这的确是个巨大的和。但是他在一份亲自主笔的评论中自我标榜说他的捷径“清楚地表明布里奥的工作是多么无用……他（布里奥）不过是费了好大劲计算了上面的前六个幂的和, 而我用一页纸就完成了全部计算”。这个人对可怜的伊斯梅尔·布里奥（Ismael Bullialdus）没有一点同情心, 他不仅拥有一名数学家的非凡洞察力, 而且也不同寻常地自负。　

雅各布·伯努利的巅峰时期正是戈特弗里德·威廉·莱布尼茨发现微积分的时期, 雅各布是普及这一丰硕成果的重要人物之一。同任何新发展起来的理论一样, 微积分得益于那些紧跟其首创者脚步的人, 得益于那些才华不如莱布尼茨的学者, 他们的贡献是对这一门学科加以整理, 这是必不可少的。雅各布就是这样一位贡献者。


雅各布·伯努利 [瑞士, 巴塞尔, Birkhauser Verlag AG 出版社许可翻印, 这是 1969 年由弗莱肯施泰因(J.O. Fleckenstein)编辑的《雅各布·伯努利全集, 卷 1：新星, 自然哲学》中的一幅画像] 　　

在这项事业中, 他有一位令人不安的同盟者约翰（Johann, 1667—1748）——他的弟弟, 与他的名字首字母相同, 这就是极富才华但爱争吵的伯努利兄弟。事实上, 雅各布曾充当他弟弟的数学老师的角色。在之后的岁月里, 他也许后悔把约翰教得如此好, 因为事实证明这位弟弟是一位与他不相上下的数学家, 甚至也许超过了他。兄弟二人为争夺数学霸权展开了激烈竞争。当约翰解决了曾经难倒哥哥的某个问题时, 他总是毫不掩饰自己的兴奋, 尽管雅各布故意叫约翰为他的“小学生”, 暗示约翰只是在效仿他这位导师。这两个伯努利都算不上是高尚的人。　　

一次著名的冲突起源于悬链线的问题。悬链线是固定在墙上两点的悬链所形成的曲线（见图 B-1）。熟悉代数的人也许猜测这条链沿着一条抛物线弧垂悬, 这样一个完美的合乎逻辑的猜测早在 17 世纪初就被伽利略这样的人物想到了。但是这样悬挂的链其实不是抛物线, 到了 1690 年, 雅各布·伯努利正在为确定这条曲线的真实身份而非常努力地研究着, 也就是说, 他要给出它的方程。


图 B-1 　　

事实证明, 雅各布不能胜任这项任务。当约翰给出答案时, 不难想象雅各布惊讶的样子。后来约翰在炫耀他的胜利时说, 为了这个解决方案“我全身心地去研究, 整晚不休息”。他气人的本领与他的才华一样出色, 约翰匆匆忙忙跑到雅各布面前, 告诉一直苦思冥想的哥哥问题的答案。雅各布一下子垂头丧气。

但是, 雅各布要实施他的“报复”。这一次的战场是所谓的等周问题, 说的是从有相同周长的曲线中, 区分出哪条曲线围出的面积最大。我们将在第 I 章中更详细地讨论这个问题, 但是现在可以先看一下雅各布·伯努利在 1697 年是如何运用微积分来描述这个问题的。他要对付一个难缠的叫作三阶微分方程的数学对象, 这项工作为一个现在称为变分法的新数学分支指出了道路, 这一分支有着广泛的研究前景。　　

弟弟约翰与他的意见不同, 并说已经用一个相对简单的二阶微分方程解决了这个等周问题。如同以往伯努利家的情况一样, 他们的争吵变成对抗, 最终只是因为缺少“弹药”而停止。　


约翰·伯努利（卡内基-梅隆大学图书馆惠允）

然而, 这次是雅各布笑到了最后, 因为弟弟的二阶微分方程是不正确的。遗憾的是, 实际上雅各布没有机会大大嘲笑一番, 哪怕是微微冷笑, 因为在 1705 年他就去世了, 而当时约翰对这个问题的错误解仍然神秘地密封在巴黎学院的办公室。有这样一种推测, 约翰已经认识到了自己的错误, 并设法把这个错误偷偷地掩藏起来, 这样就不用忍受公开的羞辱, 让哥哥看笑话。

这些趣事充分展现了他们兄弟之间的不和, 因此发生下面的事也就一点都不奇怪了。当时人们都认为约翰是编辑他刚去世的哥哥的论文的最合适的人选, 但是雅各布的遗孀却阻止了这件事, 因为她担心有报复心的约翰会破坏雅各布留下的数学遗产。霍夫曼（J. E. Hofmann）在《科学家传记大辞典》中对雅各布的个性也许做了最好的描述：“他任性、固执、好斗、有报复心, 而且受自卑心的困扰, 但是他对自己拥有的才能还是有自信的。因为有这样的个性, 所以他必然会同有相同个性的弟弟发生冲突。”的确, 雅各布和约翰是因傲慢自大而自毁名声的那种人。　　



这个结果尽管正确, 但这个概率太复杂, 无法手算得到, 而且即使有一个高级的袖珍计算器也无法实现计算 500! 这样大的数的愿望（对此怀疑的人不妨试一试）。我们将在第 N 章看到近似求解这种概率的一项技术。但是, 即使无法这样直接计算, 这个公式在理论上也还是很完美的。它是求任意一系列独立伯努利试验概率的关键技术。　　

遗憾的是, 日常生活中的大多数事件实际上比投掷硬币复杂得多, 这几乎是太纯粹的概率状况。确定一个 25 岁的人能活到 70 岁以上的概率, 或者确定下一个星期二的降雨量超过一英寸（25.4 毫米）的概率, 或者确定一辆正驶入交叉口的汽车要右转弯的概率, 求解这些问题绝不是一件容易的事。这些事件因为现实世界的纷繁复杂而使人一筹莫展, 正如雅各布说的那样：

我要问, 列举所有可能的情况, 能够确定在人身体不同部位、不同年龄段折磨他的致命疾病的数量吗？或者说, 假如能够确定一种疾病比另外一种疾病更具有致命性, 如瘟疫比水肿更能致人死亡, 或水肿比发烧更能致人死亡, 那么基于这样的认识就能够预测未来一代人的生存与死亡之间的关系吗？[6]

这样的概率超出数学的范畴了吗？概率论只能被归类于模拟博弈游戏吗？　　

伯努利在那本也许是他最伟大的遗产《猜度术》中, 针对这个问题给出了非常有力的回答。事实上, 他把这个问题称为他的“黄金定理”, 并写道：“就其新颖度和其强大的实用性而言, 再加上其较大的难度, 这一定理因其分量和价值已经成为这一学说之最。”今天所谓的伯努利定理就是通常所说的大数定律, 它被认为是概率论的中流砥柱之一。　

为了对它的性质有所了解, 再次假设我们正在进行独立的伯努利试验, 其中每一次试验的成功概率为 P 。我们知道操作的总试验次数, 称其为 N ，而且还知道结果成功的试验次数, 称其为 x 。于是分数 x/N 就是我们观察到的成功的次数比例。　

例如, 如果投掷一枚均匀的硬币 100 次, 产生 47 次正面, 则观察到的正面比例是 47/100=0.47 。如果再将这枚硬币投掷 100 次, 又产生 55 次正面, 则总的成功比例是 (47+55)/(100+100)=102/200=0.510 。

没有什么理由阻止他人再把这枚硬币投掷 100 次, 或者投掷 1 亿次, 只要掷硬币的人不厌其烦。关键的问题是经过长时间的操作, 成功的比例 x/N 会发生什么变化呢？

当试验的次数增加时, 应该没有人对发现这个比例接近 0.5 而感到惊讶。一般来说, 当 N 变大时, 我们会看到 x/N 的值趋向一个固定的数 p ，这是任何一次单次试验的成功的真概率。所以, 这里就显示出这个定理的威力, 当成功的概率 p 未知时, 在较大次数的试验当中, 成功的比例 p 应该是的一个较好的估计值。用符号表示, 我们应该写成 x/N≈p ，当 N 较大时（≈ 的意思是“近似等于”）。

加上少数几个重要条件, 这就成了大数定律。伯努利定理之所以如此著名, 并不是因为它道出了一个真理, 而是因为很难用严格的论据加以证明。雅各布自己也以他那极具代表性的尖刻语言承认“即使是最笨的人也应该可以本能地理解（大数定律）”。然而, 为了给出这个定律的正确的证明, 他付出了二十年的努力, 给出的证明占据了《猜度术》好几页。事实证明, 他的评论“这一原理的科学证明并不是那样简单”是有意轻描淡写的陈述。　

我们应该说说前文提到的关于伯努利定理的“重要条件”。因为它本质上是一个概率陈述, 所以它应该是随时可能发生的不确定性。我们不能绝对确定投掷一枚硬币 1000 次产生正面的比例将比仅投掷 100 次产生正面的比例更接近 0.5 。完全有可能投掷 100 次时产生 51 次正面, 而且有可能投掷 1000 次时只产生 486 次正面。因此这个“小样本”估测 x/N=51/100=0.51 实际上应该比“大样本”估测 x/N=486/1000=0.486 更接近投掷正面的真实概率。完全有可能发生这样的事情。　

这样说来, 如果我们再投掷 1000 次, 那么每一次投掷都产生正面也不是完全没有可能的。有可能产生一个惊人的结果, 2000 次投掷产生 1486 次正面, 于是估测概率是 1486/2000=0.743 。在这样的情况下, 大数定律似乎已经不好使了。

但事实并非如此。因为雅各布·伯努利证明的是, 对于任意给定的小容差, 比如说 0.000 001 ，估测概率 x/N 与真实概率 p 的差是这个小容差或者比它更小的可能性可以接近于 1 ，条件仅仅是增加试验次数。只要做足够多的试验, 我们几乎可以肯定, 或者使用伯努利曾经使用的词语道义上肯定, 我们的估测值 x/N 与真实概率 p 之差一定在 0.000 001 以内。当然, 我们不能百分之百确定 p 与 x/N 之差小于 0.000 001 ，但是大量的试验可以让我们充分肯定这种推断不至于太离谱。

上述情况, 即投掷均匀硬币 2000 次而掷出正面的概率被估测为 0.743 ，其可能性有可能小于一个人在看本章时遇到流星的概率。另外, 即使出现了这样一个不可能的估测值, 伯努利仍然非常自信地声称, 通过做大量的试验, 比如 2000 次、200 万次或更多, 这个比例 x/N 肯定趋向于 0.5 。　

要强调的是, 即使对于这样少的限制条件, 大数定律仍然是可证明的, 这一点很重要。这不同于我们在生活中遇到的其他著名定律, 如墨菲定律和万有引力定律。它们要么是被普遍认可的陈词滥调（如墨菲定律）, 要么是被高度赞誉的物理模型（如万有引力定律）, 都要随时根据证据而被修正。但是大数定律是一个数学定理, 而且已经证明在必须遵守的逻辑限制之下, 它永远成立。

另外, 它有自己的用途。保险公司用于调整精算表格的生存概率就是依据大量类似试验（例如人的存活和死亡）的结果。天气预报员预报的下雨概率也是如此。　

或者考虑这样的例子, 回到 18 世纪, 求一位妇女生一个男孩而不是女孩的概率。如何能够用某种先验的方式计算出这一概率呢？遗传的复杂因素严重破坏了事先用某种纯理论方法确定生一个男孩的概率状况。于是, 我们被迫起用“既成事实”或者事后验证, 以伯努利定律为武器进行处理。

在 18 世纪早期, 这个特殊的问题就一直萦绕在英国人约翰·阿巴思诺特（John Arbuthnot）的头脑之中。如同其他前人一样, 他从人口调查记录中注意到每年出生的男孩比女孩稍微多一些, 并认为这种不平衡已经存在“好多年, 不仅在伦敦, 而且在全世界”。阿巴思诺特试图借助“上帝之佑”来说明这一现象。几年后, 雅各布和约翰的侄子尼古拉斯·伯努利继承了家族拥有的数学天分, 运用大数定律得出结论：生男孩的概率是 18/35 。换句话说, 大量的出生记录显示出一种显著而稳定的趋势, 男女比例 18 比 17 。伯努利定理“不仅在伦敦, 而且在全世界”得到应用。

直到今天, 它仍在起作用。一项被称为蒙特卡罗方法的技术在伯努利定理和计算机强大威力的帮助下已经变得非常重要, 因为它能够帮助科学家以概率的模式模拟大范围的随机现象。下面就是蒙特卡罗方法的一个相当简单的示例。假设我们希望求得一个不规则形状的湖面的表面积。我们可以沿着湖边走, 或者俯拍一张照片, 但是湖的弯曲和其表面上的不规则边界使得很难用任何数学公式确定其面积。

假设我们的湖呈图 B-2 中阴影的形状, 我们已经在图上给出了 x 和 y 的坐标。因为我们计划在第 L 章中重温这个例子, 所以选择了一个形状比较规整的湖, 是一个以 x 轴和方程为 y=8x-x^2 的抛物线为边界的湖。


图 B-2

我们将用概率方法估测它的面积。首先, 如图所示在的矩形内圈出一个区域。其次, 任由计算机在这个矩形内寻找任意多个 (x,y) 点。例如计算机也许能够找出如图所示的两个点 A=(3.5, 7.3)，B=(6.0, 13.7) 。

现在, 我们要问计算机：这些随机的点是落在这个湖内还是落在了湖外？在我们的例子中, 这个问题很容易解决。检验点 A ，我们在抛物线方程中令 x=3.5 ，于是求得对应的值 y=8×3.5-(3.5)^2=15.75 。这表明点 (3.5, 15.75) 在抛物线上。于是比对点 A 来说, 点 A 的第一个坐标相同, 而第二个坐标只有7.3 ，它落在了抛物线的里面, 即在湖内。

类似地, 当考虑点 B 时, 我们在抛物线方程中代入它的第一个坐标, 得到对应值 y=8×6-6^2=12 。因此点 (6, 12) 在抛物线上, 所以点 B(6, 13.7) 落在抛物线外面, 砸到了干干的地上。计算机只需要几毫秒的时间, 就能选择很多随机的点, 并确定它们是在湖内还是在湖外。



这是一个初等的模拟实例, 现实世界中很多更加奇妙的现象都可以利用蒙特卡罗方法加以研究。另外, 正如我们将在后面看到的那样, 例子中的抛物线的面积实际上可以用积分方法精确地得到。但是这个例子仍然让我们感受到了概率的威力。　

自从雅各布·伯努利证明他的伟大定理以来已经过了三个多世纪。他原来的论证已经被更加有效地反映这一事物本质的简化版本所取代, 这样的情况在数学中很常见。今天的标准证明是根据俄罗斯数学家切比雪夫的一个结果, 此人我们在第 A 章中遇到过。这一方法, 以及如期望值、随机变量的标准差等一系列概念使得我们能够把大数定律的证明简化到一页纸上, 同时表明伯努利的证明的确很麻烦。然而, 以伯努利所不具有的宽容精神, 我们将坚决抵制下面这样的念头：仅因为伯努利的证明需要一章篇幅才能讲清, 而“我们只需要一页纸就可以完成这项工作”, 就把他的工作贴上“无用”的标签。

这就是进步的常态。但是, 在全人类的奋斗历程中, 我们最好要记住这些前辈。正如今天的音响技术播放出的音乐要远远优越于 19 世纪留声机播出的刺耳声音, 现代概率论也缩短并简化了伯努利的大数定律的证明。尽管一系列的进步已经说明托马斯·爱迪生的原创是多么陈旧, 但是我们仍对他满怀敬仰之情。同样, 我们也应该为伯努利自感骄傲的黄金定理而给予他同样的尊敬。



《数学那些事：伟大的问题与非凡的人》

作者：[美]威廉·邓纳姆（William Dunham）

出版社：人民邮电出版社

出版时间：2022-03