余弦定理的统计学解释

luyuanhong

余弦定理的统计学解释

原创 围城里的猫 MathSpark 2024 年 06 月 25 日 07:31 陕西

在数学中，将不同事物之间产生联系一直是一个有趣的事。在这期推送中我们将统计学中的方差与几何学以及线性代数相结合，提出了一种所谓的统计余弦定律的观点。

在初等统计学中我们知道：独立随机变量的方差之和等于它们和的方差，这与几何学中的勾股定理相似。然而我们更希望能够将这一关系推广到非独立的随机变量，这需要将随机变量与空间中的向量相对应，并且指出协方差与向量的内积的某种相似关系，通过这种对应，我们能够将统计学的问题转化为几何问题，并使用余弦定律来推广方差的可加性到相关的随机变量，以此来得到统计学中的余弦定律，即和的方差等于各个随机变量方差与它们之间协方差的关系。（PS：以前在学习统计学的时候，我老是记不住这个等式，直到我看明白它跟余弦定理是一回事），而且很显然这种关系在随机变量独立时退化成传统的勾股定理。（余弦定理，在直角三角形中退化成勾股定理）

好了，让我们开始今天的主要容，大家在统计入门课或者概率课上介绍方差概念的时候，一定介绍了“两个独立变量之和的方差是它们方差之和”，或者更数学地说，对于独立随机变量 X 和 Y 有以下等式成立：



如果你习惯用 σ^2 来表示方差，那么这个定理通常也被称为“统计学勾股定理”就不足为奇了：某个数的平方等于另外两个数的平方和。这个等式也很强大，因为人们通常不会意识到只需将方差相加即可获得和的方差。

不过要主要的是这个等式只有在随机变量是彼此独立的情况下才成立，这也不难理解，因为正如在几何学中的那样，勾股定理也只有在三角形是直角三角形时才有效。

现在我们将随机变量 X 和 Y 视为向量空间中的两个向量 x 和 y ，那么 X + Y 很自然地可以用两个向量 x + y 的和来表示。随机变量的方差表示的是随机变量的分散性（数据的离散程度），所以当我们向随机变量增加一个常数的时候，并不会改变它的方差，协方差也有类似的性质，这个性质可以为我们带来数学上的一些便利，我们不妨假设随机变量 X 和 Y 已经以均值中心化，也就是说，我们已经减去了它们各自的均值（期望），因此它们的均值（期望）此时都为零。现在我们说随机变量 X 和 Y 的协方差就是它们的内积——用数学表达就是：



这里我们不应该太过惊讶，毕竟，内积满足了我们期望的协方差的所有性质：

● 协方差是对称的：Cov(X,Y) = Cov(Y,X)。如果我们谈论的是实值随机变量,那么内积也是这样的：<x,y> = <y,x> 。

● 内积也是双线性的：如果你有第三个实值随机变量 Z ，其对应的向量表示为 z ，以及实数 a 和 b ，则 <ax + by,z> = a<x,z> + b<y,z> 和 <x,ay + bz> = a<x,y> + b<x,z> 。

● 内积 <x,x> 大于等于 0 ，这对应于这样一个事实：随机变量与自身的协方差（即变量的方差）始终为非负。

更重要的是，如果我们将大小为 n 的样本视为 n 维空间中的向量，那么根据我们对样本协方差的定义：



与内积的对应关系也就变得很自然，记得我们之前均值中心化的操作，即  =  = 0 ，因此上式可以简化为：



由此可以得出其他的一些性质：例如，向量空间中的正交性（内积为 0）意味着它们的协方差为零。而随机变量的方差是该随机变量与其自身的协方差：Var(X) = Cov(X,X) ，在内积空间 <x,x> 被定义为 x 的长度的平方。

这很棒，而且帮助我们把问题转化为几何问题。方差是向量长度的平方（按 n 的倍数缩小，但这里并不那么重要）。现在我们有向量 x 和 y ，我们想要一个公式来计算它们的向量和 x + y 的平方长度。



即现在我们想要的是图中红色向量 x + y 的长度：余弦定理在这里可以被派上用场，我们将向量做一些简单的平移（不改变长度），利用向量加法的三角形法则，得到下图：



我们可以将三角形蓝边和绿边之间的角度表示为 φ 。余弦定理告诉我们：



原始向量 y 和 x 之间夹角记为 θ ，而 φ = π - θ 。好在这两个角的余弦并没有差别，这样我们就可以写下：



最后，我们可以将其翻译回我们认识的统计术语（同样，所有这些都有一个常数因子 n ，但这在这里并不重要）：

║x + y║^2 是总和 Var(X + Y) 的方差。

║x║^2 是 X 的方差，║y║^2 是 Y 的方差。

这个 2║x║║y║cosθ 是 X 和 Y 的协方差（内积）的两倍。

将这些内容代入余弦定律表达式中，我们最终发现以下内容：



这是随机变量与其和之间的真实方差关系。如果你愿意，可以称其为统计余弦定律——它们基本上是一回事。与几何余弦定律一样，统计余弦定律在特殊情况下可归结为统计勾股定理，当随机变量独立时，它们的协方差按定义是零，因此我们有 Var(X + Y) = Var(X) + Var(Y) ，正如我们所熟悉的公式一样，这是不是很酷？类似的解释可以参考《相关系数 R^2 的另一个解释》。





围城里的猫