概率论中一个基本的定理是说
$$
f(x,y)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}\exp\Bigg(-\frac{1}{2(1-\rho^2)}\Big[
\frac{(x-\mu_X)^2}{\sigma_X^2}+
\frac{(y-\mu_Y)^2}{\sigma_Y^2}
-\frac{2\rho(x-\mu_X)(y-\mu_Y)}{\sigma_X\sigma_Y}
\Big]\Bigg)
$$
则
- $aX+bY$服从一维正态分布;
- $X,Y$是独立的当且仅当$X,Y$是不相关的.
$$
\mathbf{\mu}=\pmatrix{\mu_X\\\mu_Y},\quad
\mathbf{\Sigma}=\pmatrix{\sigma_X^2&\rho\sigma_X\sigma_Y\\\rho\sigma_X\sigma_Y&\sigma_Y^2},
$$
则上述公式是$k=2$时, 下列公式的特例,
$$
f_{\mathbf{x}}(x_1,\ldots,x_k)=\frac{1}{\sqrt{(2\pi)^k|\Sigma|}}\exp\Big(
-\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^T\mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})
\Big).
$$
一个自然的反问题是
- $(X,Y)$是二维正态分布吗?
- 此时$X,Y$是独立的吗?
回忆, $X$是一维正态分布是指, 其密度函数满足
$$
f_X(x)=\frac{1}{\sqrt{2\pi}\sigma_X}\exp\big(-\frac{(X-\mu_X)^2}{2\sigma_X^2}\big).
$$
而两个随机变量$X,Y$不相关定义为它们的相关系数为0, 其中相关系数定义为
$$
r=\frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)D(Y)}},
$$
其中$D(X)=E((X-E(X))^2)$是$X$的方差.
下面的例子将表明, 上面的问题的答案都是否定的.
- $X,Y$是不相关的;
- $X,Y$都服从标准正态分布;
- $X,Y$不是独立的.
首先来看$X,Y$是不相关. 事实上
\begin{align*}
E(XY)-E(X)E(Y)&=E(XY)-E(X)E(WX)\\
&=E(XY)-E(X)E(W)E(X)\quad\text{($W,X$独立)}\\
&=E(XY)-0\cdot E(X)^2\quad\text{($E(W)=0$)}\\
&=E(E(XY|W))\quad\text{($E(E(x|y))=E(x))$,这应该叫全概率公式)}\\
&=P(W=1)E(XY|W=1)+P(W=-1)E(XY|W=-1)\\
&=\frac{1}{2}\left(E(X^2|W=1)+E(-X^2|W=-1)\right)\\
&=\frac{1}{2}\left(E(X^2)+E(-X^2)\right)\\
&=\frac{1}{2}\left(E(X^2)-E(X^2)\right)\\
&=0.
\end{align*}
接下来, 证明$Y$也服从标准正态分布. 事实上利用全概率公式得到
\begin{align*}
P(Y\leq s)&=P(WX\leq s)=P(WX\leq s|W=1)P(W=1)+P(WX\leq s|W=-1)P(W=-1)\\
&=\frac{1}{2}\left(P(X\leq s)+P(-X\leq s)\right)\\
&=P(X\leq s),
\end{align*}
这里我们用到了$X$服从标准正态分布, 其密度函数关于$\mu=0$对称, 从而$P(X\leq s)=P(-X\leq s)$.
最后, 为了说明$X,Y$不独立, 只需注意到, 对博内尔函数$f(t)=|t|$, 我们有$f(X)=|X|=|Y|=f(Y)$. 而概率论中一个结论表明, 若$X,Y$是独立的, 则对任意的博内尔函数$f$, 都有$f(X),f(Y)$是独立的. 注意, 按照独立的定义可知, 一个事件$A$和自己是独立的, 当且仅当
$$
P(A\cap A)=P(A)\cdot P(A),
$$
这表明$P(A)=0$或者$1$. 而对上面的情形, 若定义$A=\left\{X:|X|<s\right\}$, 则$P(A)=P(|X|<s)\in(0,1)$ (对所有的实数$s$).
当然, 另一个独立的直接推论是条件概率满足 $$ P(A|B)=P(A\cap B)/P(B)=P(A)P(B)/P(B)=P(A). $$ 对上面的情形, 直接考察$A=\left\{Y:Y>1\right\}$, $B=\left\{X:X=1/2\right\}$, 则
$$
P(A|B)=P(Y>1|X=1/2)=P(X>1|X=1/2)=0,
$$
这里我们用到了$Y$与$X$服从相同的分布. 上式表明
$$
0=P(A|B)\neq P(A)=P(Y>1)>0.
$$
我们知道, 作为若$(X,Y)$的联合分布是二维正态分布, 则其任意线性组合$aX+bY$也是一维正态分布(其实反过来也对). 我们将用这一事实说明, 上面例子给出的$X,Y$的联合分布不是2维正态分布. 事实上, 注意到
\begin{align*}
P(X+Y=0)&=P(X+Y=0|W=-1)P(W=-1)\\
&\qquad+P(X+Y=0|W=1)P(W=1)\\
&=\frac{1}{2}\left(P(0=0|W=-1)+P(2X=0|W=1)\right)\\
&=\frac{1}{2}(1+0)=\frac{1}{2}.
\end{align*}
可见$X+Y$不可能是正态分布(连续型随机变量取得某给定值的概率为0).
当然, 也容易证明, $(X,Y)$服从二维正态时, $X,Y$独立当且仅当$X,Y$不相关. 这也可以说明上面例子中的$(X,Y)$的联合分布不是2维正态分布.