概率论笔记

Published: July 30, 2019 by Daltao

• Categories:
• mathematic 1

• Tags:

• 单调函数密度函数
• 绝对值密度函数
• 重期望法则
• 重方差法则
• 矩母函数
• 两个变量的和
• 协方差和相关性
• 马尔可夫链队列问题
• 线性最小均方估计

单调函数密度函数

已知随机变量$X$的概率密度函数$f_X(x)$，定义$Y=g(X)$，$g$是严格单调函数，我们可以用下面的方法计算$f_Y(y)$。

首先记$h=g^{-1}$。我们计算$Y$的分布函数。仅考虑递增的情况。

$$F_Y(y)=P(Y\leq y) =P(g(X)\leq y)=P(X\leq h(y))=F_X(h(y))$$

接下来对分布函数进行求导，得到概率密度函数：

$$f_Y(y)=\frac{\partial F_Y(y)}{\partial y}=\frac{\partial F_X(h(y))}{\partial y}=f_X(h(y))h'(y)=f_X(h(y))|h'(y)|$$

绝对值密度函数

记$Y=|X|$，计算，计算$F_Y$

如下：

$$F_Y(y)=P(Y\leq y) = P(|X|\leq y)=P(-y\leq X\leq y)=F_X(y)-F_X(-y)$$

对分布函数求导得到密度函数：

$$f_Y(y)=\frac{\partial F_Y(y)}{\partial y}=f_X(y)+f_X(-y)$$

重期望法则

对于任意两个随机变量X、Y。

$$\begin{aligned} E[X]&=\int_{-\infty}^{\infty}xf_X(x)dx\\ &=\int_{-\infty}^{\infty}xdx\int_{-\infty}^{\infty} f_{X|Y}(x|y)f_Y(y)dy\\ &=\int_{-\infty}^{\infty}f_Y(y)dy\int_{-\infty}^{\infty} xf_{X|Y}(x|y)dx\\ &=\int_{-\infty}^{\infty}E[X|Y=y]f_Y(y)dy\\ &=E[E[X|Y]] \end{aligned}$$

离散情况下只需要将积分符号替换为$\sum$即可。

重方差法则

对于任意两个随机变量X、Y。

$$var[X]=E[X^2]-E[X]^2\\ =E[E[X^2|Y]]-E[E[X|Y]]^2\\ =E[E[X|Y]^2]-E[E[X|Y]]^2+E[E[X^2|Y]]-E[E[X|Y]^2]\\ =var[E[X|Y]]+E[E[X^2|Y]-E[X|Y]^2]\\ =var[E[X|Y]]+E[var[X|Y]]$$

矩母函数

随机变量X的矩母函数定义为：

$$E_X(s)=E[e^{sX}]$$

对矩母函数进行求导可以得到：

$$\frac{d}{ds^n}M_X(s)=\frac{d}{ds^n}\int_{-\infty}^{\infty} e^{sx}f_X(x)dx\\ =\int_{-\infty}^{\infty} \frac{d(e^{sx})}{ds^n}f_X(x)dx\\ =\int_{-\infty}^{\infty} x^ne^{sx}f_X(x)dx$$

当$s$取$0$时有：

$$\frac{d}{ds^n}M_X(0)=\int_{-\infty}^{\infty} x^nf_X(x)dx=E[X^n]$$

两个变量的和

记$Z=X+Y$，计算分布函数得到：

$$F_{Z|X}(z|x)=P(Z\leq z | X= x)=P(X+Y\leq z | X = x)\\ =P(Y\leq z-x)=F_Y(z-x)$$

对分布函数求导得到密度函数：

$$f_{Z|X}(z|x)=\frac{d}{dz}F_{Z|X}(z|x)=\frac{d}{dz}F_Y(z-x)=f_Y(z-x)$$

同理，当$X=Z-Y$时，可以推出

$$F_{X|Y}(x|y)=F_Z(y+x)\\ f_{X|Y}(x|y)=f_Z(y+x)$$

协方差和相关性

定义协方差$cov(X,Y)$：

$$cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$$

定义相关系数$\rho(X,Y)$：

$$\rho(X,Y)=\frac{cov(X,Y)}{\sqrt{var(X)var(Y)}}$$

可以证明施瓦兹不等式：

$$0\leq E[(X-\frac{E[XY]}{E[Y^2]}Y)^2]\\ =E[X^2-2\frac{E[XY]}{E[Y^2]}XY+\frac{(E[XY])^2}{(E[Y^2])^2}Y^2]\\ =E[X^2]-2\frac{E[XY]}{E[Y^2]}E[XY]+\frac{(E[XY])^2}{(E[Y^2])^2}E[Y^2]\\ =E[X^2]-\frac{(E[XY])^2}{E[Y^2]}\\ \Rightarrow E[X^2]E[Y^2]\geq (E[XY])^2$$

当$E[Y^2]=0$时，最终得到的命题也是有效的。

当随机变量$X$与$Y$的相关系数有定义时（$var(X),var(Y)>0$），记$\overline{X}=X-E[X]，\overline{Y}=Y-E[Y]$，利用施瓦兹不等式可以得到：

$$\rho(X,Y)^2=\frac{E(\overline{X}\overline{Y})^2}{E[\overline{X}^2]E[\overline{Y}^2]}\leq 1\\ \Rightarrow -1\leq \rho(X,Y) \leq 1$$

下面证明$|\rho(X,Y)|=1$当且仅当$\overline{Y}=k\overline{X}的概率为1$，其中$k$是常数。先证明必要性：

$$\rho(X,Y)=\frac{E[k\overline{X}^2]}{\sqrt{k^2E[\overline{X}]^2}}=\frac{k}{|k|}$$

再证明充分性，利用施瓦兹不等式可以得到等号成立的必要条件：

$$E[\overline{X}^2]E[\overline{Y}^2]= (E[\overline{X}\overline{Y}])^2\\ \Rightarrow \overline{X}=\frac{E[\overline{X}\overline{Y}]}{E[\overline{Y}^2]}\overline{Y}=\sqrt{\frac{E[\overline{X}^2]}{E[\overline{Y}^2]}}\rho(X,Y)\overline{Y}$$

马尔可夫链队列问题

队列长度为n，一旦队列满了，新来的信号就会被丢弃。队列被消费的时间遵循强度为$\lambda$的指数分布，队列到达信号的时间遵循强度为$\mu$的指数分布。

我们可以建立$n+1$个状态，第$i$个状态对应队列包含$i$个信号。

对于状态i的稳态概率为$\pi_i$。

可以推出：

$$\pi_0=(1-\mu)\pi_0+\lambda \pi_1\\ \Rightarrow \pi_1=\frac{\mu}{\lambda}\pi_0$$

考虑对于任意$i\geq 1$，有：

$$\pi_i=\mu\pi_{i-1}+(1-\mu-\lambda)\pi_i+\lambda\pi_{i+1}\\ \Rightarrow (\mu+\lambda)\pi_i=\lambda\pi_{i}+\lambda\pi_{i+1}\\ \Rightarrow\pi_{i+1}=\frac{\mu}{\lambda}\pi_{i}$$

容易发现$\pi_i$是等差数列，可以直接得到$\pi_i=(\frac{\mu}{\lambda})^i\pi_0$。利用稳态概率之和为1继续推导：

$$\pi_0+\pi_1+\ldots+\pi_n=1\\ \Rightarrow \sum_{i=0}^n\pi_0(\frac{\mu}{\lambda})^i=1\\ \Rightarrow \pi_0=\frac{(\frac{\mu}{\lambda})^{n+1}-1}{\frac{\mu}{\lambda}-1}\\ \Rightarrow \pi_i=\frac{(\frac{\mu}{\lambda})^{n+1}-1}{\frac{\mu}{\lambda}-1} \cdot (\frac{\mu}{\lambda})^i$$

再考虑期望：

$$E[X]=\sum_{i=0}^ni\pi_i=\pi_0\sum_{i=0}^ni(\frac{\mu}{\lambda})^i\\ \Rightarrow \pi_0\cdot \frac{n(\frac{\mu}{\lambda})^{n+2}-(n+1)(\frac{\mu}{\lambda})^{n+1}+(\frac{\mu}{\lambda})}{(\frac{\mu}{\lambda}-1)^2}$$

线性最小均方估计

设$\Theta$是均值为$\mu$ 方差为$\sigma_0^2$ 的随机变量，$X_1,\ldots,X_n$是一下形式的多个观测值：$X_i=\Theta+W_i$。其中观测误差$W_i$的均值为0，方差为$\sigma_i^2$。并且假设$\Theta,W_1,\ldots, W_n$是互不相关的。现在我们通过选择系数使得下面函数取到最小值：

$$h(a_1,\ldots,a_n,b)=\frac{1}{2}E[(\Theta-\sum_{i=1}^na_iX_i-b)^2]$$

而最优的取值方案为：

$$\hat\Theta=\frac{\mu/\sigma_0^2+\sum_{i=1}^nX_i/\sigma_i^2}{\sum_{i=1}^n1/\sigma_i^2}$$

证明: 我们需要证明当均方取到最小值时 $a_1,\ldots, a_n,b$ 是：

$$b^*=\frac{\mu/\sigma_0^2}{\sum_{i=1}^n1/\sigma_i^2}\\ a_j^*=\frac{1/\sigma_i^2}{\sum_{i=1}^n1/\sigma_i^2}$$

换言之，此时均方差的对于$a_1,\ldots, a_n,b$的偏导数均为0。求导得到

$$\frac{\partial h}{\partial b}=E[(\sum_{i=1}^na_i^*-1)\Theta+\sum_{i=1}^na_i^*W_i+b^*]\\ \frac{\partial h}{\partial a_i}=E[X_i((\sum_{i=1}^na_i^*-1)\Theta+\sum_{i=1}^na_i^*W_i+b^*)]\\$$

根据$b^,a_i^$ 的定义可以得到

$$\sum_{i=1}^na_i^*=1-\frac{b^*}{\mu}$$

替换得到：

$$\frac{\partial h}{\partial b}=E[-\frac{b^*}{\mu}\Theta+\sum_{i=1}^na_i^*W_i+b^*]=0$$

接着处理$\frac{\partial h}{\partial a_i}$部分：

$$\frac{\partial h}{\partial a_i}\\ =E[X_i((-\frac{b^*}{\mu})\Theta+\sum_{i=1}^na_i^*W_i+b^*)]\\ =E[X_i((\mu - \Theta)\frac{b^*}{\mu}+\sum_{i=1}^na_i^*W_i)]\\ =E[(\Theta+W_i)((\mu - \Theta)\frac{b^*}{\mu}+\sum_{i=1}^na_i^*W_i)]\\ =a_i^*\sigma_i^2-\sigma_0^2\frac{b^*}{\mu}\\ =0$$

至此，证明完毕。