概率论笔记

Published: by Creative Commons Licence

  • Tags:

单调函数密度函数

已知随机变量$X$的概率密度函数$f_X(x)$,定义$Y=g(X)$,$g$是严格单调函数,我们可以用下面的方法计算$f_Y(y)$。

首先记$h=g^{-1}$。我们计算$Y$的分布函数。仅考虑递增的情况。

接下来对分布函数进行求导,得到概率密度函数:

绝对值密度函数

记$Y=|X|$,计算,计算$F_Y$

如下:

对分布函数求导得到密度函数:

重期望法则

对于任意两个随机变量X、Y。

离散情况下只需要将积分符号替换为$\sum$即可。

重方差法则

对于任意两个随机变量X、Y。

矩母函数

随机变量X的矩母函数定义为:

对矩母函数进行求导可以得到:

当s取0时有:

两个变量的和

记$Z=X+Y$,计算分布函数得到:

对分布函数求导得到密度函数:

同理,当$X=Z-Y$时,可以推出

协方差和相关性

定义协方差$cov(X,Y)$:

定义相关系数$\rho(X,Y)$:

可以证明施瓦兹不等式:

当$E[Y^2]=0$时,最终得到的命题也是有效的。

当随机变量$X$与$Y$的相关系数有定义时($var(X),var(Y)>0$),记$\overline{X}=X-E[X],\overline{Y}=Y-E[Y]$,利用施瓦兹不等式可以得到:

下面证明$|\rho(X,Y)|=1$当且仅当$\overline{Y}=k\overline{X}的概率为1$,其中$k$是常数。先证明必要性:

再证明充分性,利用施瓦兹不等式可以得到等号成立的必要条件:

马尔可夫链队列问题

队列长度为n,一旦队列满了,新来的信号就会被丢弃。队列被消费的时间遵循强度为$\lambda$的指数分布,队列到达信号的时间遵循强度为$\mu$的指数分布。

我们可以建立$n+1$个状态,第$i$个状态对应队列包含$i$个信号。

对于状态i的稳态概率为$\pi_i$。

可以推出:

考虑对于任意$i\geq 1$,有:

容易发现$\pi_i$是等差数列,可以直接得到$\pi_i=(\frac{\mu}{\lambda})^i\pi_0$。利用稳态概率之和为1继续推导:

再考虑期望:

线性最小均方估计

设$\Theta$是均值为$\mu$ 方差为$\sigma_0^2$ 的随机变量,$X_1,\ldots,X_n$是一下形式的多个观测值:$X_i=\Theta+W_i$。其中观测误差$W_i$的均值为0,方差为$\sigma_i^2$。并且假设$\Theta,W_1,\ldots, W_n$是互不相关的。现在我们通过选择系数使得下面函数取到最小值:

而最优的取值方案为:

证明: 我们需要证明当均方取到最小值时 是:

换言之,此时均方差的对于$a_1,\ldots, a_n,b$的偏导数均为0。求导得到

根据$b^,a_i^$ 的定义可以得到

替换得到:

接着处理$\frac{\partial h}{\partial a_i}$部分:

至此,证明完毕。