随机变量的数学期望

概念

如果对于样本空间中的每一个样本点 $e$，都有唯一的一个实数 $X(e)$ 与之对应，则称该实数为随机变量，简记为 $X$。

分类

离散型随机变量
连续型随机变量
其他

离散型随机变量及其分布律

定义

全部可能取到的值是 有限多个或可列无限多个。

分布律

定义

设离散型 (Random Variable) r.v. $X$ 所有可能的取值为 $x_k \, (k=1,2,\dots)$，且满足： $$ P(X=x_k)=p_k, \quad k=1,2,\dots $$ 则称上式为分布律或概率分布。

性质

$p_k \ge 0, \quad k=1,2,\dots$
$\sum_{k=1}^\infty p_k=1$

几种重要的 r.v. 的分布律

0-1 分布（两点分布） 设随机变量 $X$ 只可能取 0，1 两个数值，其分布为 $P\{X=1\}=p, \, P\{X=0\}=1-p$。
二项分布 只有两种可能的结果，将试验独立重复进行 $n$ 次，称为 $n$ 重伯努利试验，且分布律为： $$ P{X=k}=C_n^k p^k (1-p)^{n-k} $$ 则 r.v. $X$ 服从参数为 $n, p$ 的二项分布，记为 $X \sim b(n,p)$。
- $P$ 何时最大？
  1. 当 $(n+1)p$ 为整数时，$k=(n+1)p$ 或 $(n+1)p-1$ 时同时达到最大。
  2. 非整数时，在 $(n+1)p$ 的整数部分处达到最大。称此时的 $k$ 值为 最可能成功的次数。
泊松分布 若离散随机变量 $X$ 的分布为： $$ P(X=k)=\frac {\lambda^k e^{-\lambda}} {k!}, \quad \lambda>0 $$ 则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记为 $X \sim \pi(\lambda)$。

泊松定理：设随机变量序列 $\{X_n\}$，$X_n \sim b(n,p_n)$，且 $np_n=\lambda$，则： $$\lim_{n\to \infty}P\{X_n=k\}=C_n^k p_n^k (1-p_n)^{n-k}=\frac {\lambda^k e^{-\lambda}} {k!}$$ 意义： 1. 二项分布的极限分布是泊松分布。 2. 当 $n$ 很大且 $p$ 很小时，这就是二项分布的概率近似公式。
几何分布 （有放回） $$ P(X=k)=C_n^k \left(\frac M N\right)^k \left(1-\frac M N\right)^{n-k} $$ (注：此处原文公式可能指代二项分布变体，通常几何分布公式为 $P(X=k)=(1-p)^{k-1}p$)
超几何分布 （无放回） $$ P(X=k)=\frac {C_M^k \cdot C_{N-M}^{n-k}} {C_N^n} $$
负二项分布 $X$ 表示 $k$ 次伯努利试验中，事件 $A$ 第 $r$ 次出现需要的试验次数： $$ P{X=k}=C_{k-1}^{r-1}p^r(1-p)^{k-r}, \quad k\ge r $$

随机变量的分布函数

对于非离散型 r.v. 不能用分布律来描述，需考虑 r.v. 的值落入一个区间的概率，如 $P\{x_1<X\le x_2\}, \, P\{X\le x\}$ 等，为此引入随机变量的分布函数。

定义

设 r.v. $X, x\in R^1$，则 $F(x)=P\{X\le x\}$ 称为 $X$ 的分布函数。 1. $P\{x_1< X \le x_2\}=P\{X\le x_2\}-P\{X\le x_1\}=F(x_2)-F(x_1)$ 2. 分布函数对离散型和非离散型 r.v. 都适用。

性质

$F(x)$ 是单调不减的函数。
$0\le F(x)\le 1$。
$F(x)$ 至多有可列个间断点，而在其间断点上也是右连续的，$F(x+0)=F(x)$，即在其间断点 $x_0$ 处有 $\lim_{x\to x_0^+}F(x)=F(x_0+0)=F(x_0)$。

连续型随机变量的概率密度

定义

存在非负函数 $f(x)$，使对于任意的实数 $x$，有 $F(x)=\int^x_{-\infty}f(t)dt$，则称 $X$ 为连续型 r.v.，其中函数 $f(x)$ 称为 $X$ 的概率密度函数。

性质

$f(x)\ge 0$
$\int^{+\infty}_{-\infty}f(x)dx=1$
$P(x_1<X<x_2)=F(x_2)-F(x_1)=\int^{x_2}_{x_1}f(x)dx$
若 $f(x)$ 在点 $x$ 处连续，则有 $F'(x)=f(x)$
取任一指定的实数值 $a$ 的概率均为 0，$P(X=a)=0$

常用的连续型 r.v. 分布

1. 均匀分布

定义

设随机变量 $X$ 在区间 $[a,b]$ 上取值，且概率密度为： $$ f(x)= \begin{cases} \frac{1}{b-a}, & a<x<b \ 0, & \text{其他} \end{cases} $$ 其分布函数为： $$ F(x)= \begin{cases} 0, & x<a \ \frac{x-a}{b-a}, & a\le x< b \ 1, & b\le x \end{cases} $$

性质

概率与子区间长度成正比，而与子区间的起点无关。

2. 指数分布

定义

概率密度为： $$ f(x)= \begin{cases} \frac{1}{\theta} e^{-x/\theta}, & x>0 \ 0, & x\le 0 \end{cases} $$ 则称 $X$ 服从参数为 $\theta$ 的指数分布，记为 $X \sim e(\theta)$。其分布函数为： $$ F(x)= \begin{cases} 1-e^{-x/\theta}, & x>0 \ 0, & x\le 0 \end{cases} $$

无记忆性

若 $X \sim e(\theta)$，$\forall s,t>0$，有： $$ P(X>s+t|X>s)=P(X>t) $$

3. 正态分布

定义

设随机变量 $X$ 的概率密度为： $$ f(x)=\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty<x<+\infty $$ 其中 $\mu, \sigma$ 为常数 $(\sigma>0)$，则称 $X$ 服从参数为 $\mu, \sigma$ 的正态分布或高斯分布，记为 $X \sim N(\mu,\sigma^2)$。

分布函数为： $$ F(x)=\int^x_{-\infty}\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(t-\mu)^2}{2\sigma^2}}dt $$

密度函数性质

曲线关于 $x=\mu$ 对称，这表明 $\forall h>0$ 有 $P\{\mu-h< x\le \mu\}=P\{\mu<x\le \mu+h\}$。
当 $x=\mu$ 时取最大值，$f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$，$X$ 取值在 $x=\mu$ 附近较集中。
$f(x)$ 以 $x$ 轴为渐近线。
$\mu$ 为位置参数，决定 $f(x)$ 的位置；$\sigma$ 为尺度参数，决定 $f(x)$ 的形状，$\sigma$ 越小，越陡峭。

标准正态分布

当 $\mu=0, \sigma=1$ 时： $$ \phi(x)=\frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}, \quad \Phi(x)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{t^2}{2}}dt $$ 则称 $X$ 服从标准正态分布，记为 $X \sim N(0,1)$。

标准正态分布与一般正态分布转换

若 $X \sim N(\mu,\sigma^2)$，则 $Z=\frac{X-\mu}{\sigma} \sim N(0,1)$。

引理：$\Phi(-x)=1-\Phi(x)$

上 $\alpha$ 分位点

设 $X \sim N(0,1)$，若 $P\{X>z_\alpha\}=\alpha$，则称点 $z_\alpha$ 为上 $\alpha$ 分位点。 $$ z_{1-\alpha}=-z_{\alpha} $$

4. 伽马分布

定义

如果连续型随机变量 $X$ 的概率密度为： $$ f(x)= \begin{cases} \frac{\lambda^p}{\Gamma(p)}x^{p-1}e^{-\lambda x}, & x>0 \ 0, & x\le 0 \end{cases} $$ 其中 $\lambda>0, p>0$ 为参数，伽马函数为 $\Gamma(p)=\int^{+\infty}_0 x^{p-1}e^{-x}dx$。则称 $X$ 服从伽马分布，记为 $X \sim \Gamma(p,\lambda)$。

注：$\Gamma(1,\lambda)$ 是参数为 $\lambda$的指数分布。

性质

$\Gamma(p+1)=p\Gamma(p)$
对于正整数 $n$，$\Gamma(n+1)=n!$
$\Gamma(\frac{1}{2})=\sqrt{\pi}$
$\lambda=\frac{1}{2}, p=\frac{n}{2}$ 的 $\Gamma$ 分布称为自由度为 $n$ 的 $\chi^2$ 分布。

随机变量的函数的分布

已知 r.v. $X$ 的分布，求它的函数 $Y=g(X)$ 的分布。

离散型 将 $g(x_1), g(x_2), \dots$ 中相等的值分别合并，将相应的 $p_i$ 相加，得到 $Y$ 的概率分布。
连续型
1. 先求出 $Y$ 的分布函数：$F_Y(y)=P\{Y\le y\}=P\{g(X)\le y\}$，转化为关于 $X$ 的事件，再利用 $X$ 的分布函数表示。
2. 对 $y$ 求导得到 $Y$ 的概率密度：$f_Y(y)=F'_Y(y)$。