N 维 r.v. 定义

一个随机试验 $E$，样本点是 $e$。若 $X_1(e), X_2(e), \dots, X_n(e)$ 是定义在 $e$ 上的 $n$ 个随机变量，则称 $X(e)=(X_1(e), X_2(e), \dots, X_n(e))$ 构成一个 $n$ 维随机变量，简记为 $X=(X_1, X_2, \dots, X_n)$。

二维 r.v.（联合）分布函数

定义

对于任意的实数 $x, y$，二元函数 $$ F(x,y) = P{{X\le x}\cap{Y\le y}} \triangleq P{X\le x, Y\le y} $$ 称为二维 r.v. $(X,Y)$ 的（联合）分布函数。

性质

$F(x,y)$ 是变量 $x$ 或 $y$ 的单调不减函数。
$0\le F(x,y)\le 1$，且： $$ F(x,-\infty)=\lim_{y\to -\infty}F(x,y)=0, \quad F(-\infty,y)=0, \quad F(+\infty,+\infty)=1 $$
关于 $x, y$ 都是右连续的，即 $F(x+0,y)=F(x,y)=F(x,y+0)$。

二维离散型 r.v. 的分布律

二维离散型 r.v.：二维 r.v. $(X,Y)$ 的所有可能取值是有限多对或可列多对。

记 $P\{X=x_i, Y=y_j\}=p_{ij}, \quad i,j=1,2,\dots$，称其为二维离散型 r.v. $X$ 和 $Y$ 的联合分布律或联合概率分布，简称为 $(X,Y)$ 的分布律或概率分布。显然分布律满足 $p_{ij}\ge 0, \quad \sum_i \sum_j p_{ij}=1$。

若已知 $(X,Y)$ 的分布律，则分布函数可表示为： $$ F(x,y)=\sum_{x_i\le x, y_j\le y} p_{ij} $$

二维连续型 r.v. 的联合概率密度

定义

若对二维随机变量 $(X, Y)$ 的分布函数 $F(x,y)$，存在非负函数 $f(x,y)$，使得 $\forall x, y$： $$ F(x,y)=\int_{-\infty}^y\int^x_{-\infty}f(u,v)dudv $$ 则称 $(X,Y)$ 为连续型的二维 r.v.，其中函数 $f(x,y)$ 称为 $(X,Y)$ 的联合概率密度，简称概率密度。

性质

$f(x,y)\ge 0$
$\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy = F(+\infty,+\infty)=1$
若 $f(x,y)$ 在点 $(x,y)$ 连续，则有 $\frac {\partial^2 F(x,y)} {\partial x \partial y}=f(x,y)$
设 $G$ 是 $xOy$ 平面上的一个区域，点 $(X, Y)$ 落在 $G$ 内的概率为 $P\{(X,Y)\in G\}=\iint_G f(x,y)dxdy$

二维均匀分布

设 $G$ 是平面上的有界区域，面积为 $A$。若二维随机变量 $(X,Y)$ 具有概率密度 $f(x,y)$，则称 $(X,Y)$ 在 $G$ 上服从均匀分布： $$ f(x,y)= \begin{cases} \frac 1 A, & (x,y)\in G \ 0, & \text{其他} \end{cases} $$ 若区域 $G_1$ 是 $G$ 内的面积为 $A_1$ 的子区域，则有： $$ P{(X,Y)\in G_1}=\iint_{G_1}\frac 1 A dxdy=\frac {A_1} {A} $$

二维正态分布

设二维随机变量 $(X,Y)$ 具有概率密度： $$ f(x,y)=\frac 1 {2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp{-\frac 1 {2(1-\rho^2)} [\frac {(x-\mu_1)^2} {\sigma_1^2}-2\rho \frac {(x-\mu_1)(y-\mu_2)} {\sigma_1\sigma_2} +\frac {(y-\mu_2)^2} {\sigma_2^2}]} $$ 其中 $\mu_1, \mu_2, \sigma_1(>0), \sigma_2(>0), \rho(|\rho|<1)$ 均为常数，则称 $(X,Y)$ 服从参数为 $\mu_1, \mu_2, \sigma_1, \sigma_2, \rho$ 的二维正态分布，记为 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$。

边缘分布

对于二维 r.v. $(X,Y)$，它作为一个整体，具有分布函数 $F(x,y)$。而 $X$ 和 $Y$ 都是 r.v.，分别也有分布函数，记为 $F_X(x)$、$F_Y(y)$，称为二维 r.v. $(X,Y)$ 关于 $X$ 和关于 $Y$ 的边缘分布函数。 $$ F_X(x)=P{X\le x}=P{X\le x, Y<+\infty}=F(x,+\infty) $$ $F_Y(y)$ 同理。

边缘分布律

二维离散型 r.v. $(X,Y)$ 的分量 $X, Y$ 都是一维离散型 r.v.。
$X, Y$ 的分布律 $P\{X=x_i\} \, (i=1,2,\dots)$、$P\{Y=y_j\}$ 分别称为 $(X,Y)$ 关于 $X, Y$ 的边缘分布律。 $$ P{X=x_i}=P{X=x_i, Y<+\infty}=P{X=x_i, Y=y_1}+\dots=\sum_j p_{ij} $$ 简记为 $p_{i\cdot}=P\{X=x_i\}$，$p_{\cdot j}$ 同理。

边缘概率密度

设二维连续型 r.v. $(X,Y)$，概率密度为 $f(x,y)$。$X, Y$ 的概率密度 $f_X(x), f_Y(y)$ 分别称为 $(X,Y)$ 关于 $X, Y$ 的边缘概率密度。 $$ F_X(x)=F(x,+\infty)=\int_{-\infty}^x [\int^{+\infty}{-\infty}f(u,y)dy] du $$ 所以，关于 $X$ 的边缘概率密度为： $$ f_X(x)=\int^{+\infty}{-\infty}f(x,y)dy $$ $f_Y(y)$ 同理。

注意： 1. 联合分布服从均匀分布，其边缘分布不一定服从均匀分布。 2. 联合分布可以唯一确定边缘分布，反之不行。

条件分布

条件分布律

$$ P{X=x_i|Y=y_j}=\frac {p_{ij}} {p_{\cdot j}}, \quad i=1,2,\dots $$ 为在 $Y=y_j$ 条件下 r.v. $X$ 的条件分布律。

条件分布函数

定义

给定 $y, \forall \epsilon> 0, P\{y-\epsilon<Y\le y+\epsilon\}>0$，若以下极限存在： $$ \lim_{\epsilon \to 0^+} P{X\le x \mid y-\epsilon<Y\le y+\epsilon} = \lim_{\epsilon \to 0^+} \frac {P{X\le x, y-\epsilon<Y\le y+\epsilon}} {P{y-\epsilon<Y\le y+\epsilon}} $$ 称此极限为在条件 $Y=y$ 下 $X$ 的条件分布函数，记作 $F_{X|Y}(x|y)$ 或 $P\{X\le x|Y=y\}$。

$$ \begin{aligned} F_{X|Y}(x|y) &= \lim_{\epsilon \to 0^+} \frac {\frac{F(x,y+\epsilon)-F(x,y-\epsilon)}{2\epsilon}}{\frac{F_Y(y+\epsilon)-F_Y(y-\epsilon)}{2\epsilon}} \ &= \frac{\frac{\partial F(x,y)}{\partial y}} {\frac{d}{dy} F_Y(y)} \ &= \frac {\int^x_{-\infty}f(u,y)du}{f_Y(y)} = \int^x_{-\infty}\frac {f(u,y)}{f_Y(y)}du \end{aligned} $$ 若记 $f_{X|Y}(x|y)=\frac {f(x,y)}{f_Y(y)}$，则称其为在 $Y=y$ 条件下 $X$ 的条件概率密度。

互相独立的随机变量

\[ F(x,y)=F_X(x) F_Y(y) rightarrow X, Y \text{ 相互独立} \]

离散型

若二维离散型 r.v. $(X,Y)$，则 $p_{ij}=p_{i\cdot}p_{\cdot j} rightarrow X, Y$ 相互独立。

连续型

若二维连续型 r.v. $(X,Y)$，则 $f(x,y)=f_X(x) \cdot f_Y(y)$。

注意： * 若 $(X,Y)$ 服从二维正态分布，则 $X, Y$ 相互独立的充要条件是 $\rho=0$。 * 若 $X, Y$ 相互独立，则条件密度等于无条件密度。

两个 r.v. 的函数的分布

离散型

根据定义进行计算，略。

连续型

设二维连续型随机变量的函数为 $Z=g(X,Y)$，显然 $Z$ 是一维随机变量，其分布函数为： $$ F_Z(z)=P{Z\le z}=P{g(X,Y)\le z} $$ 设 $(X,Y)$ 的联合概率密度为 $f(x,y)$，则： $$ F_Z(z)=\iint_{g(x,y)\le z}f(x,y)dxdy $$

Z=X+Y

若 $X, Y$ 都是连续型 r.v. 且 $X, Y$ 相互独立，则 $X+Y$ 也是连续型 r.v. 且它的密度函数为 $X$ 与 $Y$ 的密度函数的卷积： $$ f_Z(z)=f_X(x)*f_Y(y)=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy $$

性质：若 $X,Y$ 相互独立，且分别服从参数为 $\alpha,\theta$；$\beta,\theta$ 的 $\Gamma$ 分布，则 $Z=X+Y$ 服从参数为 $\alpha+\beta, \theta$ 的 $\Gamma$ 分布。即 $X \sim \Gamma(\alpha,\theta), Y \sim \Gamma(\beta,\theta) arrow X+Y \sim \Gamma(\alpha+\beta,\theta)$。

Z=X/Y

设 $(X,Y)$ 的密度函数为 $f(x,y)$，求 $Z=\frac{X}{Y}$ 的分布函数：

\[ F_Z(z)=P\{ \frac{X}{Y}\le z \}=P\{(X,Y)\in G\}, \quad \text{其中} G=\{ (x,y) \mid \frac{x}{y}\le z \} \]

\[ \begin{aligned} F_Z(z) &= \iint_{\frac{x}{y}\le z}f(x,y)dxdy \\ &= \int_0^{+\infty}[\int^{yz}_{-\infty}f(x,y)dx]dy + \int_{-\infty}^0[\int_{-\infty}^{yz}f(x,y)dx]dy \end{aligned} \]

概率密度为：

\[ f_Z(z)=F'_Z(z)=\int_0^{+\infty}f(zy,y)ydy+\int_{-\infty}^0f(zy,y)(-y)dy=\int_{-\infty}^{+\infty}f(zy,y)|y|dy \]

当 $X,Y$ 相互独立时，$f_Z(z)=\int_{-\infty}^{+\infty}f_X(zy)f_Y(y)|y|dy$。

M=max{X,Y}, N=min{X,Y}

\[ F_M(z)=P\{\max\{X,Y\}\le z\}=P\{X\le z, Y\le z\}=F_X(z)\cdot F_Y(z) \]

\[ F_N(z)=P\{\min\{X,Y\}\le z\}=1-P\{\min\{X,Y\}\ge z\}=1-(1-F_X(z))(1-F_Y(z)) \]

随机变量函数的联合分布

设 $X_1, X_2$ 是联合连续的随机变量，具有联合密度函数 $f_{X_1,X_2}$。$Y_1, Y_2$ 为 $X_1, X_2$ 的函数，求 $Y_1, Y_2$ 的联合分布。

$$ y_1=g_1(x_1,x_2), \quad y_2=g_2(x_1,x_2) $$ 反解得： $$ x_1=h_1(y_1,y_2), \quad x_2=h_2(y_1,y_2) $$ 则联合概率密度为： $$ f_{Y_1,Y_2}(y_1,y_2)=|J(x_1,x_2)^{-1}|f_{X_1,X_2}(x_1,x_2) $$ 其中 $x_1=h_1(y_1,y_2), x_2=h_2(y_1,y_2)$。

Y1=X1+X2, Y2=X1-X2

\[ f_{Y_1,Y_2}(y_1,y_2)=\frac{1}{2}f_{X_1,X_2}( \frac{y_1+y_2}{2}, \frac{y_1-y_2}{2} ) \]

如果 $X_1, X_2$ 为独立同分布的 $(0,1)$ 均匀随机变量，则： $$ f_{Y_1,Y_2}(y_1,y_2)=\frac{1}{2}, \quad 0\le y_1+y_2\le 2, \quad 0\le y_1-y_2\le 2 $$
若 $X_1, X_2$ 为相互独立的指数随机变量，参数为 $\lambda_1, \lambda_2$，则： $$ f_{Y_1,Y_2}(y_1,y_2) = \frac {\lambda_1\lambda_2} {2}e^{-\lambda_1(\frac {y_1+y_2} {2})-\lambda_2(\frac {y_1-y_2} {2})}, \quad y_1+y_2\ge 0, y_1-y_2\ge 0 $$
若 $X_1, X_2$ 为相互独立的标准正态随机变量，则： $$ f_{Y_1,Y_2}(y_1,y_2)=\frac 1 {4\pi}e^{-\frac {(y_1^2+y_2^2)} {4}}=\frac 1 {\sqrt {4\pi}}e^{-\frac {y_1^2} 4}\frac 1 {\sqrt {4\pi}} e^{-\frac{y_2^2}{4}} $$

N 维随机变量

n 维联合分布

定义

设 $(X_1, X_2, \dots, X_n)$ 为 $n$ 维随机变量，对任意 $n$ 个实数 $x_1, x_2, \dots, x_n$，称 $n$ 元函数 $$F(x_1,x_2,\dots,x_n)=P\{X_1\le x_1,\dots,X_n\le x_n\}$$ 为 $n$ 维随机变量的联合分布函数。
若 $(X_1,\dots,X_n)$ 只取有限或可列无穷多个向量值，则称 $(X_1,\dots,X_n)$ 为 $n$ 维离散型随机变量。 $$P\{X_1=a_{i1},\dots,X_n=a_{in}\}=p_i$$ 称为 $(X_1,\dots,X_n)$ 的联合分布律。
存在非负函数 $f(x_1,\dots,x_n)$，使得 $(X_1,\dots,X_n)$ 的分布函数 $F(x_1,\dots,x_n)$ 满足： $$ F(x_1,\dots,x_n) = \int^{x_1}{-\infty}\dots\int^{x_n}{-\infty}f(u_1,\dots,u_n)du_1\dots du_n $$ 则称 $(X_1,\dots,X_n)$ 为 $n$ 维连续型随机变量，称 $f(x_1,\dots,x_n)$ 为联合概率密度。

性质

$f(x_1,\dots,x_n)\ge 0$
$\int^{+\infty}_{-\infty}\dots\int^{+\infty}_{-\infty}f(x_1,\dots,x_n)dx_1\dots dx_n=1$

k 维边缘分布

称 $(X_1,\dots,X_n)$ 中任意 $k$ 个分量所构成的 $k$ 维随机变量的分布为 $(X_1,\dots,X_n)$ 的 $k$ 维边缘分布。

如 $F_{X_1X_2X_3}(x_1,x_2,x_3)=F(x_1,x_2,x_3,+\infty,\dots,+\infty)$ 为 $(X_1,\dots,X_n)$ 关于 $(X_1,X_2,X_3)$ 的三维边缘分布函数。
$f_{X_1\dots X_k}(x_1,\dots,x_k)=\int^{+\infty}_{-\infty}\dots \int_{-\infty}^{+\infty}f(x_1,\dots,x_n)dx_{k+1}\dots dx_n$ 称为 $(X_1,\dots,X_n)$ 关于 $(X_1,\dots,X_k)$ 的 $k$ 维边缘概率密度。

独立性

\[ F(x_1,\dots,x_n)=F_{X_1}(x_1)\cdot F_{X_2}(x_2)\cdots F_{X_n}(x_n) rightarrow X_1,\dots,X_n \text{ 相互独立} \]

对于 离散型 随机变量，相互独立充要条件为：

\[ P\{X_1=a_{i1},\dots,X_n=a_{in}\}=P\{X_1=a_{i1}\}\cdots P\{X_n=a_{in}\} \]

对于 连续型 随机变量，相互独立的充要条件为：

\[ f(x_1,\dots,x_n)=f_{X_1}(x_1)\cdots f_{X_n}(x_n) \]

重要结论

正态变量之和分布

设 $X_k \sim N(\mu_k, \sigma_k^2)$，且 $X_1,\dots,X_n$ 相互独立，则： $$ X_1+\cdots+X_n \sim N(\sum_{k=1}^n \mu_k, \sum_{k=1}^n \sigma_k^2) $$

标准正态变量的平方和的分布

设 $X_1,\dots,X_n$ 相互独立，且均服从 $N(0,1)$，则 $Y=\sum_{i=1}^n X_i^2$ 服从自由度为 $n$ 的 $\chi^2$ 分布，它的概率密度为：

\[ f(y)=\frac 1 {2^{n/2}\Gamma( \frac{n}{2} )}y^{\frac n 2-1}e^{-\frac y 2}, \quad y>0 \]

最大值与最小值的分布

\[ F_M(z)=\prod_{i=1}^n F_i(z) \]

\[ F_N(z)=1-\prod_{i=1}^n (1-F_i(z)) \]