概率论与数理统计

随机变量及其分布

离散性随机变量和常见分布

分布律：$X$取各个可能值的概率，即$P\{X=x_k\}=p_k$，或者用表格描述

$X$	$x_1$	$x_2$	$\cdots$
$p_k$	$p_1$	$p_2$	$\cdots$

几何分布，记为$X\sim g(p)$或$X\sim Ge(p)$。所有可能取值为$0,1,\cdots$，$P\{X=k\}=(1-p{)}^{k-1}p$。（独立重复实验第$k$次才成功）

二项分布，记为$X\sim b(n,p)$。所有可能取值为$0,1,\cdots ,n$，$P\{X=k\}=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$。（$n$次独立重复实验共成功$k$次）

泊松分布，记为$X\sim \pi (\lambda )$。所有可能取值为$0,1,\cdots$，$P\{X=k\}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$。（大量实验中稀有事件的出现次数，$\lambda$的概率意义为事件的平均发生次数）

泊松定理：设$\lambda >0$是一个常数，$n$是任意正整数，设$n{p}_n=\lambda$，则对于任意一固定的非负整数$k$，有$\underset{n\to \infty }{\lim }\left(\genfrac{}{}{0ex}{}{n}{k}\right)p_n^k(1-p_n{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$。

连续性随机变量和常见分布

分布函数$F(x)=P\{X\le x\},-\infty <x<\infty$。离散型随机变量也有分布函数。

概率密度$f(t)$满足$F(x)={\int }_{-\infty }^{x}f(t)dt$，此时$F(x)$是连续函数，$X$称为连续型随机变量。

均匀分布，记为$X\sim U(a,b)$，$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& \text{其他}\end{array}$。

指数分布，记为$X\sim E(\lambda )$，$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}$。（大量实验中稀有事件的出现次数，$\lambda$的概率意义为事件的平均发生次数）

正态分布，记为$X\sim N(\mu ,{\sigma }^2)$，$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$。

随机变量的函数的分布

求$Y=g(X)$的分布函数$F_Y(y)=P\{Y\le y\}=P\{g(X)\le y\}$，此时$p_Y(y)=F_y^{\prime }(y)$。

随机变量$X$具有概率密度$f_X(x)$，函数$g(x)$处处可导且恒有$g^{\prime }(x)>0$。则$Y=g(X)$是连续型随机变量，且概率密度为$f_Y(y)=f_X[h(y)]|h^{\prime }(y)|$，其中$h(y)$是$g(x)$的反函数。

若$X\sim N(\mu ,{\sigma }^2)$，$Y=aX+b$，则$Y\sim N(a\mu +b,(a\sigma {)}^2)$。

二维随机变量及其分布

二维随机变量

联合分布函数$F(x,y)=P\{X\le x,Y\le y\}$。

边缘分布函数，对$X$，$F_x(x)=P(X\le x)=P(X\le x,Y\le +\infty )=F(x,+\infty )$。对$Y$同理。

对于二维离散型随机变量，联合分布律为$p_{ij}=P(X=x_i,Y=y_j)$，边缘分布律$P\{X=x_i\}={\sum }_j{p}_{ij}=p_i$。也可以列表表示

X\Y	$y_1$	$y_2$	$\cdots$	$p_{i\cdot }$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$
$⋮$	$⋮$	$⋮$	$\ddots$
$p_{\cdot j}$

随机变量$X,Y$相互独立当且仅当$p(x,y)=p_X(x)p_Y(y)$或$F(x,y)=F_X(x)F_Y(y)$对于任意$x,y$均成立。

二维正态分布：

$p(x,y)=\frac{1}{\sqrt{1-{\rho }^2}}\frac{1}{2\pi \sqrt{{\sigma }_1{\sigma }_2}}exp\left\{-\frac{1}{1-{\rho }^2}\left[(\frac{x-{\mu }_1}{{\sigma }_1}{)}^2-2\rho (\frac{x-{\mu }_1}{{\sigma }_1})(\frac{y-{\mu }_2}{{\sigma }_2})+(\frac{y-{\mu }_2}{{\sigma }_2}{)}^2\right]\right\}$

二维正态分布的边缘分布仍为正态分布：$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$。

二维随机变量函数的分布

若$X,Y$均为连续型随机变量且已知其密度函数，求$Z=g(X,Y)$的密度函数。

分布函数法：$F_Z(z)=P(Z\le z)=P(g(X,Y)\le z)={\iint }_{D_z}p(x,y)dxdy$，其中$D_z=\{(x,y)|g(x,y)\le Z\}$。

和的分布：$Z=X+Y$，$F_Z(z)={\int }_{-\infty }^{+\infty }dx{\int }_{-\infty }^{z-x}p(x,y)dxdy={\int }_{-\infty }^{+\infty }dx{\int }_{-\infty }^{z}p(x,u-x)du={\int }_{-\infty }^{z}dz{\int }_{-\infty }^{+\infty }p(x,u-x)du$，$p_Z(z)=F_Z^{\prime }(z)={\int }_{-\infty }^{+\infty }p(x,z-x)dx$。

商的分布：$Z=\frac{X}{Y}$，$p_Z(z)={\int }_{-\infty }^{+\infty }|y|p(yz,y)dy$。

积的分布：$Z=XY$，$p_Z(z)={\int }_{-\infty }^{+\infty }\frac{1}{|X|}f(x,\frac{z}{x})dx$。

极大极小分布：$M=\max (X,Y),N=\min (X,Y)$，$F_M(z)=P(M\le z)=P(X\le z,Y\le z)=F_X(z)F_Y(z)$，$F_N(z)=P(N\le z)=1-P(X>z,Y>z)=1-(1-F_X(z))(1-F_Y(z))$。

随机变量的期望与方差

常见分布的期望和方差

$D(X)=E[(X-E(X){)}^2]=E(X^2)-[E(X){]}^2$

• (0-1)分布$E(X)=p,D(X)=p(1-p)$
• 二项分布$E(X)=np,D(X)=np(1-p)$
• 泊松分布$E(X)=\lambda ,D(X)=\lambda$
• 指数分布$E(X)=\frac{1}{\lambda },D(X)=\frac{1}{{\lambda }^2}$
• 正态分布$E(X)=\mu ,D(x)={\sigma }^2$

数学期望的性质

• $E(kX)=kE(X)$
• $E(X+Y)=E(X)+E(Y)$
• 若$X,Y$相互独立，则$E(XY)=E(X)E(Y)$

方差的性质

• $D(CX)=C^{2}D(X)$

• $D(X+C)=D(X)$

• $D(X\pm Y)=D(X)+D(Y)\pm 2E(X-E(X))(Y-E(Y))$。当$X,Y$相互独立时，$D(X\pm Y)=D(X)+D(Y)$。

• 切比雪夫不等式$P\{|X-E(X)|\ge \epsilon \}\le \frac{D(X)}{{\epsilon }^2}$

矩

对随机变量$X$，若$E(X^k)$存在，则称为$X$的$k$阶原点矩，简称$k$阶矩。$E(X)$是$X$的一阶矩。

对随机变量$X$，若$E((X-E(X){)}^k)$存在，则称为$X$的$k$阶中心矩。$D(X)$是$X$的二阶中心矩。

协方差

方差有性质$D(X\pm Y)=D(X)+D(Y)\pm 2E((X-EX)(Y-EY))$。其中$E((X-EX)(Y-EY))=E(XY)-E(X)E(Y)$称为$X$和$Y$的协方差，记为$cov(X,Y)$。

$X,Y$相互独立时，有$cov(X,Y)=E(XY)-E(X)E(Y)=0$，但是$cov=0$时$X,Y$不一定相互独立。

协方差的性质：

• $cov(X,k)=0$，$cov(X,Y)=cov(Y,X)$
• $cov(aX,bY)=ab\cdot cov(X,Y)$
• $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
• $D(X\pm Y)=D(X)+D(Y)\pm 2cov(X,Y)$
• $(cov(X,Y){)}^2\le D(X)D(Y)$

相关系数

设$D(X)>0,D(Y)>0$，称${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)D(Y)}}$为随机变量$X,Y$的相关系数。

显然$|{\rho }_{XY}|\le 1$，且$|{\rho }_{XY}|=1$当且仅当存在常数$a,b$使得$Y=aX+b$。

$X,Y$不相关时，${\rho }_{XY}=cov(X,Y)=0$，$E(XY)=E(X)E(Y)$且$D(X\pm Y)=D(X)+D(Y)$。注意$X,Y$不相关不等价于$X,Y$独立。

大数定律和中心极限定理

大数定律

设$X_1,X_2,\cdots ,X_n,\cdots$是随机变量序列，$a$是一个常数。若对任意$\epsilon >0$，有$\underset{n\to \infty }{\lim }P(|X_n-a|<\epsilon )=1$，或者$\underset{n\to \infty }{\lim }P(|X_n-a|\ge \epsilon )=0$，则称$X_1,X_2,\cdots ,X_n,\cdots$依概率收敛与$a$，记为$X_n\stackrel{P}{⟶}a$。

若$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E{X}_k|<\epsilon )=1$，也即$\frac{1}{n}{\sum }_{k=1}^n{X}_k\stackrel{P}{⟶}\frac{1}{n}{\sum }_{k=1}^{n}E{X}_k$，则称$\{X_n\}$服从大数定律（随机变量的平均值依概率收敛于它们数学期望的平均值）。

马尔可夫大数定律

切比雪夫不等式：$P(|X-EX|\ge \epsilon )\le \frac{DX}{{\epsilon }^2}$。

设随机变量$\{X_n\}$满足$D(\frac{1}{n}\sum _{k=1}^n{X}_k)\to 0$，则$\{X_k\}$服从大数定律。

$P(|\frac{1}{n}{\sum }_{k=1}^n{X}_k-\frac{1}{n}{\sum }_{k=1}^{n}E{X}_k|\ge \epsilon )=P(|\frac{1}{n}{\sum }_{k=1}^n{X}_k-E(\frac{1}{n}{\sum }_{k=1}^n{X}_k)|\ge \epsilon )\le D(\frac{1}{n}{\sum }_{k=1}^n{X}_k)$。

切比雪夫大数定律

设随机变量$X_1,X_2,\cdots ,X_n,\cdots$两两互不相关，且存在常数$C>0$使得对于每个$X_k$，都有$D(X_k)<C$，则$\{X_k\}$服从大数定律。（由马尔可夫大数定律可证）

独立同分布大数定律

设随机变量$X_1,X_2,\cdots ,X_n,\cdots$独立同分布，$E{X}_k=\mu ,D{X}_k={\sigma }^2<\infty$，则$\{X_k\}$服从大数定律。（由切比雪夫大数定律可证）

中心极限定理

若随机变量$X$满足$EX=0,DX=1$，则称$X$为标准化的随机变量。任意随机变量$X$都可以通过$Y=\frac{X-EX}{\sqrt{DX}}$化为标准化的随机变量。

设随机变量$X_1,X_2,\cdots ,X_n,\cdots$独立同分布，$E{X}_k=\mu ,D{X}_k={\sigma }^2<\infty$，则$\underset{n\to \infty }{\lim }P(\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x)=\Phi (x)$。（${\sum }_{k=1}^n{X}_k$的极限分布为正态分布$N(E({\sum }_{k=1}^n{X}_k),D({\sum }_{k=1}^n{X}_k))$，从而标准化后为标准正态分布）

抽样分布

样本统计量

定义：

• 总体：研究对象的某项数量指标的值的全体。
• 个体：总体中的每个元素为个体。
• 对于分布函数为$F$的随机变量$X$，$X_1,X_2,\cdots ,X_n$是具有同一分布函数$F$的相互独立的随机变量，则称$X_1,X_2,\cdots ,X_n$为从总体$X$中得到的容量为$n$的简单随机样本，简称为样本，其观察值$x_1,x_2,\cdots ,x_n$称为样本值。 由定义，可得$X_1,X_2,\cdots ,X_n$的联合分布函数为$F^{\ast }(x_1,x_2,\cdots ,x_n)={\Pi }_{i=1}^{n}F(x_i)$。
• 设$X_1,X_2,\cdots ,X_n$是来自总体$X$的样本，$g(X_1,X_2,\cdots ,X_n)$是$X_1,X_2,\cdots ,X_n$的函数，若$g$是连续函数，且$g$中不含任何未知参数，则称$g(X_1,X_2,\cdots ,X_n)$是一个统计量。设$x_1,x_2,\cdots ,x_n$是$X_1,X_2,\cdots ,X_n$的样本值，则称$g(x_1,x_2,\cdots ,x_n)$是$g(X_1,X_2,\cdots ,X_n)$的观察值。（统计量也是随机变量）

常见的统计量：

• 样本均值：$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$。
• 样本方差：$S_n^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2-{\bar{X}}^2$。
• 修正的样本方差：$S_{n-1}^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$。修正原因在第七章（无偏估计）。
• 设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本，$E\bar{X}=\mu ,D\bar{X}=\frac{{\sigma }^2}{n},E(S_n^2)=\frac{n-1}{n}{\sigma }^2$。

正态总体的分布

$\alpha$分位点：对于分布函数$F(x)=P(X\le x)$，其$\alpha$分位点$F_{\alpha }$满足$P(X>F_{\alpha })=\alpha$，也即$F(F_{\alpha })=P(X\le F_{\alpha })=1-\alpha$。

设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本，则随机变量$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$，或$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$。

设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(0,1)$的样本，则称随机变量${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$服从自由度为$n$的${\chi }^2$分布，记为${\chi }^2\sim {\chi }^2(n)$。

若$X_1\sim {\chi }^2(n_1),X_2\sim {\chi }^2(n_2)$，则$X_1+X_2\sim {\chi }^2(n_1+n_2)$。（${\chi }^2$分布的可加性）

$E({\chi }^2(n))=n,D({\chi }^2(n))=2n$。

设$X\sim N(0,1),Y\sim {\chi }^2(n)$，且$X,Y$相互独立，则称随机变量$T=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记为$T\sim t(n)$。

设$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，且$X,Y$相互独立，则称随机变量$F=\frac{X/n_1}{Y/n_2}$服从自由度为$n$的$F$分布，记为$F\sim F(n_1,n_2)$。若$F\sim F(n_1,n_2)$，则$\frac{1}{F}\sim F(n_2,n_1)$。

正态总体样本统计量的分布

设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本，则$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\sim N(\mu ,\frac{{\sigma }^2}{n})$，或$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$。

设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本，则$\frac{n{S}_n^2}{{\sigma }^2}=\frac{{\sum }_{i=1}^n(X_i-\bar{X})}{{\sigma }^2}=\sum _{i=1}^n(\frac{X_i-\bar{X}}{\sigma }{)}^2\sim {\chi }^2(n-1)$。（注意：${\sum }_{i=1}^n(\frac{X_i-\mu }{\sigma }{)}^2\sim {\chi }^2(n)$）

证明：

$\sum _{i=1}^n(X_i-\mu {)}^2=\sum _{i=1}^n((X_i-\bar{X})+(\bar{X}-\mu ){)}^2=\sum _{i=1}^n(X_i-\bar{X}{)}^2+n(\bar{X}-\mu {)}^2$

$\sum _{i=1}^n{\left(\frac{X_i-\mu }{\sigma }\right)}^2=\sum _{i=1}^n{\left(\frac{X_i-\bar{X}}{\sigma }\right)}^2+{\left(\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\right)}^2$

---

$\bar{X}$和$S_n^2$独立，且有$\frac{\bar{X}-\mu }{S_n/\sqrt{n-1}}\sim t(n-1)$。

参数估计

点估计

矩估计

使用$k$阶样本矩$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$估计$k$阶总体矩$u_k=E(X^k)$。

具体而言，先使用未知参数表示出$k$阶总体矩$E{X}^k$，然后用样本矩估计总体矩（令$E{X}^k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$）得到未知参数的矩估计量。有多个未知数则取多组$k$阶矩即可。

极大似然估计

选取使观测值出现的概率最大的参数作为估计量。

具体而言，先得到观测值的出现概率$L(\theta )={\Pi }_{i=1}^{n}p(X_i,\theta )$，其中$L(\theta )$称为样本的似然函数。令$\frac{dL}{d\theta }=0$或$\frac{d\ln L}{d\theta }=0$，得到似然函数最大时的$\hat{\theta }$作为极大似然估计量。有多个未知参数则分别令偏导为零即可。

设$u=u(\theta )$是$\theta$的函数且反函数存在，则$\hat{u}=u(\hat{\theta })$也是$u$的极大似然估计。

均方误差

$E[(\hat{\theta }-\theta {)}^2]$称为均方误差，记为$MSE(\hat{\theta },\theta )$。

$MSE(\hat{\theta },\theta )=E[(\hat{\theta }-E\hat{\theta })+(E\hat{\theta }-\theta ){]}^2=E[\hat{\theta }-E\hat{\theta }{]}^2+2[E(\hat{\theta }-E\hat{\theta })](E\hat{\theta }-\theta )+(E\hat{\theta }-\theta {)}^2=D(\hat{\theta })+0+(E\hat{\theta }-\theta {)}^2$。

也即，均方误差由点估计的方差$D(\hat{\theta })$与偏差$|E(\hat{\theta })-\theta |$的平方两个部分组成。

${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$，又$\frac{n{\hat{\sigma }}^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，因此$E({\hat{\sigma }}^2)=\frac{n-1}{n}{\sigma }^2$，$D({\hat{\sigma }}^2)=\frac{{\sigma }^4}{n^2}D({\chi }^2(n-1))=\frac{{\sigma }^4}{n^2}\cdot 2(n-1)$。$MSE({\hat{\theta }}^2)=D({\hat{\sigma }}^2)+(E({\hat{\sigma }}^2)-{\sigma }^2{)}^2=\frac{(2n-1){\sigma }^4}{n^2}$。

$S_{n-1}^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$，故$MSE(S_{n-1}^2)=D(S_{n-1}^2)=\frac{2{\sigma }^4}{n-1}$。

估计量的评价标准

无偏性

若$E(\hat{\theta })=\theta$，则称$\hat{\theta }$是$\theta$的无偏估计量。（要求估计值的平均值和真值相等）

样本均值$\bar{X}$是总体均值$E(X)$的无偏估计量，样本二阶矩$\frac{1}{n}{\sum }_{i=1}^n{X}_i^2$是总体二阶矩$E{X}^2$的无偏估计量，然而样本方差$S_n^2$不是总体方差$DX={\sigma }^2$的无偏估计量。

$E(S_n^2)=E(\frac{1}{n}{\sum }_{i=1}^n{X}_i^2-{\bar{X}}^2)=\frac{1}{n}{\sum }_{i=1}^n(D{X}_i+(E{X}_i{)}^2)-(D\bar{X}+(E\bar{X}{)}^2)=\frac{n-1}{n}{\sigma }^2$

$S_{n-1}^2=\frac{n}{n-1}{S}_n^2$是总体方差$DX={\sigma }^2$的无偏估计量，因此通常选用$S_{n-1}^2$估计${\sigma }^2$。

有效性

若参数${\hat{\theta }}_1,{\hat{\theta }}_2$都是参数$\theta$的无偏估计量，若对于任意$n$，都有$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$，则${\hat{\theta }}_1$比${\hat{\theta }}_2$更有效。

一致性

设${\hat{\theta }}_n$是在样本$X_1,X_2,\cdots ,X_n$下对总体参数$\theta$的估计量，若当$n\to \infty$时，${\hat{\theta }}_n$依概率收敛于$\theta$，即$\forall \epsilon >0,{\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$，则称${\hat{\theta }}_n$是对总体参数$\theta$的一致估计量。

样本$k$阶矩是总体$k$阶矩的一致性估计量。（大数定理）

设${\hat{\theta }}_n$是对总体参数$\theta$的无偏估计量，且${\lim }_{n\to \infty }D({\hat{\theta }}_n)=0$，则${\hat{\theta }}_n$是$\theta$的一致估计量。（切比雪夫不等式）

区间估计

置信区间与置信度

设总体$X$含未知参数$\theta$，对于样本$X_1,\cdots ,X_n$找出统计量${\hat{\theta }}_1,{\hat{\theta }}_2$，使得$P({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)=1-\alpha$，则称区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$为$\theta$的置信度为$1-\alpha$的置信区间。

设$X_1,X_2,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本。在置信度$1-\alpha$下：

• 已知方差${\sigma }^2={\sigma }_0^2$，求$\mu$的置信区间。

  由于$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\sim N(\mu ,\frac{{\sigma }^2}{n})$，或$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$。

  通常而言，针对给出的置信度选取长度最小的 置信区间，即令$P(-u_{\alpha /2}\le \frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\le u_{\alpha /2})=1-\alpha$。

  此时可通过标准正态分布的上分位点找到$u_{\alpha /2}$。

  最后解出$\mu$的置信区间$[\bar{X}-u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}},\bar{X}+u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}}]$。

• 未知方差，求$\mu$的置信区间。

  由于方差未知，使用样本方差代替${\sigma }^2$。

  令$U=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$；$V=\frac{n{S}_n^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，

  有$\frac{\bar{X}-\mu }{S_n/\sqrt{n-1}}=\frac{\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}}{\frac{S_n}{\sigma /\sqrt{n}}/\sqrt{n-1}}=\frac{U}{\sqrt{V/(n-1)}}\sim t(n-1)$。

  令$P(-t_{\alpha /2}(n-1)\le \frac{\bar{X}-\mu }{S_n/\sqrt{n-1}}\le t_{\alpha /2}(n-1))=1-\alpha$，

  此时可通过t分布的上分位点找到$t_{\alpha /2}$。

  最后解出$\mu$的置信区间$[\bar{X}-t_{\alpha /2}(n-1)\frac{S_n}{\sqrt{n-1}},\bar{X}+t_{\alpha /2}(n-1)\frac{S_n}{\sqrt{n-1}}]$。

• 求方差${\sigma }^2$的置信区间。

  由于$\frac{n{S}_n^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，令$P(-{\chi }_{1-\alpha /2}^2(n-1)\le \frac{n{S}_n^2}{{\sigma }^2}\le {\chi }_{\alpha /2}^2(n-1))=1-\alpha$，

  此时可通过${\chi }^2$分布的上分位点找到${\chi }_{1-\alpha /2}^2$和${\chi }_{\alpha /2}^2$。

  最后解出${\sigma }^2$的置信区间$[\frac{n{S}_n^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{n{S}_n^2}{{\chi }_{1-\alpha /2}^2(n-1)}]$。

对于双正态分布：

• 已知方差${\sigma }_1,{\sigma }_2$，求${\mu }_1-{\mu }_2$的置信区间。

  $\bar{X}-\bar{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2})$，$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$，转化为正态分布情况。

• 方差比$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的置信区间。

  令$U=\frac{n_1{S}_1^2}{{\sigma }_1^2}\sim {\chi }^2(n_1-1)$；$V=\frac{n_2{S}_2^2}{{\sigma }_2^2}\sim {\chi }^2(n_2-1)$，

  有$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}=\frac{(n_1{S}_1^2/{\sigma }_1^2)/n_1}{(n_2{S}_2^2/{\sigma }_2^2)/n_2}=\frac{U/(n_1-1)}{V/(n_2-1)}\sim F(n_1-1,n_2-1)$

对于其他非正态分布，由中心极限定理，可知当$N$足够大时，样本均值近似服从$N(E(X),D(X))$，转化为正态分布求解。