关于参数估计量的分布

第三章参数估计重点：1.总体参数与统计量2.样本均值与样本比例及其标准误差难点：1.区间估计2.样本量确实定知识点一：总体分布与总体参数统计分析数据的方法包括：描绘统计和推断统计〔第一章〕推断统计是研究如何利用样本数据来推断总体特征的统计学方法，包括参数估计和假设检验两大类。

总体分布是总体中所有观测值所形成的分布。

总体参数是对总体特征的某个概括性的度量。

通常有总体平均数〔μ〕总体方差〔σ2〕总体比例〔π〕知识点二：统计量和抽样分布总体参数是未知的，但可以利用样本信息来推断。

统计量是根据样本数据计算的用于推断总体的某些量，是对样本特征的某个概括性度量。

统计量是样本的函数，如样本均值〔〕、样本方差〔 s2〕、样本比例〔p〕等。

构成统计量的函数中不能包括未知因素。

由于样本是从总体中随机抽取的，样本具有随机性，由样本数据计算出的统计量也就是随机的。

统计量的取值是根据样本而变化的，不同的样本可以计算出不同的统计量值。

[例题·单项选择题]以下为总体参数的是( )a．样本均值b．样本方差c．样本比例d．总体均值答案：d解析：总体参数是对总体特征的某个概括性的度量。

通常有总体平均数、总体方差、总体比例题·判断题：统计量是样本的函数。

答案：正确解析：统计量是样本的函数，如样本均值〔〕、样本方差〔〕、样本比例〔p〕等。

构成统计量的函数中不能包括未知因素。

[例题·判断题]在抽样推断中，作为推断对象的总体和作为观察对象的样本都是确定的、唯一的。

答案：错误解析：作为推断对象的总体是唯一的，但作为观察对象的样本不是唯一的，不同的样本可以计算出不同的统计量值。

〔一〕样本均值的抽样分布设总体共有n个元素，从中随机抽取一个容量为n的样本，在重置抽样时，共有n n种抽法，即可以组成n n不同的样本，在不重复抽样时，共有个可能的样本。

每一个样本都可以计算出一个均值，这些所有可能的抽样均值形成的分布就是样本均值的分布。

均匀分布参数的无偏估计及其分布赵平【摘要】讨论了均匀分布未知参数无偏估计量的分布密度,利用无偏估计量构造出一些新的样本函数,并且利用给出的样本函数推导出了未知参数的置信区间.所得到结果改善了现有的估计,易于计算.【期刊名称】《大学数学》【年(卷),期】2011(027)003【总页数】5页(P145-149)【关键词】均匀分布;无偏估计量;区间估计【作者】赵平【作者单位】北京交通大学,理学院,北京,100044【正文语种】中文【中图分类】O211.1均匀分布是概率统计中的一个重要分布,在实践中广泛地应用于遗传学、数据误差分析、可靠性理论、信息处理、通信系统仿真等许多领域中.文献[1]利用先验分布导出均匀分布未知参数的Bayes估计量,文献[2]给出了区间(a,b)上的均匀分布区间长度b-a的置信区间,文献[3,4]利用有偏估计量讨论了均匀分布未知参数的区间估计,本文利用无偏估计量推导出了未知参数的置信区间.设X在(a,b)上服从均匀分布,X1,X2,…,Xn为取自总体X的样本,令Nn=min(X1,X2,…,Xn), Mn=max(X1,X2,…,X n),则Mn=max(X1,X2,…,Xn)的分布密度为Nn=min(X1,X2,…,Xn)的分布密度为(Mn,Nn)的联合分布密度[3]为其中G={(x,y)|a＜x＜b,a＜y＜x}.下面的定理给出参数a和b的无偏估计量.定理1[5] 设总体X在(a,b)上服从均匀分布,a,b未知.X1,X2,…,Xn是来自总体X的样本,,则^a,^b分别是参数a和b的无偏估计量.由于统计量^a和^b分别是参数a和b的的无偏估计量,因此讨论^a和^b的分布函数对于工程应用以及计算a和b的置信区间很重要.类似的计算方法,可以求得的分布函数,定理2得到证明.对的分布函数F(z)求导,得到^a的分布密度为对于未知参数,除了求出它的点估计外,还希望估计出一个范围,并希望知道这个范围包含参数真值的可信程度,给定置信水平,Neyman的置信区间[5]理论保证一定的可靠度.定义随机变量下面利用定义的随机变量,讨论参数a和b的置信区间.定理3 设总体X在(a,b)上服从均匀分布,X1,X2,…,Xn是来自总体X的样本,令则ξ的分布密度为分别是利用未知参数a和b的无偏估计量引出的,因此利用本文给出的样本函数计算出的置信区间更合理.获得均匀分布未知参数的无偏估计量及其分布是工程技术研究工作的基础.由于样本函数【相关文献】[1] Rossman A J,Short T H,Parks M T.Bayes estimators for the continuous uniform distribution[J].Journal of Statistics Education,1998,6(3)：1-8.[2] 陈光曙.关于均匀分布区间长度的区间估计[J].纯粹数学与应用数学,2006,22(3)：349-354.[3] 潘高田,胡军峰.小样本的均匀分布参数的区间估计和假设检验[J].数学的实践与认识,2002,32(4)：629-630.[4] 王秀丽.均匀分布参数的最短置信区间[J].数学的实践与认识,2008,38(9)：57-60.[5] 孙翠先,郑树清.基于均匀分布参数估计的几个结果[J].大学数学,2006,22(5)：129-133.[6] Neyman J.Outline of a theory of statistical estimation based on the classical theory of probability[J].PTBS,1937, 236(767)：333-380.[7] 王建华,张来成.正态总体方差的最短区间估计与最佳双边检验[J].数学的实践与认识,2003,33(2)：58-67.[8] 茆诗松,王静龙,濮晓龙.高等数理统计[M].北京：高等教育出版社,施普林格出版社,1998.。

一、参数估计（一）参数估计内涵参数估计（parameter estimation ）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。

它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

（二）估计量的评价准则对于同一参数，用不同方法来估计，结果是不一样的。

例1 设总体X 服从参数为λ的泊松分布，即,2,1,0,!}{===-k k ek X P kλλ则易知λλ==)(,)(X D X E ，分别用样本均值和样本方差取代)(X E 和)(X D ，于是得到λ的两个矩估计量21ˆ,ˆS X ==λλ． 既然估计的结果往往不是唯一的，那么究竟孰优孰劣？这里首先就有一个标准的问题。

1、 无偏性(Unbiased)定义1 设),,,(ˆˆ21nX X X θθ=是θ的一个估计量，若对任意的Θ∈θ，都有θθθ=)ˆ(E ，则称θˆ是θ的无偏估计量(Unbiased estimator)，如果 0)(lim )),,,((lim 21=∆-∞→∧∞→θθθδn n n n b X X X E则称θˆ是θ的渐近无偏估计量(Approximation unbiased estimator)，其中)(θn b 称为是θˆ的偏差(affect)。

无偏性反映了估计量的取值在真值θ周围摆动，显然，我们希望一个量具有无偏性。

例2 X 是总体期望值μ=)(X E 的无偏估计，因为μμ===⎪⎭⎫ ⎝⎛=∑∑==n n X E n X n E X E ni i n i i 1)(11)(112、 最小方差性和有效性(Minimum Variance and efficiency) 前面已经说过，无偏估计量只说明估计量的取值在真值周围摆动，但这个“周围”究竟有多大？我们自然希望摆动范围越小越好，即估计量的取值的集中程度要尽可能的高，这在统计上就引出最小方差无偏估计的概念。

定义2 对于固定的样本容量n ，设),,,(21n X X X T T =是参数函数)(θg 的无偏估计量，若对)(θg 的任一个无偏估计量),,,(21n X X X T T '='有Θ∈≤θθθ对一切),'()(T D T D则称),,,(21n X X X T 为)(θg 的（一致）最小方差无偏估计量，简记为ＵＭＶＵＥ(Uniformly Minimum Variance Unbiased Estimation)或者称为最优无偏估计量。

数理统计5：指数分布的参数估计，Gamma分布，Gamma分布与其他分布的联系今天的主⾓是指数分布，由此导出\(\Gamma\)分布，同样，读者应尝试⼀边阅读，⼀边独⽴推导出本⽂的结论。

由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：指数分布的参数估计指数分布是单参数分布族，总体\(X\sim E(\lambda)\)有时也记作\(\mathrm{Exp}(\lambda)\)，此时的总体密度函数为\[f(x)=\lambda e^{-\lambda x}I_{x>0}. \]现寻找其充分统计量，样本联合密度函数为\[\begin{aligned} f(\boldsymbol{x})&=\lambda^n\exp\left\{-\lambda\sum_{j=1}^n x_j \right\}I_{x_1>0}\cdots I_{x_n>0}\\ &=\lambda^ne^{-n\lambda \barx}I_{x_{(1)}>0}, \end{aligned} \]由因⼦分解定理，取\[g(\bar x,\lambda)=\lambda^ne^{-n\lambda \bar x},\quad h(\boldsymbol{x})=I_{x_{(1)}>0}, \]可以得到\(\bar X\)是\(\lambda\)的充分统计量。

但是指数分布的参数并⾮均值，⽽是均值的倒数，所以对\(\bar X\)也有\[\mathbb{E}(\bar X)=\mathbb{E}(X)=\frac{1}{\lambda}. \]注意，千万不要想当然地认为期望和⼀般的函数之间是可交换的，即⼀般来说\(\mathbb{E}[f(X)]\ne f[\mathbb{E}(X)]\)，所以你不能认为\(\bar X^{-1}\)就是\ (\lambda\)的⽆偏估计量。

6. 参数估计6.1. 参数估计概述统计学包括四个方面的问题，其中之一就是统计推断。

所谓统计推断就是指，如果有一个总体，其分布和统计量都不知道，如一批生产出来的产品的质量。

这样就需要对其进行推断，如一批灯泡的平均使用寿命是多少，是否为合格品等。

统计推断就是解决这些问题。

统计推断分为两个方面，一方面是参数估计，另一方面是假设检验。

6.1.1.参数估计所谓参数估计就是通过对样本的研究，来确定总体的统计量。

其中又可分为点估计和区间估计两类。

点估计就是估计出总体的某一统计量的确切值，如总体的均值、方差等。

通常可以通过样本的相应值来进行估计。

如：样本的平均值∑=i X nx 1是总体平均值的估计量； 样本的方差为∑=--=ni i x x n s 122)(11是总体方差的估计量； 点估计的优点在于它能明确地给出所估计的参数。

但是一般说来，估计的数值与实际值之间是肯定会有误差存在的。

在实际工作中常常需要对这种误差进行衡量，也就是说还需要确定这个估计值的精度，或误差范围和可信程度。

因此就产生了区间估计的问题。

区间估计是通过样本来估计总体参数可能位于的区间。

例如说一批产品的平均使用寿命为1000小时，这仅仅是一个点估计，还需要说明大多数产品（95%）的使用寿命的上限和下限值，比如说位于800~1200小时之间，这就是一个区间估计值。

因此，在进行区间估计时，除了要给出一个区间值外，还需要同时指明可以信赖的程度，即在进行区间估计时，需要确定的是αθθθ-=<<1)ˆˆ(21p ，其中α为事先给定的一个很小的正数，如0.10, 0.05, 0.01或0.001等，称之为显著水平；1-α称为参数θ的置信概率，或置信水平。

θ1和θ2为所估计的参数θ的区间范围的上下限。

其含为我们有100（1-α）%的把握相信所估计的参数θ位于θ1和θ2的区间范围内。

6.1.2.估计量的评价标准对于所给出的估计来说，有些是好的，有些则不是。

参数估计量1. 什么是参数估计量？参数估计量是指在统计学中使用样本信息来推断总体参数的方法。

在统计学中，我们通常只能获得总体的一部分数据，然后通过对这部分数据进行分析来推断总体的特征。

参数估计量就是用于推断总体参数的统计量。

2. 参数估计方法常见的参数估计方法有两类：点估计和区间估计。

2.1 点估计点估计是通过样本数据来获得总体参数的近似值。

点估计的核心是选择一个合适的统计量作为参数的估计值，这个统计量通常是样本数据的函数。

常见的点估计方法有最大似然估计和矩估计。

2.1.1 最大似然估计最大似然估计是一种常用的点估计方法。

它的基本思想是选择一个参数值，使得观察到的样本数据出现的概率最大。

最大似然估计的方法可以用数学公式表示为：θ̂MLE=argmaxθ∈Θℒ(θ;x1,x2,…,x n)其中，θ̂MLE是参数的最大似然估计值，ℒ(θ;x1,x2,…,x n)是样本数据的似然函数，Θ是参数的取值范围。

2.1.2 矩估计矩估计是另一种常用的点估计方法。

它的基本思想是利用样本矩（矩的概念在统计学中是指一组数据的多种统计特征）与总体矩之间的关系，建立参数估计方程，并求解得到参数的估计值。

矩估计的方法可以用数学公式表示为：θ̂MME=argminθ∈Θ{1n∑gni=1(X i,θ)−m(θ)}其中，θ̂MME是参数的矩估计值，g(X i,θ)是样本矩的函数，m(θ)是总体矩的函数，Θ是参数的取值范围。

2.2 区间估计区间估计是通过样本数据确定总体参数的一个区间范围。

区间估计的核心是选择一个统计量作为参数的估计值，并利用统计学原理确定这个估计值的置信区间。

常见的区间估计方法有置信区间估计和区间估计。

2.2.1 置信区间估计置信区间估计是一种常用的区间估计方法。

它的基本思想是选择一个统计量作为参数的估计值，并利用统计学原理确定一个区间，使得这个区间包含真实参数的概率达到一定的置信水平。

置信区间估计的方法可以用数学公式表示为：θ̂−zσ̂√n≤θ≤θ̂+zα/2σ̂√n其中，θ̂是参数的点估计值，zα/2是置信水平对应的标准正态分布的分位数，σ̂是样本标准差，n是样本容量。