10.8假设检验

本页由讲义拆分版 TeX 初步转换生成；答案默认收起。

讲义正文

假设检验

引言

刑事诉讼遵循无罪推定原则：在人民法院依法作出生效有罪判决之前,应当推定被告人无罪.此时,证明责任由检察机关承担,只有当其提出的证据达到法定证明标准,足以排除合理怀疑时,法庭才会作出有罪判决；否则,依据疑罪从无原则,应当作出无罪判决.

这与我们要讲的假设检验流程非常像.

看一个贴近生产实际的例子,某罐装食品厂规定,每罐产品的标准质量为500克,工作人员随机抽取了10罐产品,测得质量（单位：克）如下：

\(\displaystyle 495, 510, 505, 498, 503, 492, 502, 512, 497, 506\)

问该厂生产线是否出现了异常？

第一眼看过去,这些数据没有一个等于500,能据此判断生产线出现了异常吗？

在实际生产过程中,受设备精度、原材料以及环境的影响,每件产品的质量都不可避免地存在随机波动,显然不能通过上述观察立即断定生产出现了异常.但问题在于,我们实际观察到的偏差究竟是正常的随机波动,还是生产线异常所致？一种自然的检验思路是,先假定生产线正常工作,即产品质量围绕\(\displaystyle 500\)克随机波动,只有当抽样数据的偏离足够明显,以至于这种结果几乎不可能由正常波动产生时,我们才认为生产线可能出现了异常.

我们自然又要问,什么叫“偏离得足够明显”？仅仅因为出现了几个 \(\displaystyle 510\) 克或 \(\displaystyle 492\) 克的数据,就足以判定生产异常吗？如果不能,又应当以什么标准来衡量“证据是否充分”？我们应当如何完成这一检验流程呢？ 这些问题,正是假设检验所要解决的核心内容.

假设检验的基本概念

以上面的问题为例,用\(\displaystyle X\)表示该厂生产的罐装食品的质量,可以假定其服从正态分布\footnote{在实际生产过程中,一件产品的质量通常受到设备误差、环境波动、原材料等众多独立因素共同影响.大量独立的小随机因素叠加后,产品质量往往可以用正态分布作为良好的近似模型.} \(\displaystyle N(\mu, \sigma^2)\),此处我们假定\footnote{标准差未知的情况将在后续进行说明.}标准差\(\displaystyle \sigma = 10\),“该厂生产是否正常”这一问题等价于“总体的均值\(\displaystyle \mu\)是否等于 \(\displaystyle 500\)”.

将“\(\displaystyle \mu=500\)”作为待检验的假设,记为\(\displaystyle H_0:\mu =500\),称为原假设（Null Hypothesis）或零假设；与之对立的假设记为\(\displaystyle H_1:\mu \neq 500\),称为备择假设（Alternative Hypothesis）或对立假设.

原假设与备择假设并非随意决定,而应结合实际问题的背景.看下面若干例子.

\paragraph{例1}药厂研发了一种新药,对新药的有效性进行假设检验.应取 \(\displaystyle H_0:\text{新药无效},H_1:\text{新药有效}\),因为新药一旦被认为有效,就将进入市场并作用于真实病人.若实际上新药无效,却因偶然实验结果而被判定为有效,就会造成医疗风险、资源浪费,甚至延误患者接受真正有效治疗.因此在没有充足证据前,宁可暂时认为该药“无效”,只有当实验数据强到足以推翻这一判断时,才承认其有效性.

\paragraph{例2}电商网站想把“购买按钮”的颜色从蓝色改成红色,对销量是否提升进行假设检验.应取\(\displaystyle H_0:\text{颜色改变对销量没有影响},H_1:\text{颜色改变对销量有影响}\),因为更换按钮颜色会带来设计成本、开发成本、用户习惯改变以及误判商业策略的风险.因此在没有充足证据前,应默认“颜色改变没有影响”,只有当数据表现出足够显著的差异时,才认为颜色改变确实产生了影响.

对最开始的问题而言,应取\(\displaystyle H_0:\text{生产正常},H_1:\text{生产不正常}\),这是因为生产线处于持续运行状态,若没有明显异常证据,通常不应轻易判定其失控；否则可能导致停工检查、产品召回、经济损失以及不必要的管理成本.因此在常规审计中应默认“生产正常”,只有当抽检数据明显偏离正常标准时,才认为流水线存在问题.

（1）一般地,原假设表示当前默认成立的状态,如“无变化”、“无影响”、“无差异”、“生产正常”等；

（2）原假设表示的状态在没有充足证据的情况下不能被轻易推翻；

（3）原假设的选择应当避免人们做出错误的判断,避免不必要的损失.

假设检验的目的,就是根据样本数据判断是否有充分的证据推翻原假设,假设检验的结论有两种：“拒绝原假设（认为生产线工作不正常）”或“不能拒绝原假设（认为生产线工作正常）”.

确定了假设后,怎么进行接下来的检验呢？

还是看最开始的问题,根据统计学知识,样本均值\(\displaystyle \overline{X}\)是总体均值\(\displaystyle \mu\)的一个合理估计\footnote{对于正态分布\(\displaystyle N(\mu,\sigma^2)\)中\(\displaystyle \mu\)的参数估计,\(\displaystyle \overline{X}\)既是它的矩估计,也是它的极大似然估计.}.因此要判断生产线的平均质量是否仍为 \(\displaystyle 500\) 克,一个自然的想法是考察样本均值 \(\displaystyle \overline{X}\) 与 \(\displaystyle 500\) 的差距（注意,不能因为 \(\displaystyle \overline{X}\neq500\)而直接断定生产线出现了问题.）我们关心的是：样本均值偏离 \(\displaystyle 500\) 到什么程度,才能认为这种偏离已经不是随机误差所能解释的. 于是,我们希望确定一个界限 \(\displaystyle k\),并按照如下规则进行判断： $\(\displaystyle |\overline{X}-\mu_0|<k,\quad \text{认为样本均值与 }500\text{ 的差异属于正常波动,不能拒绝原假设；}\)$ $\(\displaystyle |\overline{X}-\mu_0|\geqslant k,\quad \text{认为样本均值与 }500\text{ 的差异过大,拒绝原假设.}\)$

如何确定这个界限\(\displaystyle k\)呢？

若原假设 \(\displaystyle H_0\) 成立,则总体均值确为 \(\displaystyle \mu_0=500\),因此样本均值满足 $\(\displaystyle \overline{X}\sim N\left(\mu_0,\frac{\sigma^2}{n}\right),\)$

标准化样本均值,构造统计量 $\(\displaystyle U=\frac{\overline{X}-\mu_0}{\sigma/\sqrt n}\sim N(0,1).\)$

于是\(\displaystyle |\overline{X}-\mu_0|\geqslant k\)等价于\(\displaystyle |U|\geqslant\frac{k}{\sigma/\sqrt n}\)

\(\displaystyle k\)的选取关系着我们如何划分“正常波动”和“异常波动”,那么什么样的事件可以称为“极不正常”呢？

在前面我们讲了小概率原理：如果某事件发生的概率极小,那么在一次随机试验中,它几乎不会发生.一旦在一次试验中观测到了这样一个“几乎不会发生”的结果,就有理由怀疑这并非抽样的偶然性所致,而是最初作出的假设有误.

“概率极小”是一种人为规定的决策界限,通常事先给定一个较小的概率 \(\displaystyle \alpha\)（常取 ( 0.05,\ 0.01,\ 0.001) 等）作为判断“小概率事件”的标准,我们要求：若原假设成立,样本落入“异常区域”的概率恰好等于 \(\displaystyle \alpha\),即 $\(\displaystyle P\left(|U|\geqslant\frac{k}{\sigma/\sqrt n}\right)=\alpha\)$

由此确定了界限 \(\displaystyle k=\frac{\sigma}{\sqrt n}u_{\alpha/2}\),其中 \(\displaystyle u_{\alpha/2}\) 满足\(\displaystyle P(U>u_{\alpha/2})=\frac{\alpha}{2}\).假设原问题取显著性水平 \(\displaystyle \alpha=0.05\),查表知\(\displaystyle u_{0.025}=1.96\),代入 \(\displaystyle \sigma=10,\ n=10\),得到\(\displaystyle k\approx6.2\). 如果原假设确实成立,那么有 $\(\displaystyle P\bigl(|\overline{X}-500|<6.2\bigr)=0.95,\)$ 也就是说,在生产正常的前提下,有 \(\displaystyle 95\%\) 的样本均值都会落在这一范围内；只有\(\displaystyle 5\%\) 的样本均值会落在该范围外.若某次抽样满足\(\displaystyle |\overline{X}-500|<6.2\),那么这属于正常波动,并没有足够的证据表明生产线已经发生异常；反之,若出现 \(\displaystyle |\overline{X}-500|\geqslant6.2\),由于在原假设成立的前提下,这样的结果发生概率仅有 \(\displaystyle 5\%\).根据“小概率事件在一次试验中几乎不可能发生”的原理,我们有充分理由怀疑原假设不成立,从而拒绝原假设.所有导致我们拒绝原假设的样本均值的取值范围称为拒绝域,在本例中为\(\displaystyle \{X\mid |\overline{X}-500|\geqslant6.2\}\).

最开始的例子中,平均数\(\displaystyle \overline{X}=502\),可知\(\displaystyle |\overline{X}-500|=2<6.2\),因此不能拒绝原假设,认为生产线工作正常.

回顾整个假设检验流程,我们可以将其总结为以下几个步骤： $\(\displaystyle \text{确定假设}\Longrightarrow \text{构造统计量}\Longrightarrow \text{确定拒绝域}\Longrightarrow \text{计算并做出决策}\)$

独立性检验

假设我们要研究“抽烟”与“患病”是否独立,数据如下

| {c|ccc} \Xhline{1pt} | 患病 | 健康 | 合计 | | --- | --- | --- | --- | | 抽烟 | \(\displaystyle a\) | \(\displaystyle b\) | \(\displaystyle a+b\) | | 不抽烟 | \(\displaystyle c\) | \(\displaystyle d\) | \(\displaystyle c+d\) | | 合计 | \(\displaystyle a+c\) | \(\displaystyle b+d\) | \(\displaystyle N\) | | \Xhline{1pt} | | | |

在独立性检验中,原假设\(\displaystyle H_0:\)“抽烟”与“患病”独立,备择假设\(\displaystyle H_1:\)“抽烟”与“患病”不独立.如果原假设成立,那么一个人“既抽烟又患病”的概率是$\(\displaystyle P(\text{抽烟且患病}) = P(\text{抽烟}) \times P(\text{患病})=\frac{a+b}{N}\cdot \frac{a+c}{N}\)\(将这个概率乘上总人数\)\displaystyle N\(可以得到预期值\)\displaystyle \frac{(a+b)(a+c)}{N}\(,同理,可以计算出其余三个格子的预期人数\)\displaystyle E(a',b',c',d')\(.我们用观测值\)\displaystyle O(a,b,c,d)\(与对应预期值\)\displaystyle E(a',b',c',d')\(差值的平方作为误差,同时对每个误差除以\)\displaystyle E$作标准化,由此构造出统计量

\(\displaystyle \chi^2=\sum\frac{(O-E)^2}{E}\)

化简得到

\(\displaystyle \chi^2=\frac{N(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}\)

根据统计学知识,对于\(\displaystyle r\times s\)独立性检验,在样本量足够大时,通过上述方法得到的统计量\(\displaystyle \chi^2 = \sum_{i=1}^r \sum_{j=1}^s \frac{(O_{ij} - E_{ij})^2}{E_{ij}}\)服从自由度为\(\displaystyle (r-1)(s-1)\)的\(\displaystyle \chi^2\)分布.对于\(\displaystyle 2\times 2\)独立性检验,查阅\(\displaystyle \chi^2_1\),得到常用的小概率值与界限：

| {c| c c c c c c} \Xhline{1pt} \(\displaystyle P(\chi^2 \geqslant k)\) | 0.1 | 0.05 | 0.025 | 0.01 | 0.005 | 0.001 | | --- | --- | --- | --- | --- | --- | --- | | \(\displaystyle k\) | 2.706 | 3.841 | 5.024 | 6.635 | 7.879 | 10.828 | | \Xhline{1pt} | | | | | | |

回到最初的问题,对于某个小概率值\(\displaystyle \alpha\),其对应的界限为\(\displaystyle k\),若计算样本得到的统计量\(\displaystyle \chi^2\geqslant k\),则拒绝\(\displaystyle H_0\),认为“吸烟”与“患病”不独立（相关）,否则不能拒绝\(\displaystyle H_0\),认为“吸烟”与“患病”独立（不相关）

A 组习题

习\(\displaystyle \quad\)题

A组

1. 【2015 湖北文4】 已知变量\(\displaystyle x\)和\(\displaystyle y\)满足关系\(\displaystyle y=-0.1x+1\),变量\(\displaystyle y\)与\(\displaystyle z\)正相关．下列结论中正确的是

   • \(\displaystyle x\)与\(\displaystyle y\)正相关,\(\displaystyle x\)与\(\displaystyle z\)负相关
   • \(\displaystyle x\)与\(\displaystyle y\)正相关,\(\displaystyle x\)与\(\displaystyle z\)正相关
   • \(\displaystyle x\)与\(\displaystyle y\)负相关,\(\displaystyle x\)与\(\displaystyle z\)负相关
   • \(\displaystyle x\)与\(\displaystyle y\)负相关,\(\displaystyle x\)与\(\displaystyle z\)正相关
   答案

   C.

   \par
    新答案（来源：2024上海，13（统计）.md）：
   

   C

   【解题思路】\(\displaystyle x,y\)负相关，\(\displaystyle y,z\)正相关，则\(\displaystyle x,z\)负相关．

   1. 【2011 江西6】 变量\(\displaystyle X\)与\(\displaystyle Y\)相对应的一组数据为\(\displaystyle \left(10,1\right)\),\(\displaystyle \left(11.3,2\right)\),\(\displaystyle \left(11.8,3\right)\),\(\displaystyle \left(12.5,4\right)\),\(\displaystyle \left(13,5\right)\)；变量\(\displaystyle U\)与\(\displaystyle V\)相对应的一组数据为\(\displaystyle \left(10,5\right)\),\(\displaystyle \left(11.3,4\right)\),\(\displaystyle \left(11.8,3\right)\),\(\displaystyle \left(12.5,2\right)\),\(\displaystyle \left(13,1\right)\)．\(\displaystyle r_1\)表示变量\(\displaystyle Y\)与\(\displaystyle X\)之间的线性相关系数,\(\displaystyle r_2\)表示变量\(\displaystyle V\)与\(\displaystyle U\)之间的线性相关系数,则
   • \(\displaystyle r_2<r_1<0\)
   • \(\displaystyle 0<r_2<r_1\)
   • \(\displaystyle r_2<0<r_1\)
   • \(\displaystyle r_2=r_1\)
   答案

   C.

   1. 【2019 年新高考适应性测试】某大学在校学生中,理科生多于文科生,女生多于男生,则下述关于该大学在校学生的结论中,一定成立的是

   2. 理科男生多于文科女生

   3. 文科女生多于文科男生
   4. 理科女生多于文科男生
   5. 理科女生多于理科男生