一、两个概念经常被混为一谈

在统计报告和学术论文里，这两个说法经常同时出现：

• "p < 0.05，差异有统计学意义"
• "取显著性水平 α = 0.05"

很多人下意识觉得"p 值就是显著性水平"，或者"显著性水平是 p 值的临界值，两者差不多"。实际上它们是两个性质完全不同的东西：

• 显著性水平 α：是研究者事先设定的判断标准，一个固定的阈值。
• p 值：是根据当前数据算出来的概率，每个检验结果都不一样。

搞混这两个概念，会导致大量错误解读，比如把 p 值当成"原假设为真的概率"，或者把 α 当成"结果的错误概率"。

二、显著性水平 α 是什么

2.1 定义

显著性水平（Significance Level，通常记作 α）是研究者在小概率原理下，事先规定的"拒绝原假设时允许犯错的概率上限"。

通俗理解：如果原假设真的成立，我们却因为数据碰巧极端而错误地拒绝了它，这种错误叫第一类错误（弃真错误）。α 就是我们愿意承受这种错误的最大概率。

常用取值：

2.2 关键性质

• 事先设定：必须在看数据之前定好，不能算出 p 值之后再挑一个能让自己"显著"的 α。
• 由研究者选择：不是数据给的，是人为决策的。
• 是一个固定阈值：同一个研究里所有检验通常共用同一个 α。

三、p 值是什么

3.1 定义

p 值（Probability Value）的定义严格表述是：在原假设成立的前提下，观察到当前样本结果或更极端结果的概率。

拆解这句话：

• 前提：先假设原假设 H₀ 是真的（比如"两组均值相等"）。
• 计算：在这个前提下，算出出现"当前这么大的差异"或者"比这还大"的概率。
• 结果：这个概率就是 p 值。

3.2 p 值小意味着什么

p 值很小，说明"如果两组真的没差异，那出现这么极端的数据太罕见了"。既然罕见的事情发生了，更合理的解释是：原假设本身不成立。

注意：p 值小是在说"数据与原假设不兼容"，不是在说"原假设为假的概率"。这是最关键的区分点。

3.3 p 值不是固定值

同一组数据，用不同的检验方法、不同的单双侧设定，算出来的 p 值都不同。p 值是数据驱动的结果。

四、两者的联系

4.1 p 值和 α 是"比较关系"，不是"相等关系"

统计推断的核心动作就是拿 p 值和 α 比大小：

• p < α：拒绝原假设 → 差异有统计学意义（显著）
• p ≥ α：不拒绝原假设 → 差异无统计学意义（不显著）

α 是尺子，p 值是被量的对象。尺子是固定的，量出来的值是变化的。

4.2 二者共同构成判断闭环

• α 回答"我能容忍多大的错误概率"
• p 值回答"当前数据在原假设下的极端程度"
• 二者一比，才有"显著/不显著"的结论

4.3 关系的图形化理解

把 p 值想成一条数轴上的点，把 α 想成数轴上的一道刻度线：

p 值分布区域：
0 ────────────── α ────────────── 1
   [拒绝原假设区]    [不拒绝原假设区]

p 落在 α 左边 → 显著；落在右边 → 不显著。

五、两者的区别（核心辨析）

一句话概括：α 是人定的标准，p 是数据给的证据。

六、五个最常见的误解

6.1 误解一：p 值是"原假设为真的概率"

错误说法："p = 0.03，说明原假设只有 3% 的概率成立。"

正确理解：p 值是"在原假设成立的前提下，出现当前数据的概率"，方向是先有原假设，再算数据概率。而"原假设为真的概率"是反过来的条件概率，p 值给不出这个答案。

用公式说明：

• p 值 = P(数据 | H₀ 成立)
• 误解想要的 = P(H₀ 成立 | 数据)

这两个完全不同，后者需要贝叶斯方法才能算。

6.2 误解二：1 - p 是"备择假设为真的概率"

同理，p 值也不能直接给出"结论正确的概率"。p = 0.03 不代表"结论有 97% 的把握正确"。

6.3 误解三：p < 0.05 就说明差异很大

显著性 ≠ 效应量。样本量极大时，差 1% 也能 p < 0.05；样本量极小时，差 30% 也可能 p > 0.05。p 值只回答"有没有差异"，不回答"差异有多大"。报告必须同时给效应量（差值、OR、RR、Cohen's d 等）。

6.4 误解四：p 值越小，结论越可靠

p 值小只代表"与原假设不兼容程度高"，不代表研究设计好、样本代表性好、因果成立。一个设计有偏的研究，p 值再小也说明不了什么。

6.5 误解五：可以事后调整 α 让结果显著

先算 p 值，发现 p = 0.07，然后把 α 从 0.05 改成 0.10 宣称显著——这是典型的 p-hacking，学术上属于不当研究行为。

α 必须在研究设计阶段定好、写进方案里。

七、报告里怎么写才规范

规范写法举例：



采用独立样本 t 检验比较两组得分差异，检验水准 α = 0.05（双侧）。结果显示 t = 2.31，df = 98，p = 0.023，差异有统计学意义；两组均值差为 3.5 分（95% CI: 0.5~6.5）。

”

要点：

1. 明确写出 α（检验水准），说明是双侧还是单侧。
2. 报告具体 p 值，不要只写 p < 0.05（除非 p 极小，可写 p < 0.001）。
3. 同时给效应量和置信区间，不能只有 p 值。
4. 说清检验方法，让读者能复核。

八、总结

p 值和显著性水平的关系，本质是"证据"和"标准"的关系：

• α 是尺子：研究者事先设定的判断阈值，代表能容忍的第一类错误概率。
• p 值是读数：根据当前数据算出的概率，代表数据与原假设的兼容程度。
• 比较决定结论：p < α 拒绝原假设，p ≥ α 不拒绝。

记住两条最关键的区分：

1. p 值不是"原假设为真的概率"，而是"原假设为真时出现当前数据的概率"。
2. α 不是"结果的错误率"，而是"我们事先愿意承担的最大犯错概率"。

把这两个概念彻底分清，统计报告的解读就不会再犯方向性错误——这是所有假设检验讨论的地基。

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~ !

免费加入阅读：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0