[!info] related notes

• 所属 MOC: logical-fallacies-moc
• 前置概念: deductive-and-inductive-reasoning
• 并列概念: hasty-generalization-fallacy
• 易混淆概念:
• 关系笔记:

选择性证据谬误

一句话定义

选择性证据谬误（cherry-picking）是只展示支持自己结论的证据，同时忽略、隐藏或系统性低估与结论冲突的证据。

它的问题不是“用了真实证据”，而是：你看到的证据集合不是完整证据集合的公平代表。

典型结构

全部证据：E1 E2 E3 E4 E5 E6 E7 E8
其中：
E1 E3 E7 支持结论 C
E2 E4 E5 E6 E8 不支持 / 反对 C

展示时只拿出：E1 E3 E7
∴ 看起来 C 得到了充分支持

每一条被展示的证据都可能是真的，但整体结论仍然被误导。

为什么它比“说假话”更难发现

选择性证据最危险的地方在于：

它往往不需要伪造任何数据。

只要决定：

• 哪些数据展示；
• 哪些时间段展示；
• 哪些案例讲故事；
• 哪些指标作为成功标准；
• 哪些失败不提；

就可能让同一批现实材料呈现出完全不同的印象。

因此判断证据时不能只问：

“这条证据是真的吗？”

还要问：

“还有哪些本应一起看的证据没有出现？”

明显例子

某个产品宣传：

100 位用户中，有 12 位使用后反馈“效果非常明显”。

然后广告只展示这 12 个成功故事。

如果剩下 88 人大多没有改善，那么只展示 12 个案例会制造错误印象。

问题不是那 12 个人一定在撒谎，而是只看成功者改变了我们对总体效果的判断。

技术场景：Benchmark 挑最好看的指标

假设新框架和旧框架比较：

指标	新框架	旧框架
首屏	更快	较慢
内存	更高	更低
构建速度	更慢	更快
吞吐	更高	较低
P99	更差	更好

如果文章只写：

新框架首屏快 30%、吞吐高 20%，因此性能全面领先。

那么即使两个数字完全真实，“全面领先”也可能来自 cherry-picking。

正确做法应该预先说明：

• 比较哪些指标；
• 为什么选这些指标；
• 测试环境；
• 哪些结果有利、哪些不利；
• 结论到底适用于哪个场景。

时间窗口也可以被挑选

投资、经济、产品指标里很常见：

“过去三个月我们的活跃用户增长了 40%。”

如果一年尺度看其实先暴跌 60%，再恢复了一部分，那么只选择三个月窗口会产生完全不同印象。

所以看到增长率、收益率、性能变化时，要问：

为什么从这个起点算？换一个合理时间窗口，结论还成立吗？

成功案例与幸存者

只研究留下来的成功者，也是选择性证据的一种高风险形式。

例如：

这些成功创业者都辍学，所以辍学有助于创业成功。

我们同时还需要知道：

• 有多少辍学者创业失败；
• 有多少未辍学者创业成功；
• 教育、资金、家庭背景等其他变量。

如果失败者根本没有进入样本，成功故事就很容易被过度解释。

AI 搜索与总结中的 Cherry-picking

这对使用 AI 特别重要。

假设让模型回答：

“找一些证据证明技术 X 比技术 Y 好。”

这个问题本身就诱导模型只搜支持 X 的材料。

更好的问法是：

“分别找支持 X、支持 Y、认为差异依赖场景的证据，并比较来源质量与适用边界。”

在深度研究中，应主动要求：

支持证据
反对证据
中性/混合证据
关键缺失证据

否则模型完全可能生成一个事实都没错、但整体高度偏斜的总结。

什么情况不是选择性证据

有明确、事先规定的纳入标准

研究不可能收集无限材料，因此筛选本身是必要的。

例如系统综述规定：

• 只纳入随机对照试验；
• 研究对象限定某年龄段；
• 截止某一日期；
• 必须报告特定 outcome。

只要标准是事先定义、一致应用、与研究问题相关，这不是 cherry-picking。

只回答一个明确的子问题

如果问题本来就是：

“新版本在启动速度方面有没有提升？”

那么专门展示启动速度不是谬误，因为结论没有声称“整体性能更好”。

真正的问题是：

证据选择的范围和结论声称的范围是否一致。

与草率概括的区别

草率概括谬误通常是：

样本本身不足或不具代表性，却外推整个总体。

Cherry-picking 更强调：

已有更广泛证据，但只挑对自己有利的一部分展示。

二者经常同时发生。

如何回应

不要只说：

“你在 cherry-pick。”

可以具体问：

“这些案例是全部结果，还是筛选后的结果？有没有反方向的数据？纳入和排除标准是什么？如果把完整样本放回来，结论还成立吗？”

使用场景

• 产品 Benchmark；
• AI 模型排行榜；
• 投资收益展示；
• 健康产品案例；
• 新闻和政治论证；
• 用户评价；
• 学术文献选择；
• AI 深度搜索与资料总结。

一句记忆

真实的几颗樱桃，也不能代表整棵树。

快速自测

一个模型在 12 个 Benchmark 中赢了 4 个。发布文章只展示这 4 个，并写“全面领先现有模型”。

即使这 4 个结果都真实，只要另外 8 个结果与“全面领先”冲突，却被无解释地省略，就属于典型的选择性证据问题。

来源

• HKU Critical Thinking Web, Fallacies and biases: https://philosophy.hku.hk/think/
• 形式基础：演绎推理与归纳推理