一个绕不过去的问题1943 年哥伦比亚大学统计研究组的亚伯拉罕·瓦尔德Abraham Wald接到美军的请求轰炸机在战斗中损失惨重需要决定机身哪些部位加装装甲来降低战损率。美军收集了大量返航轰炸机的中弹分布数据。数据显示机翼和机身弹孔密集发动机和驾驶舱却很少中弹。直觉的结论是机翼机身被打得最多应该重点加固。军官们把这份分布图交给瓦尔德希望他给出装甲配置方案。瓦尔德的回答与所有人相反应该加固发动机和驾驶舱 —— 恰恰是那些没有弹孔的位置。理由很直接。这份数据采样的对象是飞回来的飞机。发动机或驾驶舱中弹的飞机根本回不来自然也不会出现在统计里。弹孔密集的地方说明被打中了还能扛住而弹孔为零的地方才是挨一发就完蛋的致命部位。这就是幸存者偏差最经典的样本。它真正的洞见不在于统计技巧而在于一个反直觉的认识看不见的数据不是没有数据而是被某个筛子筛掉了 —— 而这个筛子本身和你要研究的问题高度相关。原理样本被存活这个条件污染了用一句话概括幸存者偏差你拿到的样本是被存活这个筛选条件过滤后的结果。而筛选条件本身和你要研究的结论纠缠在一起。关键在于筛选不是随机的。飞机能不能返航取决于中弹部位 —— 每架没回来的飞机永久性地从样本里消失了。这种消失有一个方向它总是朝结果好的那一端削减样本。如果筛选是随机的比如随机抽掉一半数据样本虽然变小但结论依然可靠。幸存者偏差的危害恰恰在于筛选不随机活下来的东西和死掉的东西在某些关键维度上系统性地不同。你只能看到活下来的那一半然后误以为那就是全部。这也是为什么它比一般的样本量不足更难察觉。样本量小你会本能地警惕但幸存者偏差给你的样本可能又大又漂亮它骗过你的方式不是数量而是代表性。陷阱藏在哪里基金的收益率几乎所有基金业绩的统计都存在这个问题。那些长期表现糟糕的基金会被清盘、合并、从数据库里删除。于是你查到的行业平均收益率实际上只统计了活到今天的基金。历史上这类数据对真实收益的高估普遍在每年 1 到 2 个百分点量级 —— 看起来不大复利几十年后是一个数量级的差距。只要研究期间有大量基金消失幸存者偏差就自动生效了。创业成功学商学院和畅销书里研究成功企业做了什么最常犯的错就在这里。你看到成功公司强调扁平化管理“用户至上”“快速迭代”于是总结出成功方法论。但失败的创业公司里同样有一大批也是扁平化、也用户至上、也快速迭代。你看不到失败者的墓志铭于是把幸存者的共性当成了成功的原因。只有当你能证明失败的公司很少这样做时这些共性才构成解释力。否则你总结的只是活下来的人都呼吸过空气。古老建筑去欧洲古城你会惊叹于那些几百年的教堂和城堡觉得古人建造技术何等精湛。真相是粗制滥造的建筑早就塌了、拆了、烧了。你看到的不是古代建筑的水平而是能扛住几百年风雨的建筑的水平。同样的错觉适用于老歌比现在的好听“老电影比现在的经典”—— 因为平庸的作品会被时间淘汰经典被反复重播你的记忆样本是被时间筛过一遍的。医学的回溯研究“接受治疗的病人五年存活率是 X%”—— 如果这个数字来自对活到今天的病人进行的回溯统计那它已经偏了。中途死亡或失访的病人不在样本里。类似地高楼层坠落的猫伤势反而更轻这个流传很广的统计一部分原因就是当场死亡的猫根本没被送到兽医那里。日常里的版本面试官说我招的人都是名校毕业所以名校背景有用 —— 学历不够的简历在筛选阶段就被扔了从未进入他的观察样本。“辍学创业成就了某某首富” —— 千百万人辍学你只记住了成功的那个。以全体辍学者为分母辍学并没有提高成功率。“老一辈子没那么多过敏” —— 也许只是没被诊断、没被记录轻症的沉默样本不会进入统计。怎么跳出这个陷阱幸存者偏差没有一劳永逸的解法但有几个可以直接使用的追问。第一问谁不在样本里。面对任何一组数据先问一句这个样本是怎么来的什么样的东西被排除在外了被排除的东西和保留下来的东西关键属性上一样吗瓦尔德的价值就在于他把注意力从看得见的弹孔转向了看不见弹孔的飞机。第二看分母不只看分子。成功率 成功数 / 尝试总数。幸存者偏差最典型的操作是只报告分子 —— 一百个人尝试,三个人成功,然后你详细研究这三个人的方法,却对分母里的九十七个人一无所知。任何只看分子不看分母的统计,都要怀疑。第三主动去研究失败者。这是存活的样本和完整的样本之间唯一的桥。想知道什么让人成功,更有效的方法是去问同时做了这些事但失败的人,和成功的人有什么不一样。成功的共性揭示的是门槛(必要条件),失败与成功的差异才揭示真正起作用的原因(充分条件)。第四,警惕任何自带筛选器的榜单和数据库。排行榜、成分股指数、仍在运营的公司名单、还活着的人的口述史 —— 这些结构都经过了存活筛选。它们在描述现状时可能是准确的,但拿来做趋势或因果分析时,筛选器会持续扭曲结论。它和别的偏差不一样幸存者偏差容易和几个近亲混淆,记住区别:确认偏差是你更愿意相信支持自己观点的证据,问题出在你的态度。样本量不足是你看到的东西太少,问题出在数量。幸存者偏差是你看到的东西被系统性筛过,样本数量可能很大,问题出在构成。第三类最难防,也最危险,因为它的样本看起来丰富、真实、有说服力,而缺失的那部分安静得让你根本想不起来它曾经存在过。最终要养成的是一种条件反射:每当一个结论显得干净利落、符合直觉、又恰好只能由活下来的样本支撑时,先回头问一句 ——那些没回来的飞机,落在了哪里?