失败复盘:五种死法
【开场】每个坑前面都有一块警示牌
航空安全领域有个共识:绝大多数事故不是意外,是同一批隐患换了不同的航班。
AI 项目也一样。MIT 分析了 300 多个项目,Stanford 拆解了 51 个幸存者——失败归因归拢,其实就五种。
这一章是复盘室,也是地图:每一个坑前面都插着一块警示牌,上面写着上一个失败项目的名字。
【死法 1】技术死:Demo 很惊艳,生产见光死
典型经过:热门模型 + 惊艳 demo,领导拍板。一上生产,模型编造产品型号,还对投诉用户承诺"双倍赔偿"——没人做过评估,因为"看起来挺好的"。
现场信号(客户在会议上说出这句话就要警惕):
"我们还没建评估集,先上线跑跑看,用户会告诉我们的。"
复盘结论:死因不是幻觉,是没有 evals 就没有发现幻觉的能力。能力边界从没被测量,"挺好"全是感觉——等于盲飞。
出路:第 7 章。50 条评估集起步,变更必跑分,护栏三道闸;答不上来时说什么、转给谁,写死在设计里。
【死法 2】数据死:给法拉利加了一箱水
典型经过:选型三个月,数据准备三小时。结果知识库停在 2019 年,字段口径三个版本,PDF 解析全是乱码——模型连公司有几个仓库都查不到。
现场信号:
"数据质量确实一般,但你们 AI 不是很强吗,应该能搞定吧?"
复盘结论:AI 搞不定脏数据,只会放大它。数据工程通常占工作量 40% 以上,没写进预算等于预算造假。
出路:第 7 章场 1。事实源与语料分离、数据合约、审计追踪链;第一周就做数据体检:100 条真实样本人工过一遍。
【死法 3】钱死:ROI 永远"下个季度就能算出来"
典型经过:汇报永远"进展显著",CFO 问收益永远"长期价值很大"。十八个月后预算审查,全票砍掉——它从没被允许证明自己的价值。
现场信号:
"AI 是战略投入,不能只用短期 ROI 衡量。"
(说这话的项目 90% 死了——"战略"被当成了不算账的许可证。)
复盘结论:战略投入也要算账,只是算法不同:可以不算直接收益,必须算过程指标——使用率、准确率、替代工时。
出路:第 6 章。立项即签验收契约:指标、数据集、验收人、未达标处理,一页纸写死。
【死法 4】人死:系统上线那天,遭遇了一场静默罢工
典型经过:技术顺利,上线第一天使用率诡异走低:坐席教用户绕过系统,主管在群里说"先别全信"。没人破坏,大家只是不配合。
现场信号:
"员工培训?上线后发个操作手册就行。"
复盘结论:员工抵制的从来不是技术,是没人回答的那个问题:"我会怎么样?" MIT 报告把"组织与学习鸿沟"列为首要失败归因,权重远超技术因素。
出路:第 8 章场 4。先讲岗位未来再讲系统、一线参与建设、考核跟着改;变革管理预算与工程预算同时立项。
【死法 5】合规死:法务叫停的那封邮件
典型经过:顺风顺水八个月,法务第一次参会,问了三个问题:训练数据哪来的?数据出境吗?算法备案了吗?项目冻结五个月,业务窗口期已过。
现场信号:
"先做出来再说,合规到时候补。"
复盘结论:中国有算法备案与安全评估要求,欧盟 AI Act 已生效,数据出境有专门评估通道。合规不是项目末尾的手续,是项目开头的架构决策。
出路:第一周就约法务和信息安全——他们告诉你哪条路能走通。把合规检查点写进里程碑,别写进事故报告。
【场 6】复盘总结
五种死法放在一起,浮现出一个反直觉的规律:
只有一种死法(技术死)和技术有关。 其余四种——数据、钱、人、合规——全是管理与工程纪律问题。
这正是 MIT"学习鸿沟"的本来面目:失败不是因为模型不够聪明,而是组织没把"用起来"当成专业工程。而这恰恰是 FDE 这个岗位存在的全部理由。
Demo 惊艳,生产见光死:没有 evals 就没有发现问题的能力
给法拉利加了一箱水:脏数据被 AI 高效放大
ROI 永远“下个季度能算出来”,直到预算被砍
一场静默罢工:没人破坏系统,只是不配合
法务的那封邮件,冻结了八个月的项目
【速查卡】进场第一周障碍扫描清单
技术 □ 有没有评估集?哪怕 50 条
□ 上一次答错的案例,能调出记录吗
数据 □ 知识库最后更新时间是什么时候
□ 关键字段口径,有几个版本
□ 能拿到 100 条真实样本吗
钱 □ 立项文档里有没有可测量指标
□ 谁在什么时间点、按什么标准验收
人 □ 一线员工知道这个项目吗,怎么说的
□ 上一个系统是怎么被弃用的
合规 □ 法务/信安参与了吗,从哪天开始
□ 数据能否出域,需不需要备案
□ 高危场景有没有人工兜底要求
【金句海报】
"AI 项目很少死于技术,
它们死于那些'到时候再说'。"
本章来源
- 失败归因框架:MIT NANDA《GenAI Divide》(2025-08)"learning gap"论述;原书稿第 2 章 2.2 五类挑战改写
- Stanford《Enterprise AI Playbook》(2026-03)51 案例的失败访谈方法
- 合规要点:中国《生成式人工智能服务管理暂行办法》、欧盟 AI Act(2024 生效,分阶段适用)
- "40% 数据工程工作量"为行业经验值,标注为经验法则
- 各"典型经过"为综合公开报道与常见模式的虚构合成案例,不指向具体公司