33 SFT、RLHF、DPO：模型对齐到底在对齐什么

专栏：大模型应用开发：从原理到生产篇号：33内容标签：模型对齐、SFT、RLHF、DPO、大模型前几篇我们讲的是微调。微调解决一个核心问题：模型会不会按你的方式做事。但在真实业务里，“会做”还不够。一个模型可能会回复客服问题。但语气冷冰冰。它可能知道退货规则。但一着急就乱承诺。它可能能写审核意见。但不知道什么时候应该拒绝。它可能能输出 JSON。但面对模糊问题时开始编。这时问题就不只是“会不会”。而是：哪种回答更好？ 哪种回答不该说？ 哪种行为更符合人的期待、业务规则和安全边界？这就是模型对齐要解决的问题。一句话说：微调教模型怎么做，对齐教模型什么做法更好。这一篇，我们把 SFT、RLHF、DPO 三个概念讲清楚。不从公式开始。从一个业务问题开始。一、同一个问题，为什么答案有好坏之分假设用户来问客服：