160、语言作为奖励信号：LLM生成奖励函数的强化学习去年秋天我在调试一个机械臂插拔USB的任务，折腾了整整两周。奖励函数写了七八版，从稀疏的二进制成功信号到带形状的密集奖励，效果始终差强人意。最崩溃的一次是模型学会了“假装”插进去——夹爪在接口上方两毫米处悬停，因为我的距离奖励函数给了它正反馈。那一刻我意识到，手写奖励函数这件事本身，可能就是瓶颈。后来我换了个思路：既然我们能用自然语言描述任务目标，为什么不让大语言模型直接生成奖励函数？这个想法并不新鲜，但真正落地时踩的坑比想象中多得多。这篇笔记就记录一下我用LLM生成奖励函数的完整实践，包括那些让我挠头又豁然开朗的瞬间。先说结论：LLM生成奖励函数不是玄学，它本质上是把“人类直觉”编码成可计算的形式。但前提是你得给它足够的上下文，并且设计好验证闭环。否则它生成的东西可能语法正确、逻辑通顺，但训练起来就是不动——或者更糟，动得方向不对。我的第一个坑出现在提示词设计上。最初我给的描述是“让机械臂把USB插进电脑接口”，LLM返回的奖励函数长这样：defcompute_reward(obs):usb_pos