1 ChatGPT架构图

（ChatGPT_Diagram.svg来自于【OpenA | Introducing ChatGPT】）

2 模型训练

ChatGPT在训练时使用了PPO方法；