前言大语言模型是一种由包含数百亿及以上参数的深度神经网络构建的语言模型通常使用自监督学习方法通过大量无标注文本进行训练。ChatGPT、MOSS都属于大语言模型。今天给大家带来的这本《大规模语言模型从理论到实践》 详细介绍了构建大语言模型的四个主要阶段预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。本书以大语言模型的基础理论开篇探讨了大语言模型预训练数据的构建方法以及大语言模型如何理解并服从人类指令介绍了大语言模型的扩展应用和评估方法为读者提供了更全面的视野。本书旨在为对大语言模型感兴趣的读者提供入门指南也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取## 目录 ### 第1章 绪论 11.1 大语言模型的基本概念 11.2 大语言模型的发展历程 41.3 大语言模型的构建流程 81.4 本书的内容安排 11第2章 大语言模型基础 132.1 Transformer结构 132.2 生成式预训练语言模型GPT 252.3 大语言模型的结构 332.4 实践思考 47第3章 大语言模型预训练数据 493.1 数据来源 493.2 数据处理 523.3 数据影响分析 613.4 开源数据集 683.5 实践思考 79第4章 分布式训练 804.1 分布式训练概述 804.2 分布式训练的并行策略 834.3 分布式训练的集群架构 1024.4 DeepSpeed实践 1104.5 实践思考 127第5章 有监督微调 1285.1 提示学习和语境学习 1285.2 高效模型微调 1315.3 模型上下文窗口扩展 1375.4 指令数据的构建 1415.5 DeepSpeed-Chat SFT实践 1475.6 实践思考 157第6章 强化学习 1586.1 基于人类反馈的强化学习 1586.2 奖励模型 1636.3 近端策略优化 1686.4 MOSS-RLHF实践 1806.5 实践思考 191第7章 大语言模型应用 1937.1 推理规划 1937.2 综合应用框架 1977.3 智能代理 2197.4 多模态大语言模型 2287.5 大语言模型推理优化 2387.6 实践思考 244第8章 大语言模型评估 2458.1 模型评估概述 2458.2 大语言模型评估体系 2478.3 大语言模型评估方法 2608.4 大语言模型评估实践 2748.5 实践思考 282参考文献 284索引 303下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取