前言各位读者朋友们相信你一定还记得在各大平台AI大模型图书推荐榜单中《大规模语言模型从理论到实践》一书始终位居排行榜前列在2023年末那个时间点这本书是少有的把大模型相关技术系统汇总整理既有理论又有实践的。时隔不到两年大语言模型领域的发展可谓突飞猛进大语言模型的能力在多个方面实现了显著突破在推理能力、上下文理解深度及多模态处理能力等方面取得了长足进步。特别是在 2024 年 12 月DeepSeek-V3的发布以及 2025 年 1 月 DeepSeek-R1 的问世更是引发了国内外的广泛关注和强烈反响我国在大语言模型领域取得了新的里程碑式进展。与此同时大语言模型在理论研究、预训练方法、后训练技术及解释性等方面也取得了重要进展。业界对大语言模型的研究更加深入逐渐揭示出许多与传统深度学习和自然语言处理范式不同的特点。例如大语言模型仅需60条数据就能学习并展现出强大的问题回答能力显示了其惊人的泛化性。然而本书作者们也发现大语言模型存在一定的脆弱性。例如在一个拥有130亿个参数的模型中仅修改一个特定参数就可能导致模型完全丧失生成有意义信息的能力。这些发现促使本书的作者“复旦大学NLP团队”张奇、桂韬、郑锐、黄萱菁几位老师对本书第 1 版进行修订升级补充最新的研究成果和技术内容。《大规模语言模型从理论到实践第2版》的出版上市希望可以让读者快速掌握大语言模型的研究与应用更好地应对相关技术挑战为推动这一领域的进步贡献力量。新增50%以上全新内容《大规模语言模型从理论到实践第2版》除对大语言模型的构建进行深入解析外还进一步对如何增强大语言模型的能力、如何提升大模型的效率以及如何将大语言模型应用于实际场景进行了深入讨论。内容涵盖多模态大语言模型、大模型智能体、检索增强生成、大语言模型效率优化、大语言模型评估和大语言模型应用开发等多个热门方向全面展示了当前大语言模型在不同领域的最新进展与应用潜力。在本书第 1 版的基础上添加了 4 章全新内容同时对其他章节进行了大量修订和重写。新增内容覆盖MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发等多方面。下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取目录第1章 绪论11.1 大语言模型的基本概念11.2 大语言模型的发展历程41.3 大语言模型的构建流程81.4 本书的内容安排10第2章 大语言模型基础132.1 Transformer结构132.2 生成式预训练语言模型GPT 252.3 大语言模型的结构322.4 混合专家模型462.5 实践思考51第3章 大语言模型预训练数据523.1 数据来源523.2 数据处理563.3 数据影响分析643.4 开源数据集703.5 实践思考82第4章 分布式训练834.1 分布式训练概述834.2 分布式训练的并行策略854.3 分布式训练的集群架构1034.4 DeepSpeed实践1104.5 实践思考126第5章 指令微调1275.1 指令微调训练1275.2 高效模型微调1445.3 模型上下文窗口扩展1505.4 DeepSpeed-Chat SFT实践1535.5 实践思考162第6章 强化学习1646.1 强化学习概述1646.2 策略梯度方法1686.3 推理模型的强化学习1796.4 基于人类反馈的强化学习1856.5 verl实践1916.6 实践思考199第7章 多模态大语言模型2007.1 多模态大语言模型基础2007.2 大语言模型与多模态融合架构2057.3 多模态大语言模型训练策略2177.4 MiniGPT-4实践2227.5 实践思考229第8章 大模型智能体2318.1 智能体基础2318.2 大模型智能体架构2358.3 大模型智能体训练2418.4 大模型智能体实践2528.5 实践思考279第9章 检索增强生成2809.1 检索增强生成基础2809.2 Modular RAG架构2879.3 RAG系统设计模式3019.4 RAG系统优化3069.5 RAG系统评估3169.6 RAG实践3249.7 实践思考328第10章 大语言模型效率优化33010.1 效率优化基础33010.2 模型优化33410.3 低精度训练34510.4 高效推理35110.5 vLLM推理框架实践35810.6 实践思考361第11章 大语言模型评估36211.1 模型评估概述36211.2 大语言模型评估体系36411.3 大语言模型评估方法37611.4 大语言模型评估实践38611.5 实践思考399第12章 大语言模型应用开发40112.1 大语言模型典型应用场景40112.2 大语言模型应用开发案例40812.3 大语言模型本地部署实践41312.4 实践思考420参考文献422索引451下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取