最近又有几个朋友来问我说自己想学大模型看到网上铺天盖地的课程和资料反而不知道从哪里下手。确实现在大模型的学习资源已经到了泛滥的程度但真正能站着小白程序员角度、把“学什么”和“不学什么”讲清楚的路线反而少得可怜。所以我决定结合自己从传统后端转到大模型应用开发的实际经验把这份“3天数学 5阶段学习路线”完整写出来。它不吹一个月精通也不搞三个月劝退而是让一个能写业务代码的普通程序员用6到8周的时间稳扎稳打跑通“调用模型、RAG、微调、部署、Agent开发”这条完整链路。文章很长全是干货可以收藏起来按着走。1. 小白学大模型最先卡住的不是代码而是“数学恐惧症”1.1 三个常见误区看看你中了几个我观察过很多想入门大模型的朋友最后没学下去很少是因为代码能力不行反而都是栽在下面这三件事上。第一个误区是“数学不好肯定学不了大模型”。这个想法害人最深。确实网上关于大模型的帖子动不动就甩出注意力机制公式、softmax、交叉熵、梯度下降仿佛不懂这些推导过程连调用API的资格都没有。但实际上大模型的岗位也分很多种做底层预训练、做模型架构创新的确实需要深厚的数学功底而做应用开发、微调落地、推理部署的数学只需要“够用”不需要成为推公式的专家。第二个误区是“必须先把Python、机器学习、深度学习全套体系学完才能碰大模型”。我见过有人抱着西瓜书啃了一个月学到了决策树和SVM结果跟大模型一点关系都没有。这属于典型的路线错配系统学习机器学习理论当然有价值但如果你目标是快速上手大模型完全不需要先成为机器学习专家。第三个误区是“大量收藏资料转发一堆学习路线然后就没有然后了”。收藏不等于学会这是最隐蔽的坑。所以我写这篇东西的时候刻意控制了资料数量每个阶段只给少量核心资料把重心放在“动手做什么、做出什么结果”上。1.2 重新定义“够用数学”从问题倒推要学什么先想明白一个问题你用大模型的时候到底会遇到哪些数学第一类是理解模型输出的数学。比如模型给你的概率分数怎么来的temperature参数控制的是什么。第二类是理解训练和微调过程的数学。比如损失函数怎么衡量模型好坏梯度下降怎么更新参数LoRA到底在改哪些参数。第三类是理解模型内部结构的数学。比如Transformer里Q、K、V三个矩阵在做什么注意力分数怎么算出来的。看清楚没有这三类问题对应的数学其实都是“有明确用途的数学”而不是教科书里那种按章节推进的系统数学。所以3天时间不是让你速成数学家而是让你的脑子建立足够的直觉能看懂论文里的关键公式在干什么能理解官方文档里那句“使用交叉熵损失函数”背后的含义。等以后真的持续深入再慢慢补严谨的数学基础这比一开始就钻牛角尖高效得多。2. 3天数学安排一份可以照抄的“够用数学”清单2.1 第1天机器学习基础概念与损失函数第一天的目标只有一个搞清楚机器学习的核心范式以及“好”和“坏”怎么被量化。你需要掌握的并不是复杂的算法推导而是这几个基础概念之间的逻辑链。首先是参数化模型你可以把模型理解为一个巨大的函数里面有海量参数输入是文本输出是概率分布。然后是训练数据模型通过大量“问题-答案”样本来调整参数。接着是损失函数这是最关键的概念它定义了一组参数在当前数据上的表现有多差损失越小说明模型输出越接近标准答案。最后是优化算法也就是梯度下降模型不断朝着损失减小的方向微调参数。这里我有一个很实用的建议不要自己硬啃公式直接看李宏毅老师的《机器学习》课程前几节B站就有中文字幕。他的讲解特别擅长用生活化类比比如把梯度下降比喻成下山找最低点看完你会立刻建立直觉。看完之后做一个小练习手写一个最简单的线性回归用numpy实现梯度下降不要求大规模关键是体会“预测-算损失-更新参数”这个过程是怎么运转的。这一天大约需要6到8小时。2.2 第2天神经网络结构与反向传播的直觉理解第二天的核心任务是理解神经网络的结构和训练机制。大模型本质上就是一个超大规模、超深层的神经网络所以神经网络的基础直觉必须补上。你需要知道一个神经元长什么样输入经过加权求和再加上偏置最后过一层激活函数。众多神经元分层连接就形成了神经网络。你还得理解激活函数的作用它给网络引入了非线性否则多少层叠加都等价于一层线性变换这也解释了为什么Transformer里大量使用GELU、ReLU这类函数。反向传播是这个阶段最容易劝退的概念但我可以给你一个直觉版本数据从输入层向前传到输出层这是前向传播算出损失之后再从输出层反向逐层计算每个参数的梯度告诉每个参数“你往哪个方向调、调多少能让损失变小”这是反向传播。你不需要亲手推导链式法则的每步细节只需要理解这个过程的存在和意义。同样推荐结合李宏毅或者3Blue1Brown的神经网络视频后者有可视化动画看完对“梯度”会有很直观的印象。今天的输出任务是用PyTorch搭一个两层的全连接网络在MNIST手写数字数据集上训练到90%以上准确率代码网上到处都是但一定要自己敲一遍、跑一遍。2.3 第3天Transformer与注意力机制的数学直觉第三天相当重要因为你终于要接触大模型真正的核心结构了。Transformer的核心是自注意力机制它解决的核心问题是一个句子里的每个词应该如何根据句子中其他词的信息来更新自己的表示。这里有一个生活化类比你在读“小明把球递给小红然后她把它踢飞了”这句话时要理解“她”指的是谁就需要把“小红”和“她”关联起来。注意力机制做的就是这件事它让每个词去计算自己和句子中其他词的关联权重。具体到数学直觉层面你需要掌握这么几步每个词对应三个向量Query、Key、Value你可以把它们理解为“我要查什么”“我有哪些索引”“我真正的内容是什么”。然后计算Query和所有Key的点积得分再除以向量维度的平方根做缩放防止点积结果太大导致softmax梯度消失接着过softmax变成权重最后用权重对Value做加权求和得到输出。这个流程就是注意力分数公式的全部秘密。多头注意力则是在多个子空间里并行做这件事让模型能同时关注不同的关系。今天建议直接去看李沐老师的《动手学深度学习》Transformer那一节或者Jay Alammar的经典博客《The Illustrated Transformer》配合代码看效果最好。可以打开HuggingFace上的Transformer源码找到attention的类对照公式看一遍代码不需要吃透所有实现细节能指出Q、K、V对应哪几个矩阵就达到目标了。三天数学到这里就结束了你已经有足够的知识储备进入下一阶段。2.4 一个重要的提醒不要为了学数学而学数学数学部分到这里我想专门提醒一句如果你发现某些数学概念怎么都看不明白不要在一个点上死磕超过两个小时。这听起来可能反常识但确实是非常有效的学习策略。原因在于大模型领域的数学知识是网状的不是线性的。很多时候一个概念没理解透的原因是缺少了另一个前置概念而那个前置概念不一定要通过数学书补齐可以通过动手写代码、跑模型、调参数来建立直觉。比如Docker、CUDA、显存这些工程概念跟数学没有半毛钱关系却往往是小白真正卡住的地方。所以我的建议是第一天看数学第二天跑代码第三天用代码验证数学让数学和工程交替前进效率会高很多。3. 5阶段路线总览为什么这么排每个阶段的产出是什么3.1 路线的底层逻辑“先跑通、再改、再造”在给具体路线之前我觉得有必要先讲清楚这套路线的设计逻辑否则你很容易把它理解成又一个收藏夹里的吃灰列表。这套5阶段路线贯穿了一条主线先跑通再改再造。“先跑通”是指第一阶段你不需要深刻理解Transformer的每一行实现能用别人的库把一个大模型跑起来就行。“再改”是指第二和第三阶段你开始修改模型的行为通过Prompt工程调整输出风格通过RAG给模型外挂知识库通过LoRA微调注入垂直领域能力。这个时候你已经能真实感受到“原来模型是这样被操纵的”。“再造”是指第四和第五阶段你把模型部署成服务进一步通过Agent和多模态扩展它的能力边界甚至开始阅读源码、看论文逐渐从一个使用者变成创造者。这个路线的另一个特点是每个阶段都以“可验证的产出物”为结束标志。不是你告诉我“我学完了”而是你拿出一个跑得起来的demo。这既是为了对抗拖延也是为了让简历上有真东西可写。3.2 5阶段与能力地图对照表我把这5个阶段的目标、核心工具和最终产出整理成了表格方便你对照自己的进度。阶段核心能力主要工具/框架阶段产出阶段一跑通推理链路Python、HuggingFace transformers、Ollama本地跑通一个开源对话模型阶段二Prompt工程与RAGOpenAI API/Qwen API、Dify、向量数据库一个带知识库的问答应用阶段三参数高效微调LlamaFactory、LoRA/QLoRA一个垂直领域微调模型阶段四推理部署与优化Ollama、vLLM、量化工具一个可对外提供服务的API阶段五Agent与多模态扩展Function Calling、LangChain/LangGraph一个能调用工具的Agent应用3.3 时间分配建议与硬性投入很多人在学习路线面前最纠结的问题是到底要花多少时间我按每天能投入2到3小时来估算每个阶段大概需要1到2周整体走完需要6到10周。如果你是全职学习时间可以压缩到4到5周。这里有一个必须提前解决的硬性投入硬件。我的建议是前两个阶段不需要多好的显卡甚至纯CPU也能跑小模型但到了微调和部署阶段一张显存不低于16GB的显卡能帮你少走很多弯路。如果实在没有GPU云GPU按小时租用也是一个可选的路径费用比想象中低。千万不要因为没有好显卡就迟迟不开始很多学习环节用CPU加小模型同样能做。另外一个容易被忽视的投入是“英文阅读能力”。HuggingFace的文档、模型卡、很多优质博客都是英文不用达到专业翻译水平但要能读懂模型卡上的参数说明和代码示例。我见过太多人卡在“不知道选哪个模型”“不知道参数什么意思”这一层其实答案就在英文文档里。4. 阶段一跑通第一行推理代码比背概念重要一百倍4.1 环境准备Python虚拟环境、CUDA、镜像源阶段一的最终目标只有一个在你的电脑上成功运行一次大模型推理。只要你完成了这一次“让模型开口说话”后面所有的概念学习都会变得异常轻松。环境准备是这里最容易翻车的地方。我的建议是先安装Python 3.10或3.11然后用venv或conda创建独立的虚拟环境千万不要图省事直接装在系统Python里后面依赖冲突会让人痛不欲生。接着安装PyTorch有NVIDIA显卡的去PyTorch官网选择对应CUDA版本的安装命令没显卡的装CPU版本也能学只是速度慢一些。然后是transformers、datasets、accelerate这几个核心库。国内用户还要注意镜像源的问题。直接pip install通常很慢建议把pip的默认源换成清华或阿里镜像。HuggingFace的模型下载同样是老大难我的解决方案是设置环境变量HF_ENDPOINT指向镜像站或者直接用modelscope下载模型后本地加载。这些问题都不是技术难点但能提前规避的话你的入门体验会顺畅很多。4.2 第一行推理代码用transformers加载并调用模型环境搞定之后下面这段代码就是你的“Hello World”。我不建议第一步就去看那些极其复杂的开源项目把目标定得小一点加载一个对话模型向它提一个问题拿到回复。from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto ) messages [ {role: user, content: 用一句话解释什么是大语言模型} ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate( **model_inputs, max_new_tokens512, do_sampleTrue, temperature0.7 ) response tokenizer.decode( generated_ids[0][model_inputs[input_ids].shape[1]:], skip_special_tokensTrue ) print(response)这个例子用到了当前大模型应用中最核心的几个APIAutoTokenizer负责把文本切分成token并转换成模型认识的数字AutoModelForCausalLM负责加载模型apply_chat_template把用户消息套成模型期待的对话格式model.generate执行推理并返回新生成的token。你不需要逐行背代码但要理解整个数据流的走向文本到tokentoken到模型模型到概率分布概率分布到新token最后token再变回文本。如果你被7B模型的体积劝退也可以先用Ollama跑Qwen 2.5 3B或者更小的1.5B版本。Ollama是一个体积很小的本地模型运行工具安装之后一行命令就能下载并运行模型特别适合用来建立“模型是能跑在本地”的信心。4.3 本阶段任务清单与自查按我的经验这个阶段把下面几件事做完就算合格了能在本地成功运行一次对话推理尝试修改max_new_tokens和temperature参数观察输出变化并尝试解释原因跑一个1.5B的小模型和7B的模型对比一眼就能感受到的智能差距去HuggingFace或ModelScope上浏览几个热门模型卡看懂参数规模、上下文长度、量化信息这些关键字段。这一阶段最容易犯的错误是一头扎进模型的源代码里想从第一行开始读。我见过好几个朋友在transformers的源码里挣扎了三天最后连应用都还没跑通过。正确的做法是先当黑盒使用者把模型当API调用起来至于里面的机制等你完成了后面几个阶段再回过头来看源码会有完全不同的理解。5. 阶段二用Prompt工程和RAG解决真实问题先别碰微调5.1 Prompt工程的核心上下文、格式约束、思维链第二个阶段的目标是在不修改模型的前提下通过输入设计让模型输出贴合你需求的内容。这套方法论叫Prompt工程它是所有大模型应用开发者的基本功。Prompt工程有三个核心抓手。第一个是上下文信息模型生成答案的质量高度依赖于你提供了多少背景信息同样是“帮我写一封邮件”你补充“收件人是合作过的客户语气需要亲切但正式重点说明延期原因和补救方案”之后输出质量会完全不一样。第二个是格式约束你可以要求模型“只输出JSON”“不要解释直接给代码”“用列表分点回答”这能大幅提升输出的结构化和可用性。第三个是思维链你可以让模型“一步一步推理先列出已知条件再给出结论”在复杂推理任务上这种方式的效果显著优于直接提问。这里有一个很多教程不会讲的细节不同模型的Prompt风格是有差异的但关键是先动手测试。把几类典型Prompt收集成模板在不同模型上跑一遍你会迅速建立对模型行为的直觉。这一阶段强烈建议用提示词管理工具记录你的尝试比如Notion或者飞书文档都可以重点是把“输入-输出-效果评价”记下来。5.2 RAG入门为什么通用大模型需要“外挂知识库”当你开始用大模型解决真实业务问题时很快会撞上一个天花板模型只知道训练数据里的知识不知道你公司的内部文档、你个人的笔记、或者2025年才发生的新事件。这时候你有两个选择一是微调二是RAG检索增强生成。对于大多数场景RAG是优先方案。它的思路很直接不改变模型参数而是在用户提问时先从外部知识库里检索出和问题最相关的片段把它们和问题一起塞给模型让模型基于这些材料作答。这就像你考试时允许带一沓参考资料虽然你的大脑本身没变但你能在资料中找到答案并组织语言。RAG之所以比微调“香”是因为它的信息更新成本极低知识库内容变了只要重新灌入向量数据库就行不需要重新训练模型而且可以追溯答案来源因为你知道模型是基于哪几段文档生成的回答。而微调本质上是把知识揉进参数里更新一次就要重新训练成本高还不可追溯。所以记住这个决策逻辑知识型问题用RAG能力型问题用微调。RAG的核心流程可以拆成三步一是文档切片把长文档切成适当长度的片段二是向量化用嵌入模型把每段文本转成向量三是检索和生成用户提问时把问题向量化后去向量数据库里找最相似的几个片段拼进Prompt交给大模型。用到的主要组件包括嵌入模型、向量数据库以及大模型本身。5.3 用Dify快速做一个带知识库的问答应用如果让我给小白推荐一个最快能上手RAG的工具我会毫不犹豫推荐Dify。Dify是一个开源的大模型应用开发平台把模型管理、知识库、Prompt编排、应用发布这些环节的可视化操作都做了你甚至不需要写代码就能拼出一个完整的RAG应用。具体操作是这样先在Dify里接入模型支持OpenAI兼容的API也可以用本地的Ollama模型然后创建知识库上传几份PDF或Markdown文档平台会自动完成切片和向量化接着创建一个聊天助手类型的应用在编排界面把知识库关联进去设置好提示词最后发布应用你就能得到一个带知识库的问答机器人。千万别觉得用可视化平台就是“不硬核”。真正干活的时候Dify这类工具能帮你把工程问题快速收敛把精力留给Prompt调试和数据质量这些真正影响效果的地方。而且它的代码是开源的后面你去读它的源码会发现很多企业级应用就是这么搭起来的。5.4 本阶段避坑重点检索效果差的排查链路这一个阶段一旦开始做项目出现概率最高的问题是“机器人回答得不行”。很多人第一反应是“我的Prompt写得不好”但实际上RAG应用效果差至少有一半的情况出在检索环节。我给你一个排查链路先看检索到的文档片段对不对。在Dify里可以把检索结果打开给用户看如果检索出来的片段跟问题毫无关系那问题在向量化和切片策略上而不是在大模型的生成环节。接着看片段的切分粒度切片太长混合的信息多检索精度下降切片太短上下文不完整模型难以理解。再看嵌入模型选得好不好中文场景下选择一个在中文语料上表现优秀的嵌入模型效果差距非常明显。最后才是看Prompt模板写得到不到位。这个排查习惯会贯穿你整个大模型开发生涯所以在这一阶段养成“先定位是检索的问题还是生成的问题”的思维方式比多写十个案例都重要。6. 阶段三LoRA微调实战——用LlamaFactory驯服你的第一个垂直模型6.1 微调的本质与为什么首选LoRARAG解决的是“模型不知道的知识问题”但有时候你需要的不是给它新知识而是让它改变表达风格、行为模式或者特定任务能力。举个例子你希望模型像一个客服专员那样温和有礼或者希望它严格按照某个固定格式输出报告这时候微调就是更合适的手段。微调的本质是在预训练模型的基础上用一批高质量的任务数据继续更新参数让模型朝着你期望的方向改变。但一个7B模型的全量参数有70亿个全量微调不仅需要巨量显存而且容易导致灾难性遗忘也就是模型学会了新任务但忘了原本会的东西。所以现在主流方案是LoRA它的核心洞察是模型微调时参数的变化往往集中在一个低维子空间里与其更新全部参数不如冻结原模型在旁边新增两个小矩阵模拟权重变化的低秩近似。训练的时候只更新这两个小矩阵最后新模型的大小可能只有几十兆但效果却非常接近全量微调。这个思路完美契合“小成本干大事”的需求所以它已经成为开源社区微调的事实标准。6.2 数据集准备格式、质量与数量没有好的数据集微调就是无源之水。很多新手第一步就栽在数据上所以我专门把这一节拿出来单讲。数据集需要按照模型的对话格式组织HuggingFace和LlamaFactory都支持多种格式最常用的是Alpaca格式每条样本包含instruction指令、input可选输入和output期望输出。比如一个“客服话术改写”任务样本就是“把下面这句话改为客服语气”作为指令原句作为输入改写结果作为输出。数据质量远比数量重要。我用实测经验说500到1000条精心整理的高质量数据在效果上往往超过几万条爬来的垃圾数据。你要确保每条样本都是你期望的真实场景输出没有错误风格统一。微调本质上是用数据给模型“打样”样本本身质量差模型只会学到错误的行为模式。数据量方面初学者从几百条开始做实验完全够用目标不是复现论文的SOTA而是完整走通流程、理解影响效果的关键变量。6.3 基于LlamaFactory的一次完整微调LlamaFactory是目前我用过的对新手最友好的微调工具它把数据加载、参数配置、训练、导出全部封装好了。你既可以用它自带的WebUI操作也可以写成命令行脚本实现自动化。一个典型的命令行微调流程长这样llamafactory-cli train \ --model_name_or_path Qwen/Qwen2.5-7B-Instruct \ --dataset alpaca_zh_demo \ --finetuning_type lora \ --output_dir ./qwen-lora \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --learning_rate 1e-4 \ --num_train_epochs 3 \ --lora_rank 8 \ --lora_alpha 32我来解释一下几个关键参数的含义。per_device_train_batch_size是单卡每次前向传播的样本数显存小就设小一点gradient_accumulation_steps通过累积梯度来模拟更大的batch size两者相乘是最终生效的总batch sizelearning_rate是学习率决定每次更新参数的步长LoRA微调常用1e-4到2e-5之间num_train_epochs是训练轮数小白很容易在这里陷入过度调参我的建议是第一轮跑就用默认值先看能不能正常收敛再谈优化。训练完成后LlamaFactory会把LoRA权重合并到原模型或者导出成一个独立的Adapter权重。合并模型之后你可以像加载普通模型那样用它来做推理测试比较微调前后对特定任务输入的响应变化。这个过程跑通之后你对“训练”这件事的理解就不再是抽象概念了。6.4 微调中的常见坑与调优微调这个环节小白会遇到的坑基本集中在三个方面。第一是显存溢出。7B模型全量微调动辄需要几十GB显存但LoRA配合量化QLoRA之后16GB显卡就能跑7B模型的微调。LlamaFactory内置了4bit量化的启动选项如果你的显卡吃紧优先打开这个开关。第二是过拟合。如果你的训练损失降得很低但测试集上的效果反而变差那大概率是过拟合了。解决方向有减少训练轮数、增加数据量、调低LoRA的秩lora_rank或者增加一些正则手段。识别过拟合最简单的方法是把数据集划分成训练集和验证集训练过程中观察验证集损失是否有拐点。第三是“微调之后什么都不会了”。连续对话能力退化、通用能力下降这种灾难性遗忘通常因为学习率太高、训练轮数太多或者LoRA的秩设得过大。记住一个原则LoRA微调调的是“方向”不是“重新训练”参数设置需要偏保守。这个阶段结束后你应该产出一个能实际使用的微调模型哪怕它只是一个“把技术文档改写成小红书风格”的小工具也代表你已经跨过了大模型应用开发里最硬的一道门槛。7. 阶段四本地部署与拷问——别让“显存不足”杀死你的周末7.1 部署方案选型Ollama vs vLLM vs Transformers部署是微调模型走向应用的必由之路。不同场景需要不同的部署方案我先把市面上最常见的三个方案给你摆清楚。如果只是个人电脑上自己玩或者做演示demoOllama是最省事的选择。它把模型打包成了类似Docker镜像的概念一条命令就能启动一个基于OpenAI兼容接口的本地服务甚至自动帮你做显存管理和量化。如果你已经完成了微调并导出为模型文件也可以直接导入Ollama运行。如果是要做高并发的生产级API服务vLLM是更合适的选择。它最大的优势是PagedAttention技术通过类似操作系统虚拟内存分页的方式管理KV Cache能显著提升吞吐量、降低显存浪费。实测下来同样一张卡vLLM支撑的并发请求量远高于原生transformers。transformers的pipeline部署则适合刚微调完、想快速验证模型效果的场景直接.load模型的API代码几行就能跑起来。它的缺点是并发能力弱服务化能力差生产环境基本不会直接用裸的transformers扛流量。7.2 显存估算公式与量化选择部署大模型绕不开的话题就是显存。很多人第一次部署大模型遇到“CUDA out of memory”就崩溃了但其实显存是可以提前估算的。这里给出一个实用公式模型权重的显存占用大致等于模型参数量乘以每个参数的字节数。以7B模型为例如果权重是FP16精度每个参数占2字节那么仅权重就需要约14GB显存。再加上推理过程中的KV Cache、中间激活值和CUDA上下文开销实际需求会明显超过这个数值。所以你会发现一张24GB的显卡跑7B FP16模型相当勉强更不用说再开长上下文。解决办法就是量化。把权重从FP16降到4bit单个参数只占0.5字节7B模型的权重占用降到约4GB左右一张8GB显卡都能跑得动。代价是输出质量有轻微下降但对于大多数应用场景几乎不可感知。模型规模FP16权重占用4bit量化权重占用参考最低显存3B约6GB约2GB4GB7B约14GB约4GB8GB13B约26GB约8GB16GB70B约140GB约40GB80GB以上以上数值是粗略估算实际会因上下文长度、batch size和框架实现而异。对于新手我建议直接从量化模型开始部署等把链路跑通了再回到FP16体验一下真实完整的效果差距。7.3 从单机到并发服务vLLM部署示例当你的微调模型在本地验证完毕需要把它变成一个真正能对外提供服务的API时vLLM是更靠谱的选择。下面是核心启动逻辑from vllm import LLM, SamplingParams llm LLM( model/path/to/your/merged_model, tensor_parallel_size1, gpu_memory_utilization0.9, max_model_len8192 ) params SamplingParams( temperature0.7, max_tokens512, top_p0.9 ) outputs llm.generate([你好请介绍一下你自己], params) print(outputs[0].outputs[0].text)gpu_memory_utilization控制模型使用的显存比例设成0.9表示给KV Cache留出空间的同时尽量利用显存。max_model_len控制最大上下文长度这个值设太大KV Cache的显存占用会暴涨。vLLM启动之后还可以用命令直接拉起一个兼容OpenAI格式的HTTP服务这样你就能用原来的OpenAI SDK代码无缝切换到自己部署的模型上。部署层的经验总结成一句话先算清楚显存账再决定量化等级和并发配置不要凭感觉乱开参数。7.4 部署期间的常见故障与排查部署这一阶段最常见的三个故障我都踩过这里一并说清楚。第一个是“进程启动后立刻报CUDA OOM”。通常不是模型太大而是max_model_len或batch_size显式设置过大KV Cache直接吃光了显存。先调低这些参数再考虑换更小的模型或量化版本。第二个是“推理速度慢得离谱”。如果你在CPU上跑7B模型一个token可能需要几秒钟这不是设计缺陷是架构瓶颈。排查顺序是确认模型真的加载在GPU上nvidia-smi能看到进程占用确认没有在推理循环里每次都重新加载模型确认使用的不是早期朴素实现而是vLLM这类优化过推理引擎的框架。第三个是“并发一高就挂”。生产环境的部署要解决的是受控并发盲目把并发数调高最终的结果往往是OOM崩溃。解决方向是给推理服务前面加一层请求队列配合超时重试机制同时压测时需要密切关注平均首token延迟和吞吐量。8. 阶段五Agent、多模态与源码——从“会用”到“会造”8.1 Agent让模型自己调度工具走到第五个阶段你已经能熟练调用模型、外挂知识、微调模型、完成部署了。但真正拉开层次感的是Agent开发。大模型本身只是一个“大脑”它无法实时获取信息、无法调用外部系统。Agent要解决的就是这个缺口它让模型在推理时自主决定调用哪些工具来完成复杂任务。比如用户问“帮我查一下北京明天天气并提醒我是否需要带伞”Agent会调用天气API、获取信息、结合常识搭乘大模型推理最后生成完整回复。Agent的核心实现机制是Function Calling函数调用。它并不是模型真的去执行代码而是模型在推理时输出一个结构化的调用意图该调哪个函数、参数是什么。应用框架收到这个结构化输出再实际去调用代码把结果返回给模型继续生成。评估一个Agent写得好不好关键就是看它对工具的选择是否准确、参数的填充是否完整、以及失败后的重试逻辑是否靠谱。建议这一阶段用LangChain或LangGraph做几个小练习给Agent挂一个计算器和搜索工具让它完成一次“获取实时信息再回答”的任务然后再做一个多步骤任务规划。做完这些你对大模型的能力边界会有非常具体的体感。8.2 多模态文本之外的能力扩展这一阶段的第二个方向是多模态。如果你只懂纯文本大模型你会发现很多现实场景处理不了比如用户上传一张图片让你提取信息、输入一段语音让你转写总结。多模态大模型的路线一般是先掌握视觉模型的基本用法比如Qwen-VL、GPT-4o这类模型可以直接输入图片输出针对图片内容的文字描述、OCR识别结果或者图文对话回复。这个层面的学习不需要额外数学知识本质上就是把图片和文本一起喂给模型。更深一层可以去了解多模态模型是怎么把图像文本映射到同一个向量空间的但这不是新手阶段必需品。多模态的学习路径不需要重开一条路线把它作为第五阶段的扩展能力正常推进即可。方向是先跑通一个视觉对话的demo再尝试做一个“截图转HTML代码”或者“图片信息提取”的小项目。8.3 源码阅读路线与论文阅读方法这一阶段的最后一个关键动作是从读源码和读论文中获得真正的技术深度。源码阅读不能从头到尾一行行啃要按“从外层到内层”的顺序。我推荐的路线是先读模型对应的config.py理解模型有哪些配置项接着读tokenization相关代码搞清楚文本是怎么变成token的然后读modeling代码先抓住forward函数的整体数据流不要死扣每个算子最后看generation阶段的采样逻辑理解beam search、top-p这些策略是怎么实现的。这一套读下来你会对“模型是怎么生成文本的”有系统性的认识。论文阅读的策略也不一样了。入门期只需要读三到五篇里程碑论文Attention Is All You Need讲Transformer架构BERT讲预训练加微调范式GPT-3讲大模型涌现能力。每篇论文的阅读都要带着问题去读它解决了什么问题核心方案是什么效果提升了多少跟以前的方法比强在哪里一个小技巧是论文很难一次读懂先看摘要和图表再反复读方法部分配合别人的解读文章多读几遍自然就通了。9. 这条路线之外我再补充几句实在话9.1 给新手的三条铁律这一路走下来我想把三条对我帮助最大的经验放在最后说给你听。第一条是“动手永远比看视频快”。视频课程、收藏资料给你的是安全感不是真正的能力。你真正学会的那一刻永远是自己把代码敲出来、跑通、改错的那一刻。第二条是“一次只追一个目标”。今天搞Prompt明天搞Agent后天又去研究Transformer源码最后一定是一团浆糊。跟着路线走每个阶段只锚定一个产出物完成之后再开辟新战线。第三条是“学会表达你的学习过程”。每条学习路线收藏的人很多走完的人很少。如果你能把每个阶段的产出物、踩过的坑、解决问题的思路写下来放在GitHub或者博客上那不但是最好的复习资料未来找实习、找工作的时候也是最有说服力的作品。9.2 我的学习资源精简清单这条路线从头到尾核心免费资源其实就几样李宏毅的机器学习课程用于补数学直觉3Blue1Brown的神经网络系列用于可视化理解李沐的《动手学深度学习》用于理解Transformer结构HuggingFace官方教程用于熟悉transformers库Github上搜索Dify和LlamaFactory的官方文档用于应用开发和微调实战。其他资料碰到哪个坑再查哪个坑不要一开始就囤一堆。9.3 最后一句我记得自己第一次在本地跑通7B模型对话时惊喜之余感受到的是一种“原来这层窗户纸这么薄”的释然。这几年大模型领域看起来高深莫测实际上对于应用开发者而言真正的门槛从来不是数学和算法而是“愿不愿意静下心走完一条完整的路线”。希望这份路线能帮你少走点弯路也期待有一天你回头分享自己的经验和教训。