30款热门AI模型一站整合DeepSeek/GLM/Claude 随心用限时 5 折。 点击领海量免费额度这次我们来看一个关于提示词工程Prompt Engineering的系统性技术指南。如果你正在使用或开发基于大语言模型LLM的应用却感觉模型输出总是不尽人意或者想从简单的“调参”进阶到更专业的提示设计那么这篇文章就是为你准备的。提示词工程的核心不是去死记硬背几个“魔法咒语”而是掌握一套系统的方法论让你能精准地引导AI释放其最大潜力无论是用于问答、代码生成、数据分析还是复杂的推理任务。本文不会空谈概念而是直接切入实战。我们将围绕一份来自DAIR.AI社区的《提示工程指南》Prompt Engineering Guide拆解其核心框架并转化为可立即上手的操作步骤。你会看到从最基础的“零样本提示”到高级的“思维树ToT”、“检索增强生成RAG”等技术的具体应用场景、实现逻辑和效果验证方法。无论你是开发者、研究员还是AI应用爱好者都能从中找到提升大模型交互效率的关键技巧少走弯路。1. 核心能力速览提示工程指南是什么在深入细节之前我们先通过一个表格快速了解这份指南的核心价值与定位帮助你判断它是否是你需要的资源。能力项说明项目类型开源技术指南与知识库来源/团队DAIR.AI 社区核心内容系统化讲解提示词设计、优化技巧及与大模型交互的高级技术。覆盖模型广泛覆盖主流及前沿模型如 GPT-4、Claude 3、Gemini、Llama 系列、Mistral、Qwen等。技术深度从基础概念到高级技术如CoT, RAG, ToT, ReAct涵盖研究与应用。适用读者AI应用开发者、算法研究员、产品经理、Prompt工程师、学生。学习门槛具备基本的AI和大模型使用经验即可无需深厚算法背景。输出形式在线文档、研究论文索引、代码示例、案例研究。核心价值提供结构化知识体系避免碎片化学习直接提升与大模型协作的效率和效果。这份指南不是一个需要“部署”的软件而是一个知识体系。它的“硬件门槛”是你的理解能力和实践意愿。接下来我们将把它拆解为可执行的模块。2. 适用场景与使用边界在投入时间学习之前明确它能解决什么问题、不能解决什么至关重要。它非常适合以下场景提升现有AI应用效果你已经在用ChatGPT、文心一言等产品但希望得到更精准、更可靠或更具创造性的回答。开发基于大模型的AI功能你正在开发集成LLM的智能客服、代码助手、内容生成或数据分析工具需要设计高效的提示模板。进行AI研究或实验你需要系统性了解如何评估模型能力、设计实验提示词或探索如思维链、工具调用等高级能力。应对复杂任务面对需要多步骤推理、知识检索、长期记忆或复杂决策的任务传统简单提问效果不佳。规避模型风险需要了解如何通过提示工程减少模型“幻觉”胡言乱语、偏见输出或抵御恶意提示注入攻击。它的能力边界不替代模型训练提示工程主要优化“如何使用”预训练模型无法从根本上改变模型已有的知识容量和能力上限。对于高度专业或数据敏感的领域仍需微调Fine-tuning或检索增强RAG。效果因模型而异高级技巧如复杂的思维链在不同模型、不同版本上的表现可能差异很大。需要针对目标模型进行测试和调整。不是万能公式没有一套提示词能通吃所有任务。最佳实践需要结合具体任务、模型特性和领域知识进行迭代。依赖清晰的任务定义如果人类都无法清晰描述任务那么设计出有效的提示词将非常困难。合规与伦理提醒在使用任何提示工程技术时必须遵守法律法规和平台政策。严禁设计用于生成违法、侵权、欺诈、侵犯隐私或危害社会安全的内容的提示词。提示工程同样可用于增强模型的安全性这是每个负责任的开发者应关注的方向。3. 环境准备与前置条件学习提示工程主要“环境”是你的思维方式和工具链。以下是开始前需要准备的内容基础认知准备理解大模型基本原理知道什么是Token、生成概率、温度Temperature、Top-p等基本参数。拥有大模型访问权限至少需要一个可交互的大模型平台如在线平台OpenAI ChatGPT Plus (GPT-4), Anthropic Claude, 文心一言通义千问Kimi等。API服务OpenAI API, Azure OpenAI, 国内各大厂的模型API。本地模型通过Ollama、LM Studio、text-generation-webui等工具部署的Llama、Qwen等开源模型。明确学习目标是想优化文案生成还是构建一个代码解释器目标越具体学习效果越好。工具链准备推荐笔记工具用于记录和迭代你的提示词模板如Obsidian、Notion、飞书文档。测试与评估工具Prompt IDE一些在线平台或开源工具提供了专门的提示词开发和测试环境。Python环境如果你需要通过API进行批量测试或集成开发需要准备Python和requests,openai等库。版本管理对重要的提示词模板使用Git进行版本管理追踪迭代效果。心态准备实验心态提示工程是实验性的需要不断尝试、观察、分析和调整。结构化思维学会将复杂任务分解为模型可理解的步骤。耐心找到最优提示可能需要多次迭代。4. 核心框架拆解与实战入门根据《提示工程指南》我们可以将庞大的知识体系归纳为几个核心层次。我们从最基础的开始并附上可立即操作的测试案例。4.1 第一层基础提示技巧这是与任何大模型交互的起点决定了你能否清晰地表达需求。1. 零样本提示Zero-Shot Prompting是什么直接给模型一个任务指令不提供任何示例。何时用任务简单、定义清晰且模型对该类任务已有足够先验知识。测试案例提示词将以下英文句子翻译成中文“The rapid development of artificial intelligence is reshaping various industries.”预期效果模型应直接输出准确的中文翻译。验证点检查翻译的准确性和流畅性。2. 少样本提示Few-Shot Prompting是什么在指令中提供少量输入-输出示例引导模型理解任务格式和期望。何时用任务格式特殊、定义模糊或需要模型遵循特定风格。测试案例情感分类提示词请判断以下评论的情感倾向积极/消极 评论这个产品太棒了完全超出了我的预期 情感积极 评论服务很差等了很久都没人理。 情感消极 评论电影剧情一般但特效很震撼。 情感预期效果模型应输出“积极”或“消极”。对于最后一个模糊评论可能输出“中性”或“混合”这取决于你示例的引导。验证点模型是否能从少数示例中归纳出分类规则。4.2 第二层中级推理技术当任务需要逻辑推理、分步思考时基础提示可能不够需要更高级的引导技术。1. 链式思考提示Chain-of-Thought, CoT是什么要求模型在给出最终答案前先展示其推理步骤。对于复杂问题效果提升显著。何时用数学问题、逻辑推理、多步骤决策等。测试案例数学问题基础提示可能失败一个篮子里有5个苹果我拿走了2个又放进去3个梨现在篮子里有多少个水果CoT提示效果更好请逐步推理一个篮子里有5个苹果。我拿走了2个所以剩下5-23个苹果。然后我又放进去3个梨。现在篮子里有3个苹果 3个梨 6个水果。所以最终答案是6。更优的CoT提示引导模型自己思考让我们一步步思考。首先最初有5个苹果。拿走2个后还剩几个苹果然后不考虑水果种类放进去3个新水果。那么现在总共有多少水果验证点比较使用CoT前后模型得出正确答案的稳定性和可靠性。2. 自我一致性Self-Consistency是什么对同一个问题让模型用CoT生成多个推理路径和答案然后选择最常出现的答案作为最终输出。何时用在CoT基础上进一步提升复杂推理任务的准确性。操作思路通过编程调用API将同一个CoT提示多次发送给模型可调整temperature参数增加多样性收集所有答案进行“投票”选择。验证点对比单次CoT输出和多次采样后投票的结果观察准确率是否提升。4.3 第三层高级应用框架这些框架将提示工程与外部工具、知识库结合解决更复杂的现实问题。1. 检索增强生成Retrieval-Augmented Generation, RAG是什么在生成答案前先从外部知识库如文档、数据库中检索相关信息并将其作为上下文提供给模型。这能极大减少模型“幻觉”并使其能回答训练数据之外的最新或专有知识。核心流程索引将文档切分、向量化存入向量数据库。检索根据用户问题从向量库中查找最相关的文本片段。增强将检索到的片段与原始问题一起组合成新的提示词交给LLM生成答案。简易测试模拟准备一段关于“公司2024年Q3财报”的文本。问题公司2024年第三季度的营收增长率是多少传统提问模型可能不知道或胡编。RAG式提问请根据以下上下文回答问题[插入财报相关段落]问题公司2024年第三季度的营收增长率是多少验证点模型是否能从提供的上下文中精准定位并提取答案。2. ReAct 框架Reason Act是什么让模型在思考Reason和行动Act之间循环。模型可以决定何时需要调用外部工具如计算器、搜索引擎、API使用工具得到结果后再继续思考下一步。何时用需要动态获取信息、进行计算或操作外部系统的任务。模拟流程模型思考“用户问‘北京今天的天气如何’我需要知道实时天气应该调用天气查询API。”模型行动调用工具[weather_api]参数location北京系统返回工具返回北京晴15-25°C。模型思考“我收到了天气信息现在可以组织回答。”模型最终回答“北京今天天气晴朗气温在15到25摄氏度之间。”验证点观察模型是否能正确规划工具调用序列并整合工具结果生成连贯回答。5. 功能测试与效果验证清单学完技术关键在实践。你可以针对你的具体任务设计如下测试清单系统化地评估提示词效果。测试维度测试方法成功标准常见问题与调优方向基础理解使用零样本提示询问简单事实或执行简单指令。模型能准确理解并执行。如果失败检查指令是否歧义尝试更精确的措辞。格式遵循使用少样本提示要求模型按特定格式如JSON、表格、列表输出。输出严格符合指定格式。增加示例数量或让示例更典型在指令中明确强调格式要求。复杂推理使用CoT提示处理一个多步骤数学或逻辑问题。模型能展示合理的推理步骤并得到正确答案。如果推理跳跃或错误尝试在提示中分解更细的步骤或改用更强大的模型。知识依赖询问模型训练数据截止日期之后的事件或非常专有的知识。无RAG模型应承认不知道或可能产生幻觉。有RAG模型能基于提供的上下文正确回答。对于时效/专有知识必须引入RAG。检查检索到的上下文是否相关、准确。创造性任务要求模型生成一首诗、一个故事或一个营销文案。输出具有创造性、连贯且符合主题。调整temperature参数提高以增加随机性在提示中指定风格、长度、关键词。工具调用在支持Function Calling的模型中设计需要计算或查询的任务。模型能正确请求调用合适的工具并解析工具返回结果。确保工具描述清晰检查模型是否错误理解了调用时机或参数。抗干扰能力在正常提示前后添加无关或误导性文本提示词注入测试。模型能忽略干扰专注于核心指令完成任务。将指令放在提示词末尾或使用特殊分隔符如###包围对于关键应用需在系统层面做输入清洗。6. 接口API与批量任务实践当你需要将优化好的提示词集成到应用中或进行大规模测试时API调用和批量处理是关键。1. 单次API调用模板以OpenAI风格为例import openai # 或使用其他兼容库如 litellm client openai.OpenAI(api_keyyour-api-key) def ask_llm_with_prompt(prompt, modelgpt-4): response client.chat.completions.create( modelmodel, messages[ {role: system, content: 你是一个有帮助的助手。}, # 系统提示设定角色 {role: user, content: prompt} # 用户提示 ], temperature0.7, # 控制创造性 max_tokens1000, # 控制生成长度 ) return response.choices[0].message.content # 使用优化后的CoT提示词 cot_prompt 让我们一步步思考。一个房间里有3张桌子每张桌子有4条腿。另外还有5把椅子每把椅子有3条腿。房间里总共有多少条腿 answer ask_llm_with_prompt(cot_prompt) print(answer)2. 批量任务处理与评估对于需要测试大量提示词变体或处理大量数据的情况需要系统化的批量处理。import pandas as pd import json from tqdm import tqdm # 进度条库 # 1. 准备数据 test_cases [ {id: 1, input: 5个苹果拿走2个加3个梨总水果数, expected_answer: 6}, {id: 2, input: 10块钱买3块5的东西找零多少, expected_answer: 6.5}, # ... 更多测试用例 ] prompt_templates [ 直接回答{input}, 请一步步推理{input}, # ... 不同的提示词模板 ] results [] # 2. 批量调用与记录 for case in tqdm(test_cases): for template in prompt_templates: prompt template.format(inputcase[input]) try: response ask_llm_with_prompt(prompt) # 简单判断是否包含预期答案实际评估可能更复杂 is_correct case[expected_answer] in response results.append({ case_id: case[id], template: template, input: case[input], expected: case[expected_answer], model_output: response, is_correct: is_correct }) except Exception as e: results.append({ case_id: case[id], template: template, input: case[input], expected: case[expected_answer], model_output: fERROR: {e}, is_correct: False }) # 建议添加延迟避免触发API速率限制 # time.sleep(0.5) # 3. 结果分析与保存 df_results pd.DataFrame(results) # 计算每个提示模板的准确率 accuracy_by_template df_results.groupby(template)[is_correct].mean() print(各提示模板准确率) print(accuracy_by_template) # 保存详细结果 df_results.to_csv(prompt_testing_results.csv, indexFalse, encodingutf-8-sig)通过这样的批量测试你可以数据驱动地找到针对特定任务的最优提示词模板。7. 资源占用与性能观察提示工程本身不消耗本地GPU资源其“性能”主要体现在API调用成本、响应延迟和输出质量上。Token消耗与成本核心指标输入Token数 输出Token数。更长的提示词尤其是少样本示例和RAG上下文会显著增加输入Token从而增加成本。优化策略精简提示词删除冗余信息。对少样本示例进行压缩或选择最具代表性的例子。在RAG中优化检索策略只返回最相关的片段而非整个文档。观察方法大多数API如OpenAI的响应中会包含usage字段明确显示消耗的Token数。响应延迟影响因素提示词复杂度、模型大小、API服务负载、网络状况。优化策略对于实时应用考虑使用更小、更快的模型。将复杂的多步推理如CoT拆解对于中间步骤是否可以使用缓存异步调用非关键路径的生成任务。输出质量稳定性影响因素temperature参数、提示词本身的确定性、模型本身的随机性。观察与调优对于需要确定答案的任务如分类、提取将temperature设为0或接近0。对于创造性任务可以适当调高temperature但需通过多次采样如自我一致性来选择最佳输出。设计评估指标如准确率、相关性、流畅度并进行批量测试量化提示词的稳定性。8. 常见问题与排查方法在实践中你会遇到各种问题。下表列出典型问题及解决思路。问题现象可能原因排查方式解决方案模型输出完全无关提示词指令模糊或被误解系统提示Role设置冲突。检查提示词是否清晰无歧义简化指令尝试零样本提示。重写提示词使用更直接的语言明确系统角色的设定。模型忽略部分指令提示词过长关键指令被淹没指令间存在矛盾。将关键指令放在开头或结尾使用分隔符如###突出指令部分。精简提示词确保指令单一明确对复杂任务使用“分步执行”的提示结构。CoT推理步骤混乱模型不擅长或未被充分引导进行逐步推理。检查是否在提示中明确要求“一步步思考”提供一两个少样本的CoT示例。使用更强大的模型如GPT-4提供更详细的推理示例Few-Shot CoT。RAG回答未基于上下文检索到的上下文不相关模型未优先使用上下文。检查检索环节看返回的文本片段是否与问题相关。优化检索器如用更好的嵌入模型、调整检索策略在提示词中强化指令如“必须严格依据以下上下文回答如果上下文未提及请说不知道”。API调用返回错误提示词过长超限格式不符合API要求认证失败。查看API返回的错误码和消息。计算提示词Token数。截断或压缩提示词严格按照API文档格式发送请求检查API Key和终结点是否正确。输出格式不符合要求模型未理解输出格式指令。检查少样本示例的格式是否清晰、一致。在指令中明确指定格式如“请以JSON格式输出”并提供一个完美的输出示例。处理长文本时中断或质量下降模型有上下文长度限制长文本中关键信息位置不佳。确认模型上下文窗口大小如128K。检查关键信息是否在文本开头或结尾。对长文档进行分段处理采用“Map-Reduce”等策略在RAG中优化文本切分Chunking策略。9. 最佳实践与使用建议将提示工程从技巧升华为习惯需要遵循一些最佳实践。从简单开始迭代优化不要一开始就设计复杂的提示。先用最简单的零样本提示测试模型的基础能力然后逐步增加约束、示例或推理步骤。角色扮演与系统提示善用system角色消息来设定模型的“人设”这能显著影响其回答的风格和范围。例如“你是一个严谨的科学家”和“你是一个幽默的段子手”会产生截然不同的输出。结构化你的提示词像写程序一样设计提示。使用清晰的章节、分隔符和标记。例如### 任务描述 ### [这里描述任务] ### 输入数据 ### [这里放输入] ### 输出格式要求 ### [这里规定格式] ### 请开始处理 ###建立你的提示词库将经过验证有效的提示词模板分类保存如翻译、总结、代码生成、客服回复。为每个模板记录其适用模型、场景、参数和效果评估。持续评估与A/B测试对于生产环境的关键提示建立自动化测试管道。定期用一批标准问题测试监控其准确率、成本、延迟等指标的变化。安全与合规前置在提示词设计中就加入安全护栏。例如在系统提示中明确禁止生成有害内容。对于面向用户的应用务必对用户输入进行清洗和检查防止提示词注入攻击。拥抱不确定性大模型的输出具有概率性。对于重要应用不要依赖单次生成的结果。考虑使用自我一致性、多次采样取最优等策略来增加可靠性。掌握提示词工程本质上是掌握了一种与强大AI协同工作的新语言。它没有唯一的正确答案但通过系统性的学习《提示工程指南》这样的知识体系并辅以大量的实践和测试你就能从“随机提问”走向“精准引导”让大模型真正成为你手中高效、可靠的智能伙伴。这份指南的价值在于它提供了一个从基础到前沿的完整地图让你能按图索骥快速定位并学习你当前最需要的技术从而在AI应用开发的道路上走得更稳、更快。建议将本文提及的测试方法和排查清单保存下来在下次优化你的AI应用时它们会是非常实用的参考。 30款热门AI模型一站整合DeepSeek/GLM/Claude 随心用限时 5 折。 点击领海量免费额度
30款热门AI模型一站整合DeepSeek/GLM/Claude 随心用限时 5 折。 点击领海量免费额度这次我们来看一个关于提示词工程Prompt Engineering的系统性技术指南。如果你正在使用或开发基于大语言模型LLM的应用却感觉模型输出总是不尽人意或者想从简单的“调参”进阶到更专业的提示设计那么这篇文章就是为你准备的。提示词工程的核心不是去死记硬背几个“魔法咒语”而是掌握一套系统的方法论让你能精准地引导AI释放其最大潜力无论是用于问答、代码生成、数据分析还是复杂的推理任务。本文不会空谈概念而是直接切入实战。我们将围绕一份来自DAIR.AI社区的《提示工程指南》Prompt Engineering Guide拆解其核心框架并转化为可立即上手的操作步骤。你会看到从最基础的“零样本提示”到高级的“思维树ToT”、“检索增强生成RAG”等技术的具体应用场景、实现逻辑和效果验证方法。无论你是开发者、研究员还是AI应用爱好者都能从中找到提升大模型交互效率的关键技巧少走弯路。1. 核心能力速览提示工程指南是什么在深入细节之前我们先通过一个表格快速了解这份指南的核心价值与定位帮助你判断它是否是你需要的资源。能力项说明项目类型开源技术指南与知识库来源/团队DAIR.AI 社区核心内容系统化讲解提示词设计、优化技巧及与大模型交互的高级技术。覆盖模型广泛覆盖主流及前沿模型如 GPT-4、Claude 3、Gemini、Llama 系列、Mistral、Qwen等。技术深度从基础概念到高级技术如CoT, RAG, ToT, ReAct涵盖研究与应用。适用读者AI应用开发者、算法研究员、产品经理、Prompt工程师、学生。学习门槛具备基本的AI和大模型使用经验即可无需深厚算法背景。输出形式在线文档、研究论文索引、代码示例、案例研究。核心价值提供结构化知识体系避免碎片化学习直接提升与大模型协作的效率和效果。这份指南不是一个需要“部署”的软件而是一个知识体系。它的“硬件门槛”是你的理解能力和实践意愿。接下来我们将把它拆解为可执行的模块。2. 适用场景与使用边界在投入时间学习之前明确它能解决什么问题、不能解决什么至关重要。它非常适合以下场景提升现有AI应用效果你已经在用ChatGPT、文心一言等产品但希望得到更精准、更可靠或更具创造性的回答。开发基于大模型的AI功能你正在开发集成LLM的智能客服、代码助手、内容生成或数据分析工具需要设计高效的提示模板。进行AI研究或实验你需要系统性了解如何评估模型能力、设计实验提示词或探索如思维链、工具调用等高级能力。应对复杂任务面对需要多步骤推理、知识检索、长期记忆或复杂决策的任务传统简单提问效果不佳。规避模型风险需要了解如何通过提示工程减少模型“幻觉”胡言乱语、偏见输出或抵御恶意提示注入攻击。它的能力边界不替代模型训练提示工程主要优化“如何使用”预训练模型无法从根本上改变模型已有的知识容量和能力上限。对于高度专业或数据敏感的领域仍需微调Fine-tuning或检索增强RAG。效果因模型而异高级技巧如复杂的思维链在不同模型、不同版本上的表现可能差异很大。需要针对目标模型进行测试和调整。不是万能公式没有一套提示词能通吃所有任务。最佳实践需要结合具体任务、模型特性和领域知识进行迭代。依赖清晰的任务定义如果人类都无法清晰描述任务那么设计出有效的提示词将非常困难。合规与伦理提醒在使用任何提示工程技术时必须遵守法律法规和平台政策。严禁设计用于生成违法、侵权、欺诈、侵犯隐私或危害社会安全的内容的提示词。提示工程同样可用于增强模型的安全性这是每个负责任的开发者应关注的方向。3. 环境准备与前置条件学习提示工程主要“环境”是你的思维方式和工具链。以下是开始前需要准备的内容基础认知准备理解大模型基本原理知道什么是Token、生成概率、温度Temperature、Top-p等基本参数。拥有大模型访问权限至少需要一个可交互的大模型平台如在线平台OpenAI ChatGPT Plus (GPT-4), Anthropic Claude, 文心一言通义千问Kimi等。API服务OpenAI API, Azure OpenAI, 国内各大厂的模型API。本地模型通过Ollama、LM Studio、text-generation-webui等工具部署的Llama、Qwen等开源模型。明确学习目标是想优化文案生成还是构建一个代码解释器目标越具体学习效果越好。工具链准备推荐笔记工具用于记录和迭代你的提示词模板如Obsidian、Notion、飞书文档。测试与评估工具Prompt IDE一些在线平台或开源工具提供了专门的提示词开发和测试环境。Python环境如果你需要通过API进行批量测试或集成开发需要准备Python和requests,openai等库。版本管理对重要的提示词模板使用Git进行版本管理追踪迭代效果。心态准备实验心态提示工程是实验性的需要不断尝试、观察、分析和调整。结构化思维学会将复杂任务分解为模型可理解的步骤。耐心找到最优提示可能需要多次迭代。4. 核心框架拆解与实战入门根据《提示工程指南》我们可以将庞大的知识体系归纳为几个核心层次。我们从最基础的开始并附上可立即操作的测试案例。4.1 第一层基础提示技巧这是与任何大模型交互的起点决定了你能否清晰地表达需求。1. 零样本提示Zero-Shot Prompting是什么直接给模型一个任务指令不提供任何示例。何时用任务简单、定义清晰且模型对该类任务已有足够先验知识。测试案例提示词将以下英文句子翻译成中文“The rapid development of artificial intelligence is reshaping various industries.”预期效果模型应直接输出准确的中文翻译。验证点检查翻译的准确性和流畅性。2. 少样本提示Few-Shot Prompting是什么在指令中提供少量输入-输出示例引导模型理解任务格式和期望。何时用任务格式特殊、定义模糊或需要模型遵循特定风格。测试案例情感分类提示词请判断以下评论的情感倾向积极/消极 评论这个产品太棒了完全超出了我的预期 情感积极 评论服务很差等了很久都没人理。 情感消极 评论电影剧情一般但特效很震撼。 情感预期效果模型应输出“积极”或“消极”。对于最后一个模糊评论可能输出“中性”或“混合”这取决于你示例的引导。验证点模型是否能从少数示例中归纳出分类规则。4.2 第二层中级推理技术当任务需要逻辑推理、分步思考时基础提示可能不够需要更高级的引导技术。1. 链式思考提示Chain-of-Thought, CoT是什么要求模型在给出最终答案前先展示其推理步骤。对于复杂问题效果提升显著。何时用数学问题、逻辑推理、多步骤决策等。测试案例数学问题基础提示可能失败一个篮子里有5个苹果我拿走了2个又放进去3个梨现在篮子里有多少个水果CoT提示效果更好请逐步推理一个篮子里有5个苹果。我拿走了2个所以剩下5-23个苹果。然后我又放进去3个梨。现在篮子里有3个苹果 3个梨 6个水果。所以最终答案是6。更优的CoT提示引导模型自己思考让我们一步步思考。首先最初有5个苹果。拿走2个后还剩几个苹果然后不考虑水果种类放进去3个新水果。那么现在总共有多少水果验证点比较使用CoT前后模型得出正确答案的稳定性和可靠性。2. 自我一致性Self-Consistency是什么对同一个问题让模型用CoT生成多个推理路径和答案然后选择最常出现的答案作为最终输出。何时用在CoT基础上进一步提升复杂推理任务的准确性。操作思路通过编程调用API将同一个CoT提示多次发送给模型可调整temperature参数增加多样性收集所有答案进行“投票”选择。验证点对比单次CoT输出和多次采样后投票的结果观察准确率是否提升。4.3 第三层高级应用框架这些框架将提示工程与外部工具、知识库结合解决更复杂的现实问题。1. 检索增强生成Retrieval-Augmented Generation, RAG是什么在生成答案前先从外部知识库如文档、数据库中检索相关信息并将其作为上下文提供给模型。这能极大减少模型“幻觉”并使其能回答训练数据之外的最新或专有知识。核心流程索引将文档切分、向量化存入向量数据库。检索根据用户问题从向量库中查找最相关的文本片段。增强将检索到的片段与原始问题一起组合成新的提示词交给LLM生成答案。简易测试模拟准备一段关于“公司2024年Q3财报”的文本。问题公司2024年第三季度的营收增长率是多少传统提问模型可能不知道或胡编。RAG式提问请根据以下上下文回答问题[插入财报相关段落]问题公司2024年第三季度的营收增长率是多少验证点模型是否能从提供的上下文中精准定位并提取答案。2. ReAct 框架Reason Act是什么让模型在思考Reason和行动Act之间循环。模型可以决定何时需要调用外部工具如计算器、搜索引擎、API使用工具得到结果后再继续思考下一步。何时用需要动态获取信息、进行计算或操作外部系统的任务。模拟流程模型思考“用户问‘北京今天的天气如何’我需要知道实时天气应该调用天气查询API。”模型行动调用工具[weather_api]参数location北京系统返回工具返回北京晴15-25°C。模型思考“我收到了天气信息现在可以组织回答。”模型最终回答“北京今天天气晴朗气温在15到25摄氏度之间。”验证点观察模型是否能正确规划工具调用序列并整合工具结果生成连贯回答。5. 功能测试与效果验证清单学完技术关键在实践。你可以针对你的具体任务设计如下测试清单系统化地评估提示词效果。测试维度测试方法成功标准常见问题与调优方向基础理解使用零样本提示询问简单事实或执行简单指令。模型能准确理解并执行。如果失败检查指令是否歧义尝试更精确的措辞。格式遵循使用少样本提示要求模型按特定格式如JSON、表格、列表输出。输出严格符合指定格式。增加示例数量或让示例更典型在指令中明确强调格式要求。复杂推理使用CoT提示处理一个多步骤数学或逻辑问题。模型能展示合理的推理步骤并得到正确答案。如果推理跳跃或错误尝试在提示中分解更细的步骤或改用更强大的模型。知识依赖询问模型训练数据截止日期之后的事件或非常专有的知识。无RAG模型应承认不知道或可能产生幻觉。有RAG模型能基于提供的上下文正确回答。对于时效/专有知识必须引入RAG。检查检索到的上下文是否相关、准确。创造性任务要求模型生成一首诗、一个故事或一个营销文案。输出具有创造性、连贯且符合主题。调整temperature参数提高以增加随机性在提示中指定风格、长度、关键词。工具调用在支持Function Calling的模型中设计需要计算或查询的任务。模型能正确请求调用合适的工具并解析工具返回结果。确保工具描述清晰检查模型是否错误理解了调用时机或参数。抗干扰能力在正常提示前后添加无关或误导性文本提示词注入测试。模型能忽略干扰专注于核心指令完成任务。将指令放在提示词末尾或使用特殊分隔符如###包围对于关键应用需在系统层面做输入清洗。6. 接口API与批量任务实践当你需要将优化好的提示词集成到应用中或进行大规模测试时API调用和批量处理是关键。1. 单次API调用模板以OpenAI风格为例import openai # 或使用其他兼容库如 litellm client openai.OpenAI(api_keyyour-api-key) def ask_llm_with_prompt(prompt, modelgpt-4): response client.chat.completions.create( modelmodel, messages[ {role: system, content: 你是一个有帮助的助手。}, # 系统提示设定角色 {role: user, content: prompt} # 用户提示 ], temperature0.7, # 控制创造性 max_tokens1000, # 控制生成长度 ) return response.choices[0].message.content # 使用优化后的CoT提示词 cot_prompt 让我们一步步思考。一个房间里有3张桌子每张桌子有4条腿。另外还有5把椅子每把椅子有3条腿。房间里总共有多少条腿 answer ask_llm_with_prompt(cot_prompt) print(answer)2. 批量任务处理与评估对于需要测试大量提示词变体或处理大量数据的情况需要系统化的批量处理。import pandas as pd import json from tqdm import tqdm # 进度条库 # 1. 准备数据 test_cases [ {id: 1, input: 5个苹果拿走2个加3个梨总水果数, expected_answer: 6}, {id: 2, input: 10块钱买3块5的东西找零多少, expected_answer: 6.5}, # ... 更多测试用例 ] prompt_templates [ 直接回答{input}, 请一步步推理{input}, # ... 不同的提示词模板 ] results [] # 2. 批量调用与记录 for case in tqdm(test_cases): for template in prompt_templates: prompt template.format(inputcase[input]) try: response ask_llm_with_prompt(prompt) # 简单判断是否包含预期答案实际评估可能更复杂 is_correct case[expected_answer] in response results.append({ case_id: case[id], template: template, input: case[input], expected: case[expected_answer], model_output: response, is_correct: is_correct }) except Exception as e: results.append({ case_id: case[id], template: template, input: case[input], expected: case[expected_answer], model_output: fERROR: {e}, is_correct: False }) # 建议添加延迟避免触发API速率限制 # time.sleep(0.5) # 3. 结果分析与保存 df_results pd.DataFrame(results) # 计算每个提示模板的准确率 accuracy_by_template df_results.groupby(template)[is_correct].mean() print(各提示模板准确率) print(accuracy_by_template) # 保存详细结果 df_results.to_csv(prompt_testing_results.csv, indexFalse, encodingutf-8-sig)通过这样的批量测试你可以数据驱动地找到针对特定任务的最优提示词模板。7. 资源占用与性能观察提示工程本身不消耗本地GPU资源其“性能”主要体现在API调用成本、响应延迟和输出质量上。Token消耗与成本核心指标输入Token数 输出Token数。更长的提示词尤其是少样本示例和RAG上下文会显著增加输入Token从而增加成本。优化策略精简提示词删除冗余信息。对少样本示例进行压缩或选择最具代表性的例子。在RAG中优化检索策略只返回最相关的片段而非整个文档。观察方法大多数API如OpenAI的响应中会包含usage字段明确显示消耗的Token数。响应延迟影响因素提示词复杂度、模型大小、API服务负载、网络状况。优化策略对于实时应用考虑使用更小、更快的模型。将复杂的多步推理如CoT拆解对于中间步骤是否可以使用缓存异步调用非关键路径的生成任务。输出质量稳定性影响因素temperature参数、提示词本身的确定性、模型本身的随机性。观察与调优对于需要确定答案的任务如分类、提取将temperature设为0或接近0。对于创造性任务可以适当调高temperature但需通过多次采样如自我一致性来选择最佳输出。设计评估指标如准确率、相关性、流畅度并进行批量测试量化提示词的稳定性。8. 常见问题与排查方法在实践中你会遇到各种问题。下表列出典型问题及解决思路。问题现象可能原因排查方式解决方案模型输出完全无关提示词指令模糊或被误解系统提示Role设置冲突。检查提示词是否清晰无歧义简化指令尝试零样本提示。重写提示词使用更直接的语言明确系统角色的设定。模型忽略部分指令提示词过长关键指令被淹没指令间存在矛盾。将关键指令放在开头或结尾使用分隔符如###突出指令部分。精简提示词确保指令单一明确对复杂任务使用“分步执行”的提示结构。CoT推理步骤混乱模型不擅长或未被充分引导进行逐步推理。检查是否在提示中明确要求“一步步思考”提供一两个少样本的CoT示例。使用更强大的模型如GPT-4提供更详细的推理示例Few-Shot CoT。RAG回答未基于上下文检索到的上下文不相关模型未优先使用上下文。检查检索环节看返回的文本片段是否与问题相关。优化检索器如用更好的嵌入模型、调整检索策略在提示词中强化指令如“必须严格依据以下上下文回答如果上下文未提及请说不知道”。API调用返回错误提示词过长超限格式不符合API要求认证失败。查看API返回的错误码和消息。计算提示词Token数。截断或压缩提示词严格按照API文档格式发送请求检查API Key和终结点是否正确。输出格式不符合要求模型未理解输出格式指令。检查少样本示例的格式是否清晰、一致。在指令中明确指定格式如“请以JSON格式输出”并提供一个完美的输出示例。处理长文本时中断或质量下降模型有上下文长度限制长文本中关键信息位置不佳。确认模型上下文窗口大小如128K。检查关键信息是否在文本开头或结尾。对长文档进行分段处理采用“Map-Reduce”等策略在RAG中优化文本切分Chunking策略。9. 最佳实践与使用建议将提示工程从技巧升华为习惯需要遵循一些最佳实践。从简单开始迭代优化不要一开始就设计复杂的提示。先用最简单的零样本提示测试模型的基础能力然后逐步增加约束、示例或推理步骤。角色扮演与系统提示善用system角色消息来设定模型的“人设”这能显著影响其回答的风格和范围。例如“你是一个严谨的科学家”和“你是一个幽默的段子手”会产生截然不同的输出。结构化你的提示词像写程序一样设计提示。使用清晰的章节、分隔符和标记。例如### 任务描述 ### [这里描述任务] ### 输入数据 ### [这里放输入] ### 输出格式要求 ### [这里规定格式] ### 请开始处理 ###建立你的提示词库将经过验证有效的提示词模板分类保存如翻译、总结、代码生成、客服回复。为每个模板记录其适用模型、场景、参数和效果评估。持续评估与A/B测试对于生产环境的关键提示建立自动化测试管道。定期用一批标准问题测试监控其准确率、成本、延迟等指标的变化。安全与合规前置在提示词设计中就加入安全护栏。例如在系统提示中明确禁止生成有害内容。对于面向用户的应用务必对用户输入进行清洗和检查防止提示词注入攻击。拥抱不确定性大模型的输出具有概率性。对于重要应用不要依赖单次生成的结果。考虑使用自我一致性、多次采样取最优等策略来增加可靠性。掌握提示词工程本质上是掌握了一种与强大AI协同工作的新语言。它没有唯一的正确答案但通过系统性的学习《提示工程指南》这样的知识体系并辅以大量的实践和测试你就能从“随机提问”走向“精准引导”让大模型真正成为你手中高效、可靠的智能伙伴。这份指南的价值在于它提供了一个从基础到前沿的完整地图让你能按图索骥快速定位并学习你当前最需要的技术从而在AI应用开发的道路上走得更稳、更快。建议将本文提及的测试方法和排查清单保存下来在下次优化你的AI应用时它们会是非常实用的参考。 30款热门AI模型一站整合DeepSeek/GLM/Claude 随心用限时 5 折。 点击领海量免费额度
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
