如何自动生成并排名提示词gpt-prompt-engineer 完全指南【免费下载链接】gpt-prompt-engineergpt-prompt-engineer - 一个工具用于自动化生成、测试和排名多种提示以找到最适合特定任务的提示。项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer写提示词大多靠试改一句、跑一遍、看效果来回几十轮才挑出能用的那版。gpt-prompt-engineer 把这套流程自动化——你输入任务描述和几个测试用例它会自动生成多条候选提示词逐条测试并两两对比最后按 ELO 评级借用国际象棋的排名算法输出分数榜帮你直接挑出表现最好的提示。对要频繁调提示的开发者来说这能把反复试错变成一次跑通。为什么手写提示词效率这么低想象一个常见任务给产品落地页批量生成标题。你写出第一版提示发现语气太硬改完再跑这次又太啰嗦。每改一版都要把所有测试样例重新跑一遍再靠肉眼比较输出质量。测试用例只有两三条时还好到十条以上比较工作量成倍上涨而且很难说清 A 版和 B 版到底谁更好——缺少量化依据。gpt-prompt-engineer 解决的就是这件事把生成→测试→比较→排名整条链路写成代码人只负责给任务描述和测试用例。功能拆解从生成到排名的完整链路批量生成候选提示词解决只有一条思路generate_candidate_prompts用 GPT-4、GPT-3.5-Turbo 或 Claude 3 Opus 作为生成模型基于任务描述和测试用例批量写出多条风格不同的候选提示。生成时会刻意避免把测试用例的细节写进提示保证提示的通用性。两两对比测试解决凭感觉判好坏test_candidate_prompts让每条候选提示对全部测试用例生成回答再用get_score评估输出质量。对比以比赛方式进行两条提示就同一用例的回答互相比分胜者得分过程由update_elo统一记分。ELO 评级表解决不知道最终选哪条每条提示初始 1200 分随着对比进行动态加减调整系数 K 默认 32。跑完后输出一张按评级降序的表格排名即推荐顺序取前几条做人工复核即可。快速上手三步跑通自动提示工程 克隆仓库用本地 Jupyter 打开对应 notebookgit clone https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer配置 API 密钥GPT 版本填写openai.api_keyClaude 版本填写ANTHROPIC_API_KEY。定义任务描述与测试用例运行生成函数建议从 10 条候选起步数量越多花费越高description Given a prompt, generate a landing page headline. test_cases [ {prompt: Promoting a new fitness app, Smartly}, {prompt: Why a vegan diet is good for health}, ] generate_optimal_prompt(description, test_cases, number_of_prompts10)读取结果终端打印按评级排序的表格分数最高的即当前最优提示。分类版本把用例写成带期望输出的形式按精确匹配计分{prompt: I am feeling gloomy., output: false}如需留档可开启use_wandbTrueWeights Biases 实验记录或use_portkeyTrue提示链追踪。怎么选4 个版本 notebook 的适用场景 Notebook底层模型适用场景适合人群gpt_prompt_engineer.ipynbGPT-4 / GPT-3.5-Turbo通用生成任务标题、文案、回复已在用 OpenAI 的开发者gpt_prompt_engineer_Classification_Version.ipynbGPT-4 / GPT-3.5-Turbo情感分析、垃圾邮件检测等分类任务需要量化准确率的团队claude_prompt_engineer.ipynbClaude 3 Opus多输入变量、自动生成测试用例使用 Claude 且输入较复杂的场景opus_to_haiku_conversion.ipynbOpus HaikuOpus 产出高质量示例Haiku 做低成本推理想降延迟和调用成本的场景仓库中还有同思路的模型降配实验如 Llama_3_1_405B__8B_Conversion.ipynb、Claude_3_5_Sonnet_to_gpt_4o_mini_Conversion.ipynb 与 gpt_planner.ipynb可对照参考。资源收尾 许可证MIT见 LICENSE使用说明README.md核心功能文件gpt_prompt_engineer.ipynb仓库克隆命令见上文快速上手【免费下载链接】gpt-prompt-engineergpt-prompt-engineer - 一个工具用于自动化生成、测试和排名多种提示以找到最适合特定任务的提示。项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考