chat_templates项目深度解析：从文件结构到代码实现原理-拓冰建站

chat_templates项目深度解析：从文件结构到代码实现原理

【免费下载链接】chat_templatesChat Templates for 🤗 HuggingFace Large Language Models项目地址: https://gitcode.com/gh_mirrors/ch/chat_templates

chat_templates项目是一个为HuggingFace大语言模型提供专业聊天模板的开源仓库，旨在支持transformers库的chat_template功能，帮助开发者轻松实现不同模型的对话格式处理。

项目核心价值与应用场景

为什么需要专用聊天模板？

不同的大语言模型（如Llama、Mistral、Phi-3等）采用截然不同的对话格式规范，直接使用可能导致模型输出异常或性能下降。chat_templates项目通过统一的Jinja模板文件，为各种主流模型提供经过验证的输入格式解决方案，确保对话交互的准确性和高效性。

项目适用人群

自然语言处理开发者
大模型应用构建者
开源项目维护者
AI研究人员

项目结构详解

目录组织与核心文件

项目采用清晰的双层结构设计，包含两个主要功能目录：

chat_templates目录
- 包含所有模型的Jinja模板文件（如llama-3-instruct.jinja、mistral-instruct.jinja等）
- 直接适配HuggingFace tokenizers的模板格式
- 目前支持超过15种主流模型模板
generation_configs目录
- 存储模型生成配置的JSON文件
- 包含stop_token_ids等关键生成参数
- 与模板文件一一对应，确保完整的模型支持

典型文件示例

Llama-3-Instruct模板文件：chat_templates/llama-3-instruct.jinja

{% if messages[0]['role'] == 'system' %} {% set offset = 1 %} {% else %} {% set offset = 0 %} {% endif %} {{ bos_token }} {% for message in messages %} {% if (message['role'] == 'user') != (loop.index0 % 2 == offset) %} {{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }} {% endif %} {{ '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n' + message['content'] | trim + '<|eot_id|>' }} {% endfor %} {% if add_generation_prompt %} {{ '<|start_header_id|>' + 'assistant' + '<|end_header_id|>\n\n' }} {% endif %}

对应生成配置文件：generation_configs/llama-3-instruct.json

{ "chat_template": "chat_templates/llama-3-instruct.jinja", "stop_str": null, "stop_token_ids": [128001, 128009], "system_prompt": null }

代码实现原理

模板工作机制

角色交替验证模板首先检查对话消息的角色顺序是否符合"user/assistant"交替规则，确保输入格式正确：

{% if (message['role'] == 'user') != (loop.index0 % 2 == offset) %} {{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }} {% endif %}

特殊标记处理为不同角色添加特定的标记头和结束符，如Llama-3使用的<|start_header_id|>和<|eot_id|>标记：
```
{{ '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n' + message['content'] | trim + '<|eot_id|>' }}
```

生成提示添加当需要模型生成回复时，自动添加assistant角色标记：

{% if add_generation_prompt %} {{ '<|start_header_id|>' + 'assistant' + '<|end_header_id|>\n\n' }} {% endif %}

生成配置协同工作

generation_configs目录中的JSON文件提供关键的生成控制参数，特别是stop_token_ids，用于指示模型何时停止生成：

"stop_token_ids": [128001, 128009]

这些参数需要直接传递给模型的generate方法，确保生成过程的正确终止。

快速使用指南

基础使用步骤

克隆仓库

git clone https://gitcode.com/gh_mirrors/ch/chat_templates

应用聊天模板

from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct") with open("chat_templates/llama-3-instruct.jinja", "r") as f: chat_template = f.read() tokenizer.chat_template = chat_template

准备对话消息

messages = [ {'role': 'system', 'content': 'This is a system prompt.'}, {'role': 'user', 'content': 'This is the user input.'} ]

生成格式化输入

input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

不同模型的使用差异

不同模型对系统提示的支持存在差异：

支持系统提示的模型：Llama-3/3.1、Qwen2、Yi-1.5等
不原生支持系统提示的模型：Mistral-Instruct、Gemma-IT等（需通过特殊方式处理）

例如Mistral-Instruct模型需要将系统提示前置到用户输入中：

messages = [ {'role': 'user', 'content': 'This is a system prompt.\n\nThis is the user input.'}, {'role': 'assistant', 'content': 'This is the assistant response.'} ]

支持的模型与更新日志

主要支持模型

chat_templates项目支持众多主流大语言模型，包括但不限于：

Meta系列：Llama-2-Chat、Llama-3-Instruct、Llama-3.1-Instruct
微软系列：Phi-3、Phi-3-small、Orca-2
Google系列：Gemma-IT、Gemma-2-IT
开源热门模型：Mistral-Instruct、Mixtral-Instruct、Vicuna
其他厂商模型：Qwen2-Instruct、Yi-Chat、SOLAR-Instruct

项目更新亮点

2024年7月：添加对Meta Llama-3.1模型的支持
2024年6月：添加对Google Gemma-2模型的支持
2024年4月：添加对Microsoft Phi-3模型的支持
2024年2月：添加generation_configs使用说明
持续更新：不断增加新模型支持和优化现有模板

项目贡献与引用

如何贡献

如果您希望为项目添加新的聊天模板，欢迎通过以下步骤贡献：

Fork本仓库
添加新的Jinja模板文件到chat_templates目录
添加对应的生成配置文件到generation_configs目录
提交Pull Request

引用方式

如果您在研究或项目中使用了本仓库，请按以下方式引用：

@misc{zheng-2024-chat-templates, author = {Zheng, Chujie}, title = {Chat Templates for HuggingFace Large Language Models}, year = {2024}, howpublished = {\url{https://github.com/chujiezheng/chat_templates}} }