MOSS-Transcribe-Diarize开发者指南：自定义提示词和热词的高级用法

MOSS-Transcribe-Diarize开发者指南：自定义提示词和热词的高级用法

【免费下载链接】MOSS-Transcribe-Diarize项目地址: https://ai.gitcode.com/hf_mirrors/OpenMOSS-Team/MOSS-Transcribe-Diarize

MOSS-Transcribe-Diarize是一款端到端的长音频多说话人转录和声纹识别模型，支持自定义提示词和热词功能，让开发者能够根据特定场景优化转录效果。🚀

什么是MOSS-Transcribe-Diarize？

MOSS-Transcribe-Diarize 0.9B是一个端到端的音频理解模型，专为长格式多说话人转录、声纹识别、时间戳标记和声学事件感知而设计。与传统的ASR（自动语音识别）和声纹识别分离的系统不同，MOSS-Transcribe-Diarize能够一次性完成语音转录和说话人分离，生成带有时间对齐和一致说话人标签的结构化文本。

这款模型特别适合会议、电话、播客、访谈、讲座、视频等长格式或多说话人录音场景。它还支持声学事件标注，为下游系统提供更丰富的上下文信息。

核心功能亮点 ✨

1. 长格式转录：将长音频或视频文件转换为带时间戳的文本
2. 说话人感知的声纹识别：自动分配匿名说话人标签如[S01]、[S02]等
3. 可提示的生成：支持自定义转录指令、热词和声学事件标注
4. 一体化处理：无需单独的声纹识别流水线

默认提示词系统解析

MOSS-Transcribe-Diarize内置了一个优化的默认提示词，专门为时间戳转录和说话人分离设计：

请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。

这个提示词确保了模型能够生成标准格式的输出：

[开始时间][Sxx]转录的语音内容[结束时间]

自定义提示词的高级用法 🎯

1. 场景化提示词定制

根据不同的应用场景，您可以创建专门的提示词来优化转录效果：

会议场景提示词：

请将会议录音转写为文本，精确识别每个说话人的发言，使用[S01]、[S02]等标签标记不同参与者，确保时间戳准确到0.1秒。同时标注重要的非语音事件如[掌声]、[笑声]。

访谈节目提示词：

请转录访谈音频，主持人标记为[S01]，嘉宾标记为[S02]。保持对话的自然流畅性，准确捕捉提问和回答的对应关系，时间精度要求高。

讲座场景提示词：

请将讲座音频转写为文本，讲师标记为[S01]，学生提问标记为[S02]。重点识别专业术语和概念解释部分，时间戳精确到秒。

2. 热词系统的深度应用

热词（Hotwords）是MOSS-Transcribe-Diarize的强大功能，通过在提示词末尾添加特定词汇，可以显著提升相关术语的识别准确率：

基础热词格式：

请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。热词提示：热词1, 热词2, 热词3

技术会议热词示例：

请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。热词提示：Transformer, Attention机制, 梯度下降, 反向传播, 过拟合, 正则化, 深度学习, 神经网络

医疗场景热词示例：

请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。热词提示：心电图, 血压, 血糖, 胆固醇, 胰岛素, 抗生素, 手术, 麻醉

3. 热词使用的最佳实践

热词选择原则：

• 相关性：选择与音频内容高度相关的专业术语
• 频率：优先选择在音频中可能多次出现的词汇
• 特殊性：包含容易误识别的专有名词或缩略语
• 数量控制：建议使用5-10个核心热词，避免过多影响模型性能

热词格式优化：

• 使用逗号分隔多个热词
• 避免使用标点符号和特殊字符
• 保持热词简洁明了
• 中英文混合场景可同时包含两种语言的术语

输出格式深度解析 📊

MOSS-Transcribe-Diarize的标准输出格式为：

[开始时间][说话人标签]转录文本[结束时间]

实际输出示例：

[0.48][S01]欢迎各位参加今天的会议[1.66][12.26][S02]新的转录流水线已经准备就绪[13.81][14.36][S01]很好，请将声纹识别结果包含在报告中[18.76]

格式说明：

• 开始时间和结束时间：以秒为单位的时间戳
• [S01]、[S02]等：模型生成的匿名说话人标签
• 说话人标签仅在当前音频内有效，不代表真实说话人身份

开发者集成指南 🔧

Python API 使用示例

通过自定义提示词和热词功能，您可以这样调用MOSS-Transcribe-Diarize：

from moss_transcribe_diarize.inference_utils import build_transcription_messages # 自定义提示词和热词 custom_prompt = """请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头， 正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。 热词提示：人工智能, 机器学习, 深度学习, 神经网络, 大数据, 云计算""" # 构建消息 messages = build_transcription_messages( audio_path="audio.wav", prompt=custom_prompt ) # 进行转录 result = generate_transcription( model, processor, messages, max_new_tokens=2048, do_sample=False, device=device, dtype=dtype, )

vLLM/SGLang API 集成

通过API服务时，您可以通过prompt参数传递自定义提示词：

curl -X POST http://localhost:8000/v1/audio/transcriptions \ -F model=OpenMOSS-Team/MOSS-Transcribe-Diarize \ -F file=@audio.wav \ -F response_format=verbose_json \ -F prompt="请将音频转写为文本，每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳，以清晰标明该段语音范围。热词提示：Python, JavaScript, TypeScript, React, Vue, 数据库, API"

性能优化技巧 ⚡

1. 长音频处理策略

对于超长音频文件，建议调整max_new_tokens参数：

curl -X POST http://localhost:8000/v1/audio/transcriptions \ -F model=OpenMOSS-Team/MOSS-Transcribe-Diarize \ -F file=@long_audio.wav \ -F response_format=verbose_json \ -F max_new_tokens=65536

2. 批量处理优化

在批量处理场景中，可以通过SGLang Omni实现高效并发：

sgl-omni serve \ --model-path OpenMOSS-Team/MOSS-Transcribe-Diarize \ --port 8000 \ --max-running-requests 16 \ --cuda-graph-max-bs 16 \ --mem-fraction-static 0.80

3. 内存使用优化

根据硬件配置调整内存分配：

• 单GPU：设置--mem-fraction-static 0.80
• 多GPU：合理分配模型层和显存
• 长序列：适当增加max_new_tokens但注意内存限制

常见问题与解决方案 🔍

Q1: 热词没有生效怎么办？

解决方案：

• 检查热词格式是否正确（逗号分隔）
• 确保热词与音频内容相关
• 尝试减少热词数量，避免冲突
• 验证提示词整体结构是否完整

Q2: 说话人识别不准确？

优化建议：

• 确保音频质量良好，背景噪音低
• 对于多人重叠说话场景，调整提示词强调说话人分离
• 使用更详细的时间戳要求
• 考虑预处理音频，分离声道或降噪

Q3: 专业术语识别错误？

改进方法：

• 在热词中包含易错术语
• 提供上下文相关的提示词
• 考虑使用领域特定的词汇表
• 对于英文术语，确保在热词中使用正确的大小写

进阶应用场景 🚀

1. 多语言混合转录

对于中英文混合的音频，可以这样设置提示词：

请将音频转写为文本，精确识别中英文混合内容。每一段需以起始时间戳和说话人编号（[S01]、[S02]、[S03]…）开头，正文为对应的语音内容，并在段末标注结束时间戳。热词提示：API, database, server, client, 服务器, 客户端, 数据库, 接口

2. 声学事件标注

除了说话人识别，MOSS-Transcribe-Diarize还支持声学事件标注：

请将音频转写为文本，标注重要的声学事件。每一段需以起始时间戳和说话人编号开头，正文为对应的语音内容，并在段末标注结束时间戳。同时标注以下事件：[掌声]、[笑声]、[咳嗽]、[电话铃声]、[键盘声]、[关门声]。

3. 结构化输出定制

通过后处理脚本，可以将原始输出转换为各种格式：

• SRT字幕格式：适合视频字幕
• JSON结构化数据：适合程序化处理
• CSV报表格式：适合数据分析
• Markdown笔记格式：适合会议纪要

最佳实践总结 📝

1. 提示词设计：根据场景定制提示词，明确输出格式要求
2. 热词选择：精选5-10个核心术语，用逗号分隔
3. 参数调优：根据音频长度调整max_new_tokens
4. 质量验证：抽样检查转录准确率和说话人识别效果
5. 持续优化：根据实际效果迭代改进提示词和热词

MOSS-Transcribe-Diarize的自定义提示词和热词功能为开发者提供了强大的灵活性，通过合理配置可以显著提升特定场景下的转录质量。无论是技术会议、医疗咨询还是多语言访谈，都能通过定制化配置获得最佳效果。

通过掌握这些高级用法，您可以将MOSS-Transcribe-Diarize的强大能力发挥到极致，为您的音频处理应用带来专业级的转录体验！🎯

【免费下载链接】MOSS-Transcribe-Diarize项目地址: https://ai.gitcode.com/hf_mirrors/OpenMOSS-Team/MOSS-Transcribe-Diarize