PeerTube 转写开发工具包基于 JiWER 的 WER/CER 评测与多引擎基准测试指南【免费下载链接】PeerTubeActivityPub-federated video streaming platform using P2P directly in your web browser项目地址: https://gitcode.com/gh_mirrors/pe/PeerTube导读packages/transcription-devtools是 PeerTube 仓库中专为转写Transcription功能配套的开发者工具包它为 ASR自动语音识别转写引擎的质量评估与性能对比提供了开箱即用的方案。本文以该工具包的 README 为骨架结合仓库内源码与测试讲解如何编译构建工具包、运行跨引擎基准测试Benchmark、通过 JiWER CLI 封装计算 WER/CER以及使用 TypeScript 评估类对转写结果做自动化校验。读完本文你将掌握一套可复用的转写质量度量 引擎选型对比的开发工作流可直接用于为 PeerTube 的转写功能如 openai-whisper 与 whisper-ctranslate2做回归测试与模型调优。工具包概览三个核心组成从 packages/transcription-devtools/src/index.ts 的导出可以看出该工具包主要由三部分构成JiWER CLI Node.js 封装jiwer-cli.ts以子进程方式调用 Python 工具 JiWER计算两段文本之间的 WER词错误率与 CER字符错误率并输出逐句对齐报告。基准测试工具benchmark.ts自动遍历多个转写引擎与多个模型尺寸对同一段音视频执行转写、评测并输出对照表格。TypeScript 评估类transcript-file-evaluator.ts及其接口把参考转写文件与假设转写文件封装成可评测对象提供wer()、cer()、alignment()、evaluate()四个方法。此外还包含一个纯 TS 实现的levenshteinDistance函数levenshtein.ts源自 js-levenshtein 算法以及文件下载、解压等工具函数utils.ts供转写引擎安装模型等场景复用。该包本身是私有工作区包package.json 中private: true包名为peertube/peertube-transcription-devtools模块类型为 ESMtype: module同时通过peertube:tsx条件导出源码入口供tsx直接以 TS 源码方式运行。构建Build工具包的构建脚本定义在 packages/transcription-devtools/package.jsonnpm run build其底层是tsc编译配置见 packages/transcription-devtools/tsconfig.json继承根目录 tsconfig.base.json输出目录为dist/源码根为src/通过references引用了同级工作区包 packages/transcription 与 packages/server-commands因此构建时依赖的转写引擎与服务器命令包需要一并就绪。如果希望在改动源码时自动重编译可使用监听模式npm run watch基准测试Benchmark运行方式仓库在根目录通过pnpm-workspace.yaml统一管理工作区直接在该包目录下运行npm run benchmark该脚本实际执行的是见 package.json 的benchmark脚本tsx --conditionspeertube:tsx --tsconfig ./tsconfig.json ./src/benchmark.ts即通过tsx配合peertube:tsx条件直接运行 TS 源码无需先构建。默认基准与输出示例默认情况下基准测试会遍历两个内置转写引擎openai-whisper与whisper-ctranslate2见 benchmark.ts使用tiny模型对测试夹具视频packages/tests/fixtures/transcription/videos/derive_sectaire.mp4做法语fr转写并以同目录下的derive_sectaire.txt为参考文本计算每次转写的 WER、CER 与耗时。README 给出了典型的控制台输出由console.table渲染┌────────────────────────┬───────────────────────┬───────────────────────┬──────────┬────────┬───────────────────────┐ │ (index) │ WER │ CER │ duration │ model │ engine │ ├────────────────────────┼───────────────────────┼───────────────────────┼──────────┼────────┼───────────────────────┤ │ 5yZGBYqojXe7nuhq1TuHvz │ 28.39506172839506% │ 9.62457337883959% │ 41s │ tiny │ openai-whisper │ │ x6qREJ2AkTU4e5YmvfivQN │ 29.75206611570248% │ 10.46195652173913% │ 15s │ tiny │ whisper-ctranslate2 │ └────────────────────────┴───────────────────────┴───────────────────────┴──────────┴────────┴───────────────────────┘表中每行的(index)是一次转写运行的 UUID由buildSUUID()生成WER/CER 显示为百分比字符串duration经millisecondsToTime格式化为人类可读时长。可以看到同一模型下不同引擎的 WER 相近但推理速度差异明显这正是基准测试用于引擎选型的关键信息。指定多个模型尺寸基准测试支持通过环境变量MODELS指定要测试的模型尺寸多个模型用逗号分隔MODELStiny,small,large npm run benchmark从 benchmark.ts 的解析逻辑看MODELS会被按逗号拆分、去空白并过滤空项未设置该变量时默认只测试tiny。结果会先按模型分组再对每个模型输出一张对照表groupBenchmarkResultsByModel。基准测试的内部流程深入 src/benchmark.ts 可还原完整执行链准备环境在系统临时目录创建peertube-transcription/benchmark与peertube-transcription/pip两个工作目录transcriptDirectory、pipDirectory。注册性能观察器通过node:perf_hooks的PerformanceObserver监听measure事件把每次转写的耗时记录到对应 UUID 上。遍历引擎对openai-whisper、whisper-ctranslate2分别调用transcriberFactory.createFromEngineName(...)工厂实现见 transcriber-factory.ts创建转写器并调用transcriber.install(pipDirectory)安装 Python 依赖这也解释了为什么 requirements.txt 中只声明了jiwer——转写引擎自身的 Python 依赖由install阶段处理。逐模型转写对每个模型构造TranscriptionModel(modelName)执行transcriber.transcribe(...)得到TranscriptFile。质量评估用new TranscriptFileEvaluator(referenceTranscriptFile, transcriptFile)计算 WER 与 CER。汇总输出以模型分组后用console.table打印最后清理临时目录。JiWERWER/CER 参考实现与 CLI 封装什么是 JiWERJiWER 是一个用于计算 ASR自动语音识别系统词错误率的 Python 工具在本工具包中作为错误率计算的参考实现给定参考文本与假设文本即引擎转写结果两个文件即可计算WERWord Error Rate词错误率以词为单位的错误比例CERCharacter Error Rate字符错误率以字符为单位的错误比例。工具包 README 原文附有 JiWER 官方文档与 RapidFuzz 的链接此处不再赘述可自行查阅相关文档。Node.js 封装类 JiwerClI封装实现位于 src/jiwer-cli.ts通过execa的 tagged template 语法以子进程方式调用系统jiwer命令import { JiwerClI } from peertube/peertube-transcription-devtools const jiwerCLI new JiwerClI(./reference.txt, ./hypothesis.txt) // WER 以百分比小数返回例如 0.03 表示 3% console.log(await jiwerCLI.wer()) // CER 以百分比小数返回例如 0.01 表示 1% console.log(await jiwerCLI.cer()) // 详细的对齐逐句比较报告 console.log(await jiwerCLI.alignment())类提供静态方法与实例方法两套等价 API静态方法JiwerClI.wer(referenceFilePath, hypothesisFilePath, global)、JiwerClI.cer(...)、JiwerClI.alignment(...)实例方法wer(global true)、cer(global true)、alignment(global true)内部复用构造时传入的两个文件路径。从源码看命令拼装由buildArgs完成始终携带--reference path与--hypothesis path并默认追加-gglobal参数使错误率在整个语料上全局计算而非按句平均cer额外追加--ceralignment追加--align。返回值方面wer()/cer()将子进程 stdout 直接Number()化后返回百分比小数如 0.03 即 3%alignment()返回原始对齐文本。兼容性说明JiWER 依赖 Python 环境与jiwer包工具包通过 requirements.txt 声明该依赖运行评测前请确保本机具备可用的jiwer命令行基准测试中的transcriber.install()会自动安装转写引擎所需的 Python 环境其中包含 jiwer。TypeScript 评估类TranscriptFileEvaluator类与接口设计评估类的类型契约定义在 transcript-file-evaluator-interface.tsexport interface TranscriptFileEvaluation { wer: number cer: number alignment: string } export interface TranscriptFileEvaluatorInterface { wer(): Promisenumber cer(): Promisenumber alignment(): Promisestring evaluate(): PromiseTranscriptFileEvaluation }具体实现 TranscriptFileEvaluator 接收两个TranscriptFile来自peertube/peertube-transcription包作为构造参数——一个是参考转写reference一个是假设转写hypothesisconst evaluator new TranscriptFileEvaluator(referenceTranscriptFile, hypothesisTranscriptFile) const { wer, cer, alignment } await evaluator.evaluate()重要约束仅支持 txt 格式构造函数通过assert强制校验两个文件的格式assert(referenceTranscriptFile.format txt, Can only evaluate txt transcript file) assert(hypothesisTranscriptFile.format txt, Can only evaluate txt transcript file)即评测只支持纯文本 txt 转写文件VTT/SRT 等带时间戳的格式会被直接拒绝。这一点在测试中有明确覆盖见 packages/tests/src/transcription/transcript/transcript-file-evaluator.spec.ts该用例验证了传入 VTT 文件会抛出Can only evaluate txt transcript file。评测正确性的测试佐证同一个测试文件中还有一个端到端用例以法语参考文本communiquer-lors-dune-classe-transplantee.txt与一段故意写错的假设文本构造评估器断言WER 大于 0% 且小于 30%CER 大于 9% 且小于 10%并打印alignment()结果用于人工检查。这说明TranscriptFileEvaluator既被当作质量门槛工具设定阈值范围也被当作调试工具观察逐句对齐差异。此外两个转写引擎的测试openai-transcriber.spec.ts 与 whisper-ctranslate2.spec.ts都使用TranscriptFileEvaluatorlevenshteinDistance来断言转写结果与参考文本的相似度可见这是转写功能回归测试的公共基础设施。落地实践如何把它接入你的转写评测流程结合仓库现状一套典型的用法是准备参考文本选取一段带人工转写的音视频将人工转写保存为 UTF-8 纯文本文件换行分隔句子例如仓库中的packages/tests/fixtures/transcription/videos/derive_sectaire.txt。产出假设文本用待测引擎转写同一段音视频输出为 txt 文件对应TranscriptFile的format: txt。计算指标用TranscriptFileEvaluator得到 WER/CER配合alignment()查看具体错在哪句话、哪个词。批量对比若要对比多个引擎/模型直接运行npm run benchmark或自定义MODELS环境变量用输出表格决策默认引擎与模型尺寸。需要注意的边界与限制WER/CER 评测仅支持 txt 格式若引擎输出为 VTT/SRT 需先转换指标以百分比小数返回0.03 即 3%展示时记得* 100评测质量强依赖参考文本的质量与语言匹配仓库基准样例为法语fr基准测试会安装 Python 依赖并在临时目录写入文件需要网络与磁盘空间运行结束后临时目录会被自动清理。结语packages/transcription-devtools以极小的代码量把转写结果度量这一工作标准化JiWER CLI 封装提供业界通用的 WER/CER 计算TranscriptFileEvaluator提供类型安全的评测入口而benchmark脚本把引擎与模型的交叉对比压缩成一条命令。对于任何为 PeerTube 扩展转写引擎、调优 Whisper 模型或做转写回归测试的开发者这都是最直接的起点——从 README 出发对照 benchmark.ts 与 transcript-file-evaluator.spec.ts 即可快速上手。【免费下载链接】PeerTubeActivityPub-federated video streaming platform using P2P directly in your web browser项目地址: https://gitcode.com/gh_mirrors/pe/PeerTube创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考