Tokscale架构深度解析Rust原生核心如何实现8.5倍Token聚合性能提升【免费下载链接】tokscale️ Track token usage across AI coding agents from your terminal. Global leaderboard with trillions of tokens tracked.项目地址: https://gitcode.com/gh_mirrors/to/tokscaleTokscale是一款跨 AI 编程助手的 Token 用量统计与成本追踪工具支持从终端监控 Claude Code、Codex、OpenCode 等 80 客户端的消耗数据并拥有全球排行榜。它的核心亮点是Rust 原生核心将文件扫描、JSON 解析与聚合计算全部用 Rust 重写后在约 1000 个会话文件、10 万条消息的场景下整体处理耗时从 ~1.5 秒降至 ~175 毫秒取得约 8.5 倍的聚合性能提升。️一、Tokscale 的整体架构三层分工Tokscale 采用原生核心 命令行/TUI Web 可视化的三层架构各层职责清晰层级模块技术栈职责原生核心crates/tokscale-core/Rust扫描、解析、聚合、定价计算命令行/TUIcrates/tokscale-cli/Rust交互界面、报告、数据提交Web 前端packages/frontend/Next.js贡献图、排行榜、个人主页整个工作区由根目录的 Cargo.toml 统一管理内部 crate 通过路径依赖互相引用[workspace] members [ crates/tokscale-core, crates/tokscale-cli, ]这种设计让8.5 倍的性能收益可以贯穿所有命令——无论是tokscale graph、tokscale models还是 TUI底层都跑在同一个 Rust 内核上。二、Rust 原生核心怎么快起来三大关键优化1. 并行文件扫描用 rayon 吃满多核 CPU各 AI 编程助手把会话数据散落在用户主目录的不同位置~/.claude/projects/、~/.codex/sessions/、~/.local/share/opencode/等。Tokscale 需要逐一找到它们。核心做法在 scanner.rs 中使用walkdir遍历目录再借助 rayon 将各客户端目录的扫描任务分发给线程池并行执行入口在 并行扫描所有客户端目录。这一步直接把文件发现耗时从 ~500ms 压到 ~50ms提速 10 倍。2. SIMD 加速的 JSON 解析会话数据多为 JSONL 格式解析量大且重复。Tokscale 在 Cargo.toml 中选择了simd-json——利用 CPU 的SIMD 单指令多数据指令一次性比较多个字节比逐字节解析快得多# JSON parsing (with SIMD acceleration) simd-json 0.14JSON 解析环节从 ~800ms 降到 ~100ms提速 8 倍。3. 聚合与内存流式解析 零拷贝 Map-Reduce聚合把每条消息的 token 数按日期/模型/客户端累加由 aggregator.rs 完成采用并行 Map-Reduce模式每个线程独立累加分片最后合并。同时配合两个内存优化技巧流式 JSON 解析不一次性把整个文件读入内存零拷贝字符串处理避免反复克隆文本片段。结果聚合耗时从 ~200ms 降至 ~25ms8 倍内存占用还降低约 45%。性能对比总表操作TypeScriptRust 原生加速比文件发现~500ms~50ms10xJSON 解析~800ms~100ms8x聚合计算~200ms~25ms8x总计~1.5s~175ms~8.5x基准测试规模约 1000 个会话文件、10 万条消息完整数据见 README 性能章节。三、多客户端统一适配50 个解析器一个输出不同客户端的数据格式千差万别有的是 SQLite 数据库有的是 JSONL 日志有的藏在 VS Code 的 globalStorage 里。Tokscale 的解法是为每种客户端写一个独立解析器统一收敛为内部的标准消息结构。这些解析器集中在 sessions 模块例如claudecode.rsClaude Code 的projects/与transcripts/目录codex.rsCodex CLI 的会话文件opencode.rsOpenCode 的 SQLite 数据库新客户端接入时只需在 clients.rs 登记数据路径再新增一个解析器文件不需要改动上层任何逻辑——这也是 8.5 倍性能能无感覆盖所有客户端的原因。四、定价计算让 Token 变成钱光有 Token 数量不够Tokscale 还内置了完整定价模块 pricing/从 LiteLLM 拉取实时价格1 小时磁盘缓存见 fetch.rs支持分级定价与缓存 Token 折扣新模型自动回退到 OpenRouter 价格openrouter.rs。这样 TUI 和 Web 界面上的成本数字都是真金白银级别的可信数据。五、跨平台分发一个命令全系统可用原生 Rust 模块随 npm 包按平台预编译分发macOS / Linux / Windows × x86_64 / aarch64。Linux 上启动器还会自动探测 glibc 与 musl容器环境下也可用环境变量强制指定。你只需要一条命令就能用上完整的 Rust 加速体验npx tokscalelatest六、如何自己验证 8.5 倍性能Tokscale 自带基准测试工具两步即可完成复现生成合成基准数据约 600 文件、5900 条消息bun run generate运行 Rust 基准测试cd crates/tokscale-core cargo bench。测试框架与数据说明在 packages/benchmarks/ 下runner.ts 负责测量墙钟时间与峰值内存generate.ts 生成可复现的合成数据README.md 记录了 TypeScript 基线18,671 条真实消息耗时 ~1806ms与 Rust 目标值。CLI 侧也提供了轻量验证方式——任意命令加上--benchmark即可查看处理耗时tokscale graph --benchmark总结Tokscale 的架构精髓在于用 Rust 把扫描-解析-聚合这条数据管道整体重构再用 rayon 并行、SIMD 解析、流式零拷贝三个经典手段把每一环都拧到最快最终在真实规模下取得 8.5 倍的聚合性能提升与 45% 的内存缩减。性能基准总表README.md核心依赖声明Cargo.toml核心源码crates/tokscale-core/src/lib.rs基准测试packages/benchmarks/README.md【免费下载链接】tokscale️ Track token usage across AI coding agents from your terminal. Global leaderboard with trillions of tokens tracked.项目地址: https://gitcode.com/gh_mirrors/to/tokscale创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考