从 RLinf 到 APXInf无问芯穹补齐了具身落地的最后一环9 月的第二周具身圈很热闹。8 日松延动力发布 HERON-World Model9 日智元一口气放出 AGILE 2.0 与 GE-Act 2.010 日宇树开源 UnifoLM-WLA-1.06B 参数约 2500 小时真机数据一个模型统筹 64 项任务到 15 日松延又补上了 HERON-CRA。八天三家本体厂商五个模型。与此同时机器人正在加速迈入物理世界。9 月 20 日启元机器人举办新品发布会两款个人机器人正式发售Q1 定价 19999 元起此前 9 月 10 日优必选宣布斩获超 5000 万元海外订单涉及 Walker C1、优世界 U1 等产品。资本市场的评价标准也随之变化开始用脱水复购率、经营性净现金流以及真实履约成本即交付之后的部署、调试与维护投入来重新审视具身企业。两条线索交汇一个核心痛点浮现如何将复杂强大的具身大模型高效、稳定地部署到算力极其有限的机器人本体硬件上这正是端侧推理引擎的核心价值所在。9 月 15 日清华大学联合无问芯穹与上海交通大学开源了APXInf一款面向具身模型的端侧推理引擎。它同时回答了两个问题在算力、内存和功耗受限的端侧环境中如何让具身模型在机器人本体上达到可用的推理速度当模型不断迭代进化如何构建持续适配、永不掉队的端侧优化能力第一个问题APXInf 交出的答案是一组数字无需改变 π0.5 模型本身通过端到端的全栈优化在 Thor 芯片 FP8 配置下把推理延迟从 278ms 降至 26ms端到端提速约 10.7 倍38.46Hz 的频率让机器人控制进入实时区间。第二个问题的答案则写在 APXInf 仓库的构建方式中。它把原本依赖少数专家的模型适配、优化与验证沉淀成了一套可被持续复用并且可被 Agent 使用的工作流程。项目地址https://github.com/RLinf/APXinf-robo为什么具身需要专门的端侧推理优化要回答这个问题先要看清推理引擎在一台机器人中的位置。一台具身本体大致由主控、算力盒子和外设构成。一次控制循环是主控采集观测算力盒子推理出动作 chunk推送给手臂或底盘执行然后进入下一帧。推理引擎就嵌在这个循环的中间它决定一次推理花多少毫秒、控制频率能到多少赫兹以及那个算力盒子要多大、多热、多贵。这个位置对引擎提出了一组相当具体的要求小 batch、实时、延迟抖动小并且能被主控通过 websocket 或 ROS 稳定调用。这几条恰好是云端推理框架不擅长的。通用推理框架的做法是用统一的中间表示把模型逐层 lower再交给后端生成可执行代码一套编译栈覆盖尽可能多的模型与硬件vLLM、SGLang 这类方案则围绕云端吞吐设计。它们各自都很成功但收益都建立在模型种类多、批量大、调度空间足的前提上而具身端侧这三条恰好都不满足。于是具身模型的端侧部署形成了三类现实瓶颈。端侧性能。在端侧算力、带宽、功耗和散热同时受限而一次推理却要完成多视角感知、模型前向和动作生成并以稳定的节奏回应主控。端侧模组与独立显卡之间内存带宽相差 4 到 8 倍功耗相差 5 到 10 倍。也因此在云端跑得顺的模型换到 Thor 或 Orin 上效果可能大打折扣。人力与时间。将模型部署到端侧硬件并非简单的拷贝运行而是一项浩大的系统工程。它需要经历从底层架构适配、核心算子编译、精度量化到软硬件性能调优与仿真验证的全链路流程。这套流程通常要几周依赖既懂推理系统又懂算子优化的跨领域专家而这类人在任何一家具身公司都十分稀缺。更关键的是硬件的微小变动就会导致前功尽弃一旦更换芯片所有的算子选择、内存布局与流水线排布都必须推倒重来。稳定性。Demo 跑得通和长期稳定运行是两件事。后者要面对连续感知控制、资源受限与多模块协同最怕的还不是慢一点而是跑着跑着出现抖动、卡死或状态失控。这三条叠在一起会呈现出一个乘积特征把模型部署到本体上的总工作量≈一次接入 一次调优× 本体型号数 × 芯片平台数 × 模型迭代次数。右边每一项变量都在急剧变大本体型号在增加芯片多样化而模型的迭代周期还在极速缩短。事实上文章开头八天五个模型就是这一现状的直接呈现。靠扩充团队并不现实它需要的是一层可以被持续复用的基础设施既能把单次推理压到硬件的极限还能让下一个模型、下一块芯片的接入不必从头再来。APXInf 要做的正是这一层。把推理压进实时区间APXInf 做对了什么先看第一项挑战如何在有限硬件上把推理效率做到位。APXInf 不以统一通用 IR 为首要目标而是优先建设面向模型族的特化执行路径。模型结构、权重布局、内存空间、算子融合方案和执行顺序都直接体现在代码中只有经过多个模型验证的共性能力才会进一步沉淀为共享模块。这种设计让优化能够深入模型结构和硬件特性在算子选择、内存布局与执行流程上进行针对性调整减少为了兼容通用场景而引入的额外开销。在运行时只保留端侧实时推理真正需要的控制能力算子执行用 CUDA Graph 完成整图捕获与稳态回放Kernel 选择由 Autotune 生成并持久化内存由模型层持有固定 Workspace固定形状、预分配、地址稳定减少热路径上的数据搬运调度以小 batch 实时推理为核心不引入面向大 batch 吞吐的 Continuous Batching 与 Paged Attention。运行时不做复杂启发式换来的是执行路径可预测、可复现、可审计。这种特化一直贯彻到构建环节编译时会查询本机 GPU 的计算能力只为这一个架构编译 kernelCUDA kernel、CUTLASS 与 FlashAttention 的源码随仓库内置部署时不需要 Docker 和外部框架依赖省掉动辄数 GB 的镜像。最终这种全栈优化可带来效率的巨大提升。Orin 上的优化阶梯可以说明这一点baseline 为 1300ms经 torch.compile、Pipeline、Graph、Kernel、Pruning 逐级下探最终落到 119ms整体提升超过 10.9 倍。Thor 上也同样如此。效果上官方的评测协议是 LIBERO-10 全部 10 个任务各 50 个 episodeseed 固定为 7replan 步长为 5共 500 次 rollout。Thor FP8 成功率 92.2%Thor BF16 92.8%Orin BF16 92.0%作为参照的 π0.5 参考实现是 92.4%。跑得快之外还要跑得稳。APXInf 底层聚焦高性能算子实现性能的极致压榨推理框架的主体部分则选择使用Rust 语言开发作为一种系统语言Rust 能够提供低成本、细粒度的系统运行时控制实现更优的调度与并发管理。同时Rust 的强制 RAII 特性与所有权系统极大地收束了内存问题的风险面支持更加安全鲁棒的资源生命周期管理unsafe 收口被严格限制在固定的 FFI 边界。中间这一层的系统级价值是让野指针、数据竞争这类隐蔽故障尽量在上线前就被消灭对一台要连续工作的机器人来说这不只需要能「跑到 38Hz」更是能「连续跑八小时之后还是 38Hz」。模型不断更迭推理优化如何跟上特化路径带来了性能也带来了新问题为每个模型族手写一条路径意味着模型一更新、硬件一换代这条路径就要重做一次。如果这部分工作仍然依赖少数专家手工完成那永远也跟不上具身模型的迭代。APXInf 的解法是把这套工程能力本身产品化把原本散落在少数专家经验里的模型接入、前后处理、本体适配、性能调优与部署验证沉淀为代码 Agent 可以理解、调用和持续迭代的工程流程。在这种全新的工作流中人机分工呈现出一种颠覆性的模式Agent 负责跑流程读取 PyTorch Reference生成执行 Ledger实现模型的静态路径逐算子对拍与回归最后完成 Autotune、文档与迭代。人负责定标准架构边界与模块职责、Kernel 契约与安全规范精度、性能与任务的验收线以及决定何时把共性抽取为共享抽象。交给 Agent 的不再是简单的辅助工作而是最消耗专家时间的实现部分人则进化为把控全局的「判据」与「决策者」。也正因为实现可以交给 Agent验证体系严谨性成为了新的核心护城河。APXInf 建立了三重保障全链路分层验证从单算子、Layer 到完整模型配合 Eager 与 Graph 路径的交叉对拍确保每一步都精准可控。Fail-closed故障封闭原则不支持的参数或硬件直接报错绝不静默输出错误结果。模型族隔离共享能力仅在 Kernel 层下沉任何变更必须经过严格的分层回归从而锁死风险。这对用户意味着什么对具身企业而言它把推理优化从一次性项目变成了可持续的工程能力。自研模型改一版不必重新排队等专家换一款芯片不必把上一轮的调优经验推倒重来团队规模不再是接入速度的硬约束。更重要的是专家经验从个人手感变成了团队可复用的资产。对于行业它提供了一种新的基础设施建设方式。过去衡量一个推理框架看的是支持多少模型、适配多少硬件、算子库有多全这些指标背后的假设是接入成本固定所以覆盖面越广越好。而当接入成本本身开始下降真正值得看的就变成了接入一个新模型、上一款新本体需要多少时间。这衡量的是一家具身公司把新模型变成实际产能的速度。从 Mizar 到 APXInf端侧推理技术栈向物理世界延伸APXInf 并非一个从零开始的实验性项目而是无问芯穹在端侧推理领域长期积累的必然结果。APXInf 的技术基因直接承袭自面向智能终端的推理加速引擎 Mizar。早在 Mizar 阶段无问芯穹围绕 AI PC、AI 盒子和一体机等终端已逐步形成异构硬件适配、本地模型部署、推理加速、内存优化与低功耗运行等核心能力。这套技术栈不仅支撑本地模型规模数倍提升、推理性能翻倍还在相同算力资源下带来了 18% 的智能水平提升。更重要的是这一技术路线已走过实验阶段并通过了严苛的量产检验。2025 年 2 月无问芯穹与联想达成深度合作将 Mizar 引擎植入联想新一代 AI PC并于同年 11 月达成超千万台 AI PC 的预装合作。APXInf 正是在此基础上的再次进化。AI PC 与具身端侧的负载并不相同但两者面对的约束是一致的在有限的算力、内存和功耗条件下达到可用的推理速度。针对具身场景提出的全新挑战APXInf 进行了技术延展无论是面对更复杂的 VLA 模型多模态执行链路还是应对机器人毫秒级的实时控制需求APXInf 都能通过底层的极致优化充分释放硬件性能。同时面对模型的高速迭代它又引入了面向 Agent 开发的工程流程。这不仅实现了原有端侧能力的「无缝平移」更完成了针对具身行业的「深度适配」。生态布局的另一重考量是「工程闭环」的无缝衔接。APXInf 选择在 RLinf 开源生态中首发是因为模型训练与本体推理本就是同一条工程链路上的两个环节。RLinf 覆盖强化学习训练、评测与真实机器人工作流而训练完成的具身模型要真正进入本体还需要一套针对小 batch、低时延和有限功耗设计的推理引擎。APXInf 接的正是这一棒把 RLinf 的能力从训练与评测延伸到端侧推理与部署让开发者能在同一套生态里走完从训练、验证到本体运行的全程。下一步开源共建就在今天APXInf 已同步完成π0-fast、GR00T 与 Qwen Drive 的适配模型支持进一步覆盖机器人操作、移动智能体等不同具身场景。硬件侧AMD 与国产芯片后端也已进入路线规划。未来将支持更多具身模型在不同端侧设备上高效、稳定运行。具身智能要真正走进物理世界模型、本体和中间这层基础设施缺一不可。面对庞大的接入和验证工程这也是 APXInf 选择开源共建的初衷。原文链接提速10.7倍这个端侧推理引擎一开源机器人本体跑大模型终于不卡了-36氪我的专辑《人工智能生命体 新启点》CSDN平台https://blog.csdn.net/2501_91883294/article/details/147616608?sharetypeblogdetailshareId147616608sharereferAPPsharesource2501_91883294sharefromlink