8 月 1 日Meet AI Compiler 技术沙龙第九期将在北京再度启航本期我们邀请到了来自智源研究院、TileRT 团队、腾讯、华为昇腾、智元创新的多位专家他们将围绕 FlagTree 语言扩展、TileRT 超低延迟推理、FalconGEMM 算子优化、AscendNPU IR 开源共建以及面向具身智能的应用实践展开深度拆解力图呈现 AI 编译器在语言表达、算子计算、推理执行与场景应用等多个层面上的协同演进图景。线下席位有限记得早点报名哦带上你的思考我们现场聊活动详情⏰ 时间8 月 1 日周六13:30-17:30 地点北京市海淀区中关村创业大街 12 号楼五层多功能厅 人数150现场座位有限请尽早报名 报名链接https://hdxu.cn/1KkIr完整议程如下 ⬇️嘉宾及议程分享嘉宾分享主题FlagTreeTriton-TLE 语言扩展、Tile IR 后端与编译优化实践内容简介本次分享将分为三个部分。第一部分介绍 Triton 面临的挑战以及 TLE 如何通过三个层次的语言扩展渐进式地暴露硬件细节使算子在可移植性、可维护性与性能之间取得更好的平衡。第二部分聚焦 Tile IR 集成到 Triton 编译器 FlagTree 的工程实践介绍其作为新型编译后端如何进一步拓展 Triton 算子的性能优化空间。第三部分将系统解析 layout 优化、指令重排等关键编译器优化技术展示面向跨芯片高性能算子的完整编译优化路径。观看本场分享你将了解1. TLE 如何控制片上内存、如何表达分布式和生产者消费者模型以及如何内联厂商原生语言2. TLE 和 Tile IR 后端如何提升 Triton 关键算子的性能上限3. 编译器优化技术如何降低数据布局转换开销、提升指令执行效率并进一步释放 Triton 算子性能分享主题TileRT速度即智能——面向超低延迟大模型推理的计算探索与协同设计内容简介随着大模型跨入万亿参数规模并迈向 Agentic 时代极致的推理速度已成为支撑复杂任务流、充分释放模型潜能的关键要素。然而当系统试图进一步压榨延迟极限时传统的系统架构与执行瓶颈往往成为难以逾越的障碍。本报告介绍 TileRT 的最新探索从 AI 编译器、Runtime 架构演进到模型-系统协同设计的角度展示如何构建出面向超低延迟的大模型计算软件栈。观看本场分享你将了解1. 速度即智能探讨在 Agentic 时代为何「速度」正逐渐成为大模型推理侧的关键指标2. 系统架构探索介绍 TileRT 的架构演进以 GLM-5 为例探讨如何通过重构底层计算调度实现推理性能的显著提升3. 模型 - 系统协同设计与生产实践分享如何通过模型与系统的联合设计让万亿参数模型在单 batch 推理突破 1000 TPS 的速度瓶颈分享主题FalconGEMM: Surpassing Hardware Peaks with Lower-Complexity Matrix Multiplication内容简介矩阵乘法GEMM是大模型训练与推理的算力核心但随着模型规模指数级增长标准算法 O(N³) 的复杂度正不断逼近硬件的物理峰值。如何在芯片算力见顶的当下继续榨取性能成为大模型基础设施的关键命题。了解在算子优化见顶背景下低复杂度矩阵乘法突破性能天花板的原理、价值与工程挑战一条被数学界探索了五十余年的路径是低复杂度矩阵乘法LCMA如 Strassen、AlphaTensor—— 用更少的乘法换取更多的访存与加法从而在等效意义上「撞穿」硬件峰值然而访存膨胀、算法选择、跨平台移植三大工程难题让它长期停留在理论层面。本报告介绍 FalconGEMM 项目从编译器自动代码生成、Group 并行融合的访存优化、到基于性能模型的算法决策三个层面系统性地把 LCMA 从纸面带入生产级软件栈并在多种 GPU/CPU 平台与真实大模型负载上实现了对顶级官方库的全面超越。观看本场分享你将了解1. 了解在算子优化见顶背景下低复杂度矩阵乘法突破性能天花板的原理、价值与工程挑2. FalconGEMM 的技术方案与跨平台实践分享分享主题AscendNPU IR编译底座开源开放支持多语言接入昇腾内容简介昇腾毕昇编译器组件 AscendNPU IR 已全面开源作为昇腾面向三方编程框架的 MLIR 接入层提供灵活对接、完备表达与昇腾亲和编译优化能力支持多个前端 DSL 实现昇腾算子性能提升。观看本场分享你将了解1.了解 AscendNPU IR 整体技术架构与设计理念2.了解 AscendNPU IR 面向昇腾 950 扩展的新特性3.了解 AscendNPU IR 社区共建活动与参与方式分享主题面向具身智能领域的通用AI编译器内容简介本报告介绍面向具身智能与多模态大模型的通用编译器围绕完整算法 pipeline 的捕获、导出、分组编译、runtime 部署与性能优化展开解决机器人模型在端侧交付、稳定运行、跨框架适配和工程规模化中的关键问题。观看本场分享你将了解1. 了解具身智能模型部署区别于传统模型部署的核心挑战包括多模型、多框架、多阶段 pipeline 带来的工程复杂度与维护成本2. 掌握通用编译器如何通过动态 trace 捕获完整算法流程并将预处理、VLA 模型、LLM、后处理等模块组织为可编译、可发布可部署的 DAG 模版3. 理解分组编译与统一 runtime 架构如何支持不同后端在保持统一交付链路的同时发挥各种芯片优势4. 了解具身领域编译器与发布平台的对接范式主办方及合作伙伴HyperAI超神经hyper.ai作为国际领先的人工智能及高性能计算社区旨在通过提供行业资讯报道、数据集加速下载、在线教程演示、热门模型性能评测、前沿论文推荐、高价值成果解读、顶会日历集成等一系列服务助力全球数据科学及⼈⼯智能⾏业的开发者及爱好者学习、理解、实践与社区⼀起构建⼈⼯智能的未来。访问官网HyperAIOpenBayes贝式计算是国内领先的高性能计算服务提供商通过为新一代异构芯片嫁接经典软件生态及机器学习模型进而为工业企业及高校科研提供更加快速、易用的数据科学计算产品其产品已被数十家大型工业场景或头部科研院所所采用。访问官网让计算更简单 | OpenBayes 贝式计算MLC.AI 社区成立于 2022 年 6 月并由 Apache TVM 主要发明者、机器学习领域著名的青年学者陈天奇带领团队上线了 MLC 线上课程系统介绍了机器学习编译的关键元素以及核心概念。2022 年 11 月在 MLC.AI 社区志愿者的共同努力下首个完整的 TVM 中文文档上线并成功托管至 HyperAI超神经官网进一步为对机器学习编译感兴趣的国内开发者提供了接触并学习一门新技术的基础设置——文档。MLC 线上课程https://mlc.ai/TVM 中文文档Apache TVM 是一个端到端的深度学习编译框架适用于 CPU、GPU 和各种机器学习加速芯片。 | Apache TVM 中文站活动场地支持本次活动场地由中关村科学城管委会、北京中关村科学城创新发展有限公司提供支持。考虑到本场活动的场地空间情况我们仅开放了 150 个到场名额建议大家尽早报名锁定席位。8 月 1 日 13:30-17:30我们不见不散
8 月 1 日Meet AI Compiler 技术沙龙第九期将在北京再度启航本期我们邀请到了来自智源研究院、TileRT 团队、腾讯、华为昇腾、智元创新的多位专家他们将围绕 FlagTree 语言扩展、TileRT 超低延迟推理、FalconGEMM 算子优化、AscendNPU IR 开源共建以及面向具身智能的应用实践展开深度拆解力图呈现 AI 编译器在语言表达、算子计算、推理执行与场景应用等多个层面上的协同演进图景。线下席位有限记得早点报名哦带上你的思考我们现场聊活动详情⏰ 时间8 月 1 日周六13:30-17:30 地点北京市海淀区中关村创业大街 12 号楼五层多功能厅 人数150现场座位有限请尽早报名 报名链接https://hdxu.cn/1KkIr完整议程如下 ⬇️嘉宾及议程分享嘉宾分享主题FlagTreeTriton-TLE 语言扩展、Tile IR 后端与编译优化实践内容简介本次分享将分为三个部分。第一部分介绍 Triton 面临的挑战以及 TLE 如何通过三个层次的语言扩展渐进式地暴露硬件细节使算子在可移植性、可维护性与性能之间取得更好的平衡。第二部分聚焦 Tile IR 集成到 Triton 编译器 FlagTree 的工程实践介绍其作为新型编译后端如何进一步拓展 Triton 算子的性能优化空间。第三部分将系统解析 layout 优化、指令重排等关键编译器优化技术展示面向跨芯片高性能算子的完整编译优化路径。观看本场分享你将了解1. TLE 如何控制片上内存、如何表达分布式和生产者消费者模型以及如何内联厂商原生语言2. TLE 和 Tile IR 后端如何提升 Triton 关键算子的性能上限3. 编译器优化技术如何降低数据布局转换开销、提升指令执行效率并进一步释放 Triton 算子性能分享主题TileRT速度即智能——面向超低延迟大模型推理的计算探索与协同设计内容简介随着大模型跨入万亿参数规模并迈向 Agentic 时代极致的推理速度已成为支撑复杂任务流、充分释放模型潜能的关键要素。然而当系统试图进一步压榨延迟极限时传统的系统架构与执行瓶颈往往成为难以逾越的障碍。本报告介绍 TileRT 的最新探索从 AI 编译器、Runtime 架构演进到模型-系统协同设计的角度展示如何构建出面向超低延迟的大模型计算软件栈。观看本场分享你将了解1. 速度即智能探讨在 Agentic 时代为何「速度」正逐渐成为大模型推理侧的关键指标2. 系统架构探索介绍 TileRT 的架构演进以 GLM-5 为例探讨如何通过重构底层计算调度实现推理性能的显著提升3. 模型 - 系统协同设计与生产实践分享如何通过模型与系统的联合设计让万亿参数模型在单 batch 推理突破 1000 TPS 的速度瓶颈分享主题FalconGEMM: Surpassing Hardware Peaks with Lower-Complexity Matrix Multiplication内容简介矩阵乘法GEMM是大模型训练与推理的算力核心但随着模型规模指数级增长标准算法 O(N³) 的复杂度正不断逼近硬件的物理峰值。如何在芯片算力见顶的当下继续榨取性能成为大模型基础设施的关键命题。了解在算子优化见顶背景下低复杂度矩阵乘法突破性能天花板的原理、价值与工程挑战一条被数学界探索了五十余年的路径是低复杂度矩阵乘法LCMA如 Strassen、AlphaTensor—— 用更少的乘法换取更多的访存与加法从而在等效意义上「撞穿」硬件峰值然而访存膨胀、算法选择、跨平台移植三大工程难题让它长期停留在理论层面。本报告介绍 FalconGEMM 项目从编译器自动代码生成、Group 并行融合的访存优化、到基于性能模型的算法决策三个层面系统性地把 LCMA 从纸面带入生产级软件栈并在多种 GPU/CPU 平台与真实大模型负载上实现了对顶级官方库的全面超越。观看本场分享你将了解1. 了解在算子优化见顶背景下低复杂度矩阵乘法突破性能天花板的原理、价值与工程挑2. FalconGEMM 的技术方案与跨平台实践分享分享主题AscendNPU IR编译底座开源开放支持多语言接入昇腾内容简介昇腾毕昇编译器组件 AscendNPU IR 已全面开源作为昇腾面向三方编程框架的 MLIR 接入层提供灵活对接、完备表达与昇腾亲和编译优化能力支持多个前端 DSL 实现昇腾算子性能提升。观看本场分享你将了解1.了解 AscendNPU IR 整体技术架构与设计理念2.了解 AscendNPU IR 面向昇腾 950 扩展的新特性3.了解 AscendNPU IR 社区共建活动与参与方式分享主题面向具身智能领域的通用AI编译器内容简介本报告介绍面向具身智能与多模态大模型的通用编译器围绕完整算法 pipeline 的捕获、导出、分组编译、runtime 部署与性能优化展开解决机器人模型在端侧交付、稳定运行、跨框架适配和工程规模化中的关键问题。观看本场分享你将了解1. 了解具身智能模型部署区别于传统模型部署的核心挑战包括多模型、多框架、多阶段 pipeline 带来的工程复杂度与维护成本2. 掌握通用编译器如何通过动态 trace 捕获完整算法流程并将预处理、VLA 模型、LLM、后处理等模块组织为可编译、可发布可部署的 DAG 模版3. 理解分组编译与统一 runtime 架构如何支持不同后端在保持统一交付链路的同时发挥各种芯片优势4. 了解具身领域编译器与发布平台的对接范式主办方及合作伙伴HyperAI超神经hyper.ai作为国际领先的人工智能及高性能计算社区旨在通过提供行业资讯报道、数据集加速下载、在线教程演示、热门模型性能评测、前沿论文推荐、高价值成果解读、顶会日历集成等一系列服务助力全球数据科学及⼈⼯智能⾏业的开发者及爱好者学习、理解、实践与社区⼀起构建⼈⼯智能的未来。访问官网HyperAIOpenBayes贝式计算是国内领先的高性能计算服务提供商通过为新一代异构芯片嫁接经典软件生态及机器学习模型进而为工业企业及高校科研提供更加快速、易用的数据科学计算产品其产品已被数十家大型工业场景或头部科研院所所采用。访问官网让计算更简单 | OpenBayes 贝式计算MLC.AI 社区成立于 2022 年 6 月并由 Apache TVM 主要发明者、机器学习领域著名的青年学者陈天奇带领团队上线了 MLC 线上课程系统介绍了机器学习编译的关键元素以及核心概念。2022 年 11 月在 MLC.AI 社区志愿者的共同努力下首个完整的 TVM 中文文档上线并成功托管至 HyperAI超神经官网进一步为对机器学习编译感兴趣的国内开发者提供了接触并学习一门新技术的基础设置——文档。MLC 线上课程https://mlc.ai/TVM 中文文档Apache TVM 是一个端到端的深度学习编译框架适用于 CPU、GPU 和各种机器学习加速芯片。 | Apache TVM 中文站活动场地支持本次活动场地由中关村科学城管委会、北京中关村科学城创新发展有限公司提供支持。考虑到本场活动的场地空间情况我们仅开放了 150 个到场名额建议大家尽早报名锁定席位。8 月 1 日 13:30-17:30我们不见不散
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
