CANN PTO-ISA TFILLPAD 指令详解Tile 编译时填充值的复制与边界物化【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaTFILLPAD 是 CANN PTO-ISAParallel Tile Operation虚拟指令集中的核心数据搬移指令负责将源 Tile 复制到目标 Tile并在有效区域之外使用编译时确定的填充值如PadValue::Min/PadValue::Max完成填充。本文围绕 docs/isa/TFILLPAD_zh.md 展开结合 include/pto 下的真实实现与测试用例讲解其数学语义、PadValue 填充值机制、三种操作模式Normal/InPlace/Expand、汇编语法与 C 内建接口。读完本文你将掌握如何在算子开发中利用 TFILLPAD 将动态有效区域物化为完整的静态 Tile 形状为后续指令提供确定性的输入边界。指令概述为什么需要 TFILLPAD在 PTO 的 Tile 抽象中Tile 具有静态形状由模板参数Rows/Cols决定与运行时有效区域由GetValidRow()/GetValidCol()决定两层概念。当算子从全局内存加载数据时实际有效数据往往小于 Tile 的静态形状例如 Load 到的行数/列数不足此时若直接对完整 Tile 做运算填充区域的取值是未定义的。TFILLPAD 解决的就是这个问题它将源 Tile 复制到目标 Tile并用编译时选定的填充值确定性物化有效区域之外的元素。其价值在于使后续指令能够在完整的静态 Tile 形状上安全运算无需分支判断有效边界填充值是编译期常量可配合PadValue::Max/PadValue::Min如inf/-inf用于后续的归约、极值、TPAD等对边界值敏感的运算所有后端CPU 模拟、A2/A3、A5共享同一套 PadValue 位模式映射保证行为跨平台一致。数学语义设VR src.GetValidRow()VC src.GetValidCol()。对目标 Tile 的每个元素(i, j)TFILLPAD 定义如下dst(i, j) src(i, j) if i VR 且 j VC dst(i, j) pad 其他情况即有效区域内的元素原样复制有效区域外的元素写入pad。pad由目标 Tile 的TileDataDst::PadVal与元素类型共同决定。例如浮点类型支持时使用inf/-inf否则使用std::numeric_limitsT::max()/min()。该语义在 CPU 模拟实现 include/pto/cpu/TFillPad.hpp 中被逐元素验证for (std::size_t j 0; j TileDataDst::Cols; j) { if (i validSrcRow j validSrcCol) { dst.SetElement(i, j, src.GetElement(i, j)); } else { dst.SetElement(i, j, padVal); } }填充值机制PadValue 与 PadValueMapPadValue 枚举填充值通过PadValue枚举指定其底层类型为uint64_t见 include/pto/common/type.hpp标准值占用低位自定义值通过高位携带位模式enum class PadValue : uint64_t { Null 0, Zero 1, Max 2, Min 3, // CustomBase marks the start of custom values (bit 32 set) CustomBase 0x100000000ULL, };内建 PadValue 映射表Vec 类型PadValue::Zero/Min/Max对应与类型相关的位模式实现在 include/pto/common/constants.hpp 的PadValueMapDType, PadVal特化中如float的Min为0xff800000、Max为0x7f800000。各类型映射关系如下DTypeZeroMinMax说明float/half/bfloat16_t0-infinfIEEE 无穷整数类型0类型最小值类型最大值如INT32_MIN/INT32_MAXfloat8_e4m3_t0x000xFE0x7E无 inf取有限极值float8_e5m2_t0x000xFC0x7C支持±infhifloat8_t0x000xEF0x6FHiF8±infS1101111仅 A5float4_e2m1x2_t0x000xFF0x77两个 nibble 均为-6/6float4_e1m2x2_t0x000xFF0x77两个 nibble 均为有限极值注意float8_e8m0_t没有内建的 Zero/Min/Max 语法糖需使用PadValueCustomfp8/fp4 低精度映射表仅用于 A5 后端CPU 模拟对 fp8/fp4 亦支持hifloat8_t仅限 A5。自定义填充值PadValueCustom当内建值不满足需求时可用PadValueCustom()定义于 include/pto/common/constants.hpp在编译期把任意数值的位模式编码进PadValue#include pto/common/constants.hpp constexpr PadValue PadCustomNeg1 PadValueCustom(-1.0f); // float -1.0 constexpr PadValue PadCustomNeg1_Half PadValueCustom16(0xBC00); // fp16 -1.0编码规则为[63:32]存放数值的位模式[31:0]标记CustomBase0x100000000。例如-1.0f的位模式为0xBF800000编码后为0xBF80000000000001ULL。辅助函数isCustomPadValue()与getCustomPadBits()负责检测与解码CPU 模拟与 A2/A3、A5 后端均通过统一的GetPadValueTileData()读取位模式见 include/pto/common/constants.hpp 中的编码/解码static_assert验证。汇编语法TFILLPAD 在 PTO 汇编中有多个层级的表现形式。同步形式概念性%dst tfillpad %src : !pto.tile... - !pto.tile...AS Level 1SSA%dst pto.tfillpad %src : !pto.tile... - !pto.tile...AS Level 2DPSpto.tfillpad ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)变体指令在 SSA/DPS 层面对应pto.tfillpad_expand与pto.tfillpad_inplace详细定义见 docs/isa/TFILLPAD_EXPAND_zh.md 与 docs/isa/TFILLPAD_INPLACE_zh.md。C 内建接口TFILLPAD 的 C 内建接口声明于include/pto/common/pto_instr.hpp经公共头 include/pto/pto-inst.hpp 引入实现在各后端头文件中template typename TileData, PadValue PadVal PadValue::Zero, typename... WaitEvents PTO_INST RecordEvent TFILLPAD(TileData dst, TileData src, WaitEvents ... events); template typename DstTileData, typename SrcTileData, typename... WaitEvents PTO_INST RecordEvent TFILLPAD(DstTileData dst, SrcTileData src, WaitEvents ... events);两条重载的分工对应 include/pto/common/pto_instr.hpp 的实现第一条为Mat 类型重载TileData::Loc TileType::Mat通过std::enable_if_t的 SFINAE 约束触发默认PadVal PadValue::Zero第二条为Vec 类型重载Dst/SrcTileData::Loc TileType::Vec通过模板参数TFillPadMode mode选择变体。此外还有两个兼容别名template typename DstTileData, typename SrcTileData, typename... WaitEvents PTO_INST RecordEvent TFILLPAD_INPLACE(DstTileData dst, SrcTileData src, WaitEvents ... events); template typename DstTileData, typename SrcTileData, typename... WaitEvents PTO_INST RecordEvent TFILLPAD_EXPAND(DstTileData dst, SrcTileData src, WaitEvents ... events);它们分别等价于TFILLPADTFillPadMode::InPlace(...)与TFILLPADTFillPadMode::Expand(...)见 include/pto/common/pto_instr.hpp。三种操作模式TFillPadMode枚举定义于 include/pto/common/type.hpp控制 Vec 重载的变体选择模式语义形状约束TFillPadMode::Normal标准复制 填充目标与源静态形状一致TFillPadMode::InPlace原地填充源与目标别名同一存储目标与源静态形状一致TFillPadMode::Expand扩展填充允许目标大于源目标 Rows/Cols 分别不小于源约束条件使用 TFILLPAD 需满足以下约束来自 docs/isa/TFILLPAD_zh.md 及 CPU 实现中的static_assert见 include/pto/cpu/TFillPad.hppVec 类型重载TileDataDst::PadVal ! PadValue::Null即目标 Tile 必须显式指定填充值CPU 实现对应断言 TFillPad, dst vecTile pad value cant be Null!。数据类型sizeof(TileDataDst::DType) sizeof(TileDataSrc::DType)且元素大小必须是 1、2 或 4 字节。打包的fp4x2按 1 字节 DType 处理每元素两个 nibble在 A5 上fp4x2的ValidCol/Cols按 nibble 计数与 TLOAD/TSTORE/TCVT 一致填充长度为ceil(Cols/2)个打包字节。TFILLPADNormalTileDataDst::Rows/Cols必须匹配TileDataSrc::Rows/Cols。TFILLPAD_EXPANDTileDataDst::Rows TileDataSrc::Rows且TileDataDst::Cols TileDataSrc::Cols。Mat 类型重载当TileData::TileType为Mat时布局必须满足!TileData::isRowMajor TileData::SLayout::RowMajor且PadVal必须为PadValue::Zero或PadValue::Null。该 Mat 重载与首条 Vec 重载要求PadVal ! PadValue::Null分属不同 SFINAE 重载二者并不矛盾。CPU 实现的约束更明确TFILLPAD_IMPL中通过static_assert校验了 PadVal、DType 大小相等以及 1/2/4 字节限制并在TFILLPAD_INPLACE_IMPL/TFILLPAD_EXPAND_IMPL中分别断言形状相等或目标不小于源include/pto/cpu/TFillPad.hpp。编程示例Vec 类型示例Min 填充以下示例将16×16的源 Vec Tile 复制到同为16×16、但携带PadValue::Min填充值的目标 Tile#include pto/pto-inst.hpp using namespace pto; void example1() { using SrcT TileTileType::Vec, float, 16, 16; using DstT TileTileType::Vec, float, 16, 16, BLayout::RowMajor, 16, 16, SLayout::NoneBox, TileConfig::fractalABSize, PadValue::Min; SrcT src; DstT dst; TFILLPAD(dst, src); }Mat 类型示例自填充Mat 重载支持对同一个 Tile 原地调用dst与src为同一对象ColMajor布局且SLayout::RowMajorvoid example2() { using TileMatData TileTileType::Mat, float, 16, 256, BLayout::ColMajor, 1, 224, SLayout::RowMajor, 512; TileMatData matTile; TFILLPAD(matTile, matTile); }自定义填充值与 Expand 模式组合参考 CPU 测试 tests/cpu/st/testcase/tfillpad/tfillpad_kernel.cpp 的用例 10源 Tile 有效数据为128×64目标 Tile 静态形状128×128用-1.0f填充剩余列#include pto/pto-inst.hpp #include pto/common/constants.hpp using namespace pto; constexpr PadValue PadCustomNeg1 PadValueCustom(-1.0f); void example3() { using SrcT TileTileType::Vec, float, 128, 128, BLayout::RowMajor, -1, -1, SLayout::NoneBox, 512, PadValue::Null; using DstT TileTileType::Vec, float, 128, 128, BLayout::RowMajor, -1, -1, SLayout::NoneBox, 512, PadCustomNeg1; SrcT src(128, 64); // 运行时有效区域 128×64 DstT dst(128, 128); // dst[0:128, 0:64] src 数据 // dst[0:128, 64:128] -1.0f填充 TFILLPAD(dst, src); }汇编示例ASM自动模式自动模式下由编译器/运行时负责资源放置与调度指令只需描述数据流# 自动模式由编译器/运行时负责资源放置与调度。 %dst pto.tfillpad %src : !pto.tile... - !pto.tile...手动模式手动模式下需先用pto.tassign显式绑定 Tile 资源地址再发射指令# 手动模式先显式绑定资源再发射指令。 # 可选当该指令包含 tile 操作数时 # pto.tassign %arg0, tile(0x1000) # pto.tassign %arg1, tile(0x2000) %dst pto.tfillpad %src : !pto.tile... - !pto.tile...PTO 汇编形式%dst pto.tfillpad %src : !pto.tile... - !pto.tile... # AS Level 2 (DPS) pto.tfillpad ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)源码级实现剖析CPU 模拟后端include/pto/cpu/TFillPad.hpp 提供了完整的 CPU 参考实现核心流程为通过GetPadValueTileDataDst()解码 PadValue 位模式再按sizeof(DType)4/2/1 字节用std::bit_cast还原为元素值标准bfloat16_t走std::numeric_limits的infinity()回退路径使用cpu::parallel_for_1d并行遍历目标 Tile 全部行逐元素判断i validSrcRow j validSrcCol命中则dst.SetElement(i, j, src.GetElement(i, j))否则写入padValTFILLPAD_IMPL的多个重载分别承载同类型带 PadVal 参数、Normal形状相等断言、InPlace形状相等断言与 Expand目标不小于源断言四种情况。NPU 后端与跨平台一致性A2/A3 与 A5 分别有独立的实现文件include/pto/npu/a2a3/TFillPad.hpp、include/pto/npu/a5/TFillPad.hpp。A5 实现中填充值通过pset_b32/pset_b16/pset_b8等掩码寄存器指令按元素宽度写入见 include/pto/npu/a5/TFillPad.hpp 的PSetTyped辅助函数。由于所有后端共用PadValueMap与GetPadValue()解码路径自定义位模式在 CPU 模拟、A2/A3、A5 上行为一致。测试验证TFILLPAD 拥有完整的 CPU 单测覆盖位于 tests/cpu/st/testcase/tfillpadtfillpad_kernel.cpp 提供 18 个测试用例的 kernel 与 golden 生成逻辑覆盖 float/uint16/int8/uint8/bfloat16/half 类型PadValue::Max/Min/Zero与自定义-1.0f/fp16-1.0填充以及 InPlace用例 5、Expand用例 8、9变体README.md 以表格形式汇总了各用例的全局形状、Tile 形状与填充值设置可作为参数选型的速查表golden 计算逻辑get_input_golden_case同样按isCustomPadValue→ 位解码、has_infinity→±inf、否则min/max的顺序复现语义形成对实现的双向校验。总结TFILLPAD 是 PTO-ISA 中确定性物化边界的关键指令它把运行时动态的有效区域补齐为编译期已知的静态 Tile 形状并通过PadValue机制内建 Zero/Min/Max、低精度类型映射表、PadValueCustom自定义位模式保证填充值跨后端一致。理解其数学语义、三种操作模式Normal/InPlace/Expand、PadValue 约束与汇编形式是在 PTO 算子中正确处理边界填充、写出可移植高性能 kernel 的前提。更多相关指令可参考 docs/isa 目录下的完整指令手册以及 docs/coding/tutorials 中的编程教程。【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考