CANN/asc-devkit L1ToGM高维切分数据搬运

L1ToGM高维切分数据搬运DataCopy【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。该接口主要实现将矩阵从L1 Buffer搬运至Global Memory数据搬运时格式和内容保持不变。高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。函数原型接口同时支持非连续搬运和连续搬运template typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)对于连续搬运场景推荐使用L1ToGM连续数据搬运DataCopy。参数说明表1模板参数说明参数名描述T源操作数或者目的操作数的数据类型。支持的数据类型请参考数据类型。表2参数说明参数名称输入/输出含义dst输出目的操作数类型为GlobalTensor存储位置为Global Memory地址需要1字节对齐。src输入源操作数类型为LocalTensor存储位置为L1 Buffer地址需要32字节对齐。repeatParams输入搬运参数类型为DataCopyParams。通过该参数可以配置搬运的数据块个数、长度、地址间隔等信息同时支持非连续和连续搬运。DataCopyParams参数说明请参考表3。表3DataCopyParams结构体参数定义参数名称含义blockCount搬运的数据块个数。uint16_t类型取值范围为blockCount∈[0, 4095]默认值为1。注blockCount 0表示不执行搬运该接口将被视为NOP空操作。blockLen搬运的每个数据块长度。uint16_t类型取值范围为blockLen∈[0, 65535]单位DataBlock32字节。注blockLen 0表示不执行搬运该接口将被视为NOP空操作。srcGap源操作数相邻数据块之间的间隔即前一个数据块结束地址与后一个数据块起始地址的差值uint16_t类型取值范围为srcGap∈[0, 65535]单位为DataBlock32字节。• blockCount 1时srcGap无意义设置为0即可。dstGap目的操作数相邻数据块之间的间隔即前一个数据块结束地址与后一个数据块起始地址的差值uint16_t类型取值范围为dstGap∈[0, 65535]单位为DataBlock32字节。• blockCount 1时dstGap无意义设置为0即可。下图呈现了DataCopyParams结构体参数的使用方法样例中完成了2个连续传输数据块的搬运每个数据块含有8个DataBlock源操作数相邻数据块之间无间隔目的操作数相邻数据块尾与头之间间隔1个DataBlock。数据类型源矩阵和目的矩阵支持的数据类型保持一致。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t、double。针对Kirin X90支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。Kirin 9030支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。返回值说明无约束说明位于L1 Buffer的源地址必须32字节对齐位于Global Memory的目的地址必须1字节对齐。当DataCopyParams结构体参数blockCount、blockLen任意一个值为0时该指令不会执行。针对如下产品型号Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品在跨卡通信算子开发场景DataCopy类接口支持跨卡数据搬运仅支持HCCS物理链路不支持其他通路开发者开发过程中需要关注涉及卡间通信的物理通路可通过npu-smi info -t topo命令查询HCCS物理链路。DataCopyParams结构体参数的值需在取值范围内表4DataCopyParams结构体参数取值范围参数名称取值范围blockCount[1, 4095]blockLen[1, 65535]srcGap[0, 65535]dstGap[0, 65535]关键特性说明连续搬运针对连续搬运场景推荐使用L1ToGM连续数据搬运DataCopy以下示例仅展示高维切分数据搬运接口具有连续搬运能力。以half数据类型为例源操作数的shape为1 * 128。图1将源操作数中128个元素连续搬运至目的操作数DataCopyParams结构体参数配置如下blockCount 1搬运1个数据块表示连续搬运。blockLen 8一个数据块长度为8个DataBlock。srcGap 0源操作数相邻数据块之间的间隔为0。dstGap 0目的操作数相邻数据块之间的间隔为0。图1连续搬运示意图非连续搬运以half数据类型为例源操作数的shape为1 * 112。图2将源操作数中非连续数据搬运至目的操作数DataCopyParams结构体参数配置如下blockCount 2搬运2个数据块。blockLen 3一个数据块的长度为3个DataBlock。srcGap 1源操作数相邻数据块之间的间隔为1。dstGap 2目的操作数相邻数据块之间的间隔为2。图2非连续搬运示意图调用示例以图2所示场景为例展示非连续搬运时的调用示例constexpr uint32_t srcElemCount 112; constexpr uint32_t dstElemCount 128; // 源操作数L1 Buffer按“48个有效half 16个跳过half 48个有效half”排布。 AscendC::LocalTensorhalf srcLocal(AscendC::TPosition::A1, a1Addr, srcElemCount); // 目的操作数GM上预留128个half两个有效数据块之间保留32个half间隔。 AscendC::GlobalTensorhalf dstGm; dstGm.SetGlobalBuffer((__gm__ half *)dst, dstElemCount); AscendC::DataCopyParams repeatParams; // 搬运2个连续传输数据块。 repeatParams.blockCount 2; // 每个数据块长度为3个DataBlock。 repeatParams.blockLen 3; // 源端相邻数据块之间跳过1个DataBlock。 repeatParams.srcGap 1; // 目的端相邻数据块之间间隔2个DataBlock。 repeatParams.dstGap 2; AscendC::DataCopy(dstGm, srcLocal, repeatParams);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考