CANN/asc-devkit原子交换操作

AtomicExch

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:不支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品AI Core:不支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持

功能说明

头文件路径为:"basic_api/kernel_operator_atomic_intf.h"

该接口用于在GM内存中执行原子交换操作,读取address指向的GM地址上的旧值(old_value),并将输入的标量值(value)替换旧值存储回同一地址,返回该地址修改前的值(old_value)。

计算公式如下:

$$new_value = value$$

函数原型

template <typename T> __aicore__ inline T AtomicExch(__gm__ T *address, T value)

参数说明

表1模板参数说明

参数名描述
T操作数数据类型。

表2参数说明

参数名输入/输出描述
address输入输入GM的地址。
value输入标量值,支持数据类型和address指向的数据类型保持一致。

数据类型

address、value、返回值的数据类型相同,支持的数据类型为uint32_t、uint64_t。

返回值说明

GM地址上做原子操作前的数据。

约束说明

  • 在开启编译器自动同步功能(参见自动同步使用约束说明)的前提下,编译器能够自动在PIPE_MTE2/PIPE_MTE3与PIPE_S之间插入同步(参见编译器自动同步)。但是,AtomicExch为标量计算,在读写GM时如果与搬运单元(MTE2/MTE3)存在数据依赖,编译器却无法自动插入同步,开发者需要根据实际情况手动插入同步。
  • Scalar原子操作会绕过DCache,需要调用DataCacheCleanAndInvalid接口确保GM与DCache的一致性。

调用示例

AscendC::LocalMemAllocator<AscendC::Hardware::UB> ubAllocator; AscendC::LocalTensor<uint32_t> yLocal = ubAllocator.Alloc<uint32_t>(DATA_SIZE); AscendC::GlobalTensor<uint32_t> yGlobal; yGlobal.SetGlobalBuffer(reinterpret_cast<__gm__ uint32_t*>(y), DATA_SIZE); // AtomicExch:三个核分别对GM首个元素原子交换。 uint32_t value = 1; AscendC::AtomicExch(reinterpret_cast<__gm__ uint32_t*>(y), value); // 原子操作后插入同步。 AscendC::SetFlag<AscendC::HardEvent::S_MTE2>(EVENT_ID0); AscendC::WaitFlag<AscendC::HardEvent::S_MTE2>(EVENT_ID0); AscendC::DataCopy(yLocal, yGlobal, DATA_SIZE);

完整样例请参考scalar_atomic_operations样例。

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考