NV-Raw2Insights-US:革命性超声声速估计AI模型完全指南
【免费下载链接】NV-Raw2Insights-US项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-Raw2Insights-US
NV-Raw2Insights-US是一款革命性的超声声速估计AI模型,它能够从原始传感器数据中估计空间变化的声速(SoS)图,帮助波束形成器校正局部组织特性,生成更清晰的超声图像,就像相机的自动对焦功能一样,但专门针对超声成像。
🌟 什么是NV-Raw2Insights-US?
传统超声成像假设声音在人体内各处传播速度相同,但实际上不同组织的声速不同,这会导致图像模糊。NV-Raw2Insights-US通过AI技术解决了这一难题,它从原始超声同相/正交(IQ)通道数据中估计2D声速图,为超声成像带来了质的飞跃。
🔍 核心功能
- 声速重建:从原始波束形成前的通道数据中重建声速
- 自适应波束形成:利用估计的声速图进行自适应波束形成
- 声学成像中的逆问题学习:解决声学成像中的复杂逆问题
- 学习与物理基声速求解器比较:为研究提供新的视角
⚠️ 注意:该模型仅用于研究和开发,不是经过临床验证的医疗设备,不应用于临床诊断目的。
🧠 模型架构解析
NV-Raw2Insights-US采用两阶段卷积管道架构,包括RF编码器和SoS估计头。
主要组件
| 组件 | 架构 | 作用 |
|---|---|---|
| 第一阶段 - RF编码器 | 沿快时间轴的1D CNN | 将每个通道的复杂IQ样本编码为潜在表示 |
| 第二阶段 - SoS头 | 2D CNN | 将聚合的潜在变量解码为32 x 32的声速图 |
该模型总共有230万参数(编码器36.1万 + 解码器198万),没有使用基础模型,而是从零开始训练的。
🚀 设计特点
- RF编码器沿快时间(深度)轴独立地对每个通道进行卷积
- 两阶段分解将表示学习与特定任务估计分离
- 潜在空间可重用于其他下游任务(如B模式重建、像差校正)
- 训练分为两个阶段,第一阶段通过端到端方式最小化预测值与DBUA生成的真实SoS图之间的MSE
📊 输入与输出规格
输入参数
NV-Raw2Insights-US的输入是超声IQ(同相/正交)通道数据,为复值数值张量,具体规格如下:
| 属性 | 规范 |
|---|---|
| 形状 | 180 x 180 x 1024(发射 x 接收 x 时间样本) |
| 值类型 | 复数(基带解调IQ) |
| 换能器 | Siemens 15L4线性阵列 |
| 采集 | 多静态序列,180个连续的单元素发射 |
| 预处理 | 推理前需要进行基带解调 |
输出参数
模型的输出是声速图,为实值2D数值数组(float32),具体规格如下:
| 属性 | 规范 |
|---|---|
| 形状 | 32 x 32像素 |
| 单位 | 米每秒(m/s) |
| 预期范围 | 1400 -- 1600 m/s |
⚠️ 注意:超出1400-1600 m/s范围的值表示分布外推断,不应信任。
💻 软件集成与部署
运行环境要求
- 运行时引擎:PyTorch
- 支持的硬件微架构:NVIDIA Ampere或更新版本(推荐)
- 支持的操作系统:Linux
我们的AI模型设计和/或优化为在NVIDIA GPU加速系统上运行。通过利用NVIDIA的硬件(如GPU核心)和软件框架(如CUDA库),该模型实现了比仅使用CPU的解决方案更快的训练和推理时间。
📥 模型获取与安装
要开始使用NV-Raw2Insights-US,首先需要克隆仓库:
git clone https://gitcode.com/hf_mirrors/nvidia/NV-Raw2Insights-US项目中包含两个预训练模型文件:
- phase1.pt
- phase2.pt
📚 模型版本信息
| 版本 | 状态 | 描述 |
|---|---|---|
| v0.1-dev | 积极开发中 | 两阶段架构(1D CNN RF编码器 + 2D CNN SoS头),通过DBUA地面实况进行MSE训练 |
🧪 训练与评估数据集
训练数据集
- 数据模态:超声通道捕获IQ通道数据(复值3D张量 [180, 180, 1024] float32)和标量元数据
- 训练数据大小:磁盘上640 GB(2,391个样本,Apache Arrow格式)
- 数据收集方法:自动/传感器(西门子医疗研究超声扫描仪,180元素线性阵列探头)
- 标记方法:自动/传感器 — 所有标签都来自采集的传感器数据,不涉及人工注释
评估数据集
- 数据收集方法:自动/传感器(西门子医疗研究超声扫描仪,演示体模采集)
- 标记方法:自动/传感器 — 与训练数据相同的派生标记管道
- 属性:350个验证样本,与训练数据具有相同的模态、格式和传感器
注意:此数据集不会公开。
⚖️ 伦理考虑
NVIDIA认为可信AI是一项共同责任,我们已经建立了政策和实践,以支持广泛的AI应用开发。当按照我们的服务条款下载或使用时,开发人员应与他们的内部模型团队合作,确保该模型满足相关行业和用例的要求,并解决不可预见的产品误用问题。
如发现模型质量、风险、安全漏洞或NVIDIA AI问题,请在此处报告。
📝 许可证信息
NV-Raw2Insights-US采用CC BY-NC 4.0许可证 — 需要署名,仅允许非商业使用。
📅 发布日期
Hugging Face 2026年4月
📚 参考文献
- W. Simson, L. Zhuang, S. J. Sanabria, N. Antil, J. J. Dahl, and D. Hyun, "Differentiable Beamforming for Ultrasound Autofocusing," inInternational Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp. 428--437, Springer, 2023.
【免费下载链接】NV-Raw2Insights-US项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-Raw2Insights-US
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考