会议CAS-Net: Cross-View Aligned Segmentation by Graph Representation of Knees年份2023英文名字CAS-Net: Cross-View Aligned Segmentation by Graph Representation of Knees中文译为CAS-Net基于膝关节图表示的跨视角对齐分割网络一、摘要膝关节 MRI 是膝骨关节炎、软骨损伤、半月板损伤等疾病的重要检查方式。理想情况下如果获得完整的高分辨率3D MRI就可以直接进行三维股骨分割胫骨分割软骨分割半月板分割进而计算软骨厚度、体积以及其他形态学指标。但是临床中3D MRI 扫描时间较长占用设备资源因此更常见的是SagittalCoronalAxial​即矢状位冠状位轴位的多视角2D MRI。这些 2D MRI 单个切片平面内分辨率很高但层间距离较大因此很难直接得到精细的三维分割。作者因此提出 CAS-Net多视角2DMRI → 超分辨率3D重建 → KneeGraph → Graph based Segmentation → 3D Knee Segmentation更重要的是训练的时候只需要矢状位的分割标注不需要同时标注矢状位、冠状位和轴位。因此该方法同时解决两个问题如何从临床多视角 2D MRI 得到 3D 分割以及如何减少多视角重复人工标注的工作量二、创新点1 从临床多视角 2D MRI 生成完整 3D 膝关节分割传统方法往往假设输入本身就是3D MRI而 CAS-Net 的输入是临床更加常见的 Sagittal 2DCoronal 2DAxial 2D​最终输出 3D Segmentation​因此文章重点不是单纯设计一个更好的 3D U-Net而是解决多视角二维扫描 → 三维解剖分割2 只使用矢状位标注监督整个模型传统做法如果有三个扫描方向很可能需要医生分别标注SagittalCoronalAxial。这样工作量非常大。CAS-Net 只要求 Sagittal Annotation​然后借助多视角之间的空间一致性把信息传播到 CoronalAxial3D因此大幅降低了人工标注需求。作者强调CAS-Net 可以仅依靠矢状位分割标注 三个视角的 MRI 图像生成三维膝关节结构。3 使用 Knee Graph 表示膝关节而不是直接处理完整 3D Volume膝关节真正需要精细分割的位置主要集中在 Bone–Cartilage Interface​也就是骨表面及骨—软骨交界区域。作者因此没有让网络对整个 3D 空间进行同等复杂度的处理而是找到骨表面在骨表面采样若干点每个采样点提取一个局部 3D patch把每个 patch 当作图中的一个节点根据空间邻近关系建立边。最终形成 Knee Graph​这样可以更加有针对性地描述膝关节局部结构。4 将 Graph Transformer 引入局部膝关节 Patch 的关系建模普通 3D U-Net 更擅长局部空间特征。但两个距离较远的 cartilage patches 之间也可能具有重要的结构联系。因此作者将 3D UNetGraph Transformer Network结合。利用 Knee Graph 中节点之间的邻接关系让不同 patch 之间进行信息传播。这样模型既能学习局部Patch Appearance又能学习整体Knee Surface Structure三、方法所提出的交叉视图对齐分割网络CAS-Net的总体架构。它由两个主要部分组成1膝关节图构建涉及将多视图二维扫描超分辨率到三维体积中并用膝关节图表示2基于图的分割网络对膝盖图上的patch补丁进行分割从而实现3D分割。3.1 Isotropic Super-Resolution各向同性超分辨率首先存在一个现实问题多视角 2D MRI层内分辨率高层间距离大。例如论文提到临床扫描中可能出现0.3 mm的层内分辨率而层间距离却达到3.5 mm如果直接堆成 3D Volume会非常粗糙。因此作者首先对SagittalCoronalAxial三个方向分别进行Super-Resolution。它们首先被投影到统一的 World Coordinate System (WCS)​然后利用连续坐标隐式表示生成各向同性 3D Volume。最终三个方向得到 Vsag​,Vcor​,Vaxi​而且它们位于同一个世界坐标系中。然后进行通道拼接 V[Vsag​,Vcor​,Vaxi​]相当于得到一个 Multi-channel 3D Volume​3.2 生成 Pseudo 3D Segmentation接下来作者首先训练一个 2D nnU-Net​只使用 Sagittal MRISagittal Annotation训练。然后将 nnU-Net 逐切片应用到超分辨率后的 sagittal volumeSlice1​→Segmentation1​ Slice2​→Segmentation2​ ...最后堆叠成 Pseudo 3D Segmentation​为什么叫“Pseudo”因为它毕竟是2D 分割结果直接堆叠得到的三维结果。因此容易出现边界不平滑切片间不连续软骨细节错误。所以它只是一个初始结果。CAS-Net 后面的任务就是Pseudo Segmentation→Refined 3D Segmentation3.3 Graph Representation1、Knee Graph Sampling接下来根据 Pseudo 3D Segmentation 找到Bone Surface​因为软骨主要附着在骨表面因此这里是最值得精细处理的位置。作者在骨表面均匀采样若干点。每一个作为 Knee Graph 的一个Vertex​每个 Vertex 保存两种信息① Multi-view Patch从对应空间位置截取里面包含Sagittal 信息Coronal 信息Axial 信息。② WCS Coordinate保存这个 Patch 在真实三维空间中的坐标。2、建立 Knee Graph接着建立G(V,E)其中 V{v1​,v2​,⋯,vN​}是采样 patch 节点。每一个节点连接其 k10​个最近邻节点。3.4 Graph-Based U-Net然后每个节点对应的 Multi-view Patch 输入3D U-Net​提取局部三维特征 Pi​→Hi​这部分主要负责学习骨边缘软骨边缘半月板局部组织纹理。但是普通 U-Net 每一个 Patch 基本是独立处理的。因此作者进一步加入了 Graph Transformer Network (GTN)​Graph Transformer Network在 U-Net bottleneck 中首先对 Patch 特征进行Average Pooling同时把 WCS 空间坐标C经过 Linear Projection。最终因此节点表示同时包含 AppearancePosition​即图像内容解剖空间位置。然后进入3 层 Graph Transformer与普通 Transformer 类似生成 Q, K, V但与普通全局 self-attention 不同GTN 只让Graph 中相邻节点之间计算 Attention。通过邻接矩阵 A限制注意力这样可以让相邻骨表面 Patch 交换信息。因此 Local Patch Feature被进一步增强为Structural Knee Feature3.5 Patch Segmentation → 3D SegmentationGTN 处理之后重新送入 U-Net Decoder。得到每个 Patch 的三维分割随后根据 Knee Graph 中保存的空间位置把所有 Patch 分割结果重新投影回 Pseudo 3D Segmentation最终形成 Refined 3D Segmentation​四、数据集使用OAI​,即 Osteoarthritis Initiative 数据集。作者选择SAG IW TSE LEFT矢状位COR MPR LEFT冠状位AX MPR LEFT轴位作为临床多视角 2D MRI。另外使用 3D DESS及其已有标注作为 3D 分割性能评价的 Ground Truth。论文分割了五个组织五、结论作者提出CAS-Net​实现 多视角临床2DMRI仅Sagittal标注→3D膝关节分割​整个方法通过 Super-Resolution → Pseudo 3D Segmentation → Knee Graph → 3D UNet → Graph Transforme r→ Refined 3D Segmentation​把多视角二维 MRI 中的信息融合到了统一三维空间。实验表明 CAS-Net 能够提升3D 膝关节分割Cross-view 分割软骨、骨和半月板的边界质量。作者认为这种方法能够支持后续基于膝关节形态学的疾病分析同时也有可能推广到其他三维医学图像分割任务。同时作者明确指出目前最大的限制是 跨视角扫描之间的空间错位​未来计划引入 Multimodal Alignment​来解决这一问题。