论文中还写到,他们引入了全面的 308 个关键点,对人体的身体、手部、脚部、表面和面部等进行了标注。
而且,在进行分割时还引入了 28 个类别,例如头发、舌头、嘴唇(上嘴唇、下嘴唇)、躯干、牙齿等都是单独的类别,因此在分割时就可以按照这 28 个类别进行分割。
继续来看这个 可以看到,他们这个项目叫 Sapiens。这是一个在大规模人类图像数据集上进行预训练的视觉 Transformer,其实就是使用视觉 Transformer 方法,基于大量的人类图像进行训练的一个模型。
可以看到,他们使用的训练集叫做 Human-300M dataset,这是 Meta 在训练该模型时使用的数据集。
在这 3 亿张照片中,不同人数情况的占比分别为:
1. 只有 1 个人:占 17%
2. 只有 2 个人:占 14%
3.