Cosmos3-Nano-Policy-DROID训练数据集揭秘：1.3B数据点的构建过程

Cosmos3-Nano-Policy-DROID训练数据集揭秘1.3B数据点的构建过程【免费下载链接】Cosmos3-Nano-Policy-DROID项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Policy-DROID想要理解Cosmos3-Nano-Policy-DROID如何成为顶尖的机器人策略模型关键在于它背后那庞大而精密的1.3B数据点训练数据集本文将为你揭秘这个超大规模数据集的构建全过程从数据采集到最终训练就绪的完整流程。 项目概述物理AI的世界模型Cosmos3-Nano-Policy-DROID是NVIDIA开发的16B参数机器人策略模型专门为DROID机器人平台设计。这个模型能够根据语言指令和视觉观察生成机器人动作轨迹实现精准的操控任务。但真正让这个模型强大的是它背后那精心构建的1.3B数据点训练数据集 数据集规模与构成1.3B数据点的全景图数据总量统计总数据点: 13亿个数据点数据集数量: 393个数据集条目数据采集时间: 2024-2026年数据分区: 100%用于训练多模态数据分布模态类型推理数据样本数生成数据样本数文本数据2200万不适用图像数据1900万7.67亿视频数据100万3.48亿音频数据不适用1.39亿动作数据不适用800万 数据来源三大支柱支撑1. 公开数据集OpenImage: 120万高质量图像样本Coyo700M: 1亿个图像-文本对YouTube Video: 3.4亿个视频片段UMI: 450万个机器人动作轨迹数据2. 私有数据集Egocentric: 700万个第一视角数据Nexar: 60万个自动驾驶场景数据AgiBot: 20万个机器人交互数据HOI: 30万个人-物交互数据3. 合成数据集HiDream-I1生成图像: 1500万张合成图像Qwen-Image-2512生成图像: 1400万张合成图像Qwen3-VL生成字幕: 11.15亿个合成字幕️ 数据构建流程六步精密工艺第一步数据采集与多样性覆盖数据采集跨越机器人技术、自动驾驶、工业环境、室内外场景、不同光照和天气条件、多种摄像头视角、物体类别和人类活动等多个领域。这种多样性确保了模型能够适应各种物理AI操作环境。第二步自动化过滤与清洗原始数据经过多阶段的策划、过滤和质量审查。自动化过滤管道会移除损坏、重复、低质量和受限内容。整个过程包括元数据分析启发式规则应用模型辅助分类器标记异常分布低多样性子集识别第三步人工审核与质量保证对于选定的数据集、基准构建和有针对性的质量分析人工审核会补充自动化过滤。这种双重保障机制确保了数据的质量和安全性。第四步平衡与去重处理数据集在各个模态和任务类别之间保持平衡包括视觉推理、文本到图像、文本到视频、图像到视频、音频生成、视频转换、动作条件生成和动作命令生成等。同时应用去重和来源追踪技术。第五步合成数据增强合成和基于仿真的数据增强补充了罕见物理交互和边缘情况的覆盖范围特别是在机器人操作和自动驾驶场景中。第六步模态特定预处理处理后的数据通过模态特定的预处理器转换为模型就绪的标记化或编码表示然后才开始训练。️ 安全与合规严格的保障措施内容安全过滤训练数据集通过了多层自动化和手动安全措施旨在减少有害或违反政策的内容包括武器和武器相关指导内容犯罪策划内容儿童性虐待材料(CSAM)非自愿亲密图像(NCII)涉及未成年人的性内容骚扰、仇恨言论、亵渎威胁和煽动暴力内容自残或自杀相关内容图形暴力内容技术过滤策略哈希匹配: 针对已知CSAM和NCII参考数据库基于分类器的审核模型: 专门针对明确性内容、仇恨言论、暴力、武器图像等受限类别关键词和正则表达式筛查: 用于文本数据中的犯罪策划、威胁和自残短语元数据和来源启发式: 用于源级风险信号基于嵌入的异常检测: 用于表面分布异常的样本物理AI数据特殊过滤对于多模态物理AI数据机器人技术、自动驾驶、工业场景额外过滤针对无效动作轨迹、物理上不可信的交互和不安全的控制序列。 数据质量验证多维度评估体系1. 基准测试评估使用标准公共基准进行系统评估确保模型在各种任务上的性能表现。2. 红队测试通过对抗性测试发现世界生成、推理、音频和动作任务中的剩余安全漏洞。3. 人工审核机制对于合成和仿真生成的数据在包含前通过内部验证进行评估。 数据预处理技术细节输入规格要求文本: 4096个标记图像: 256p、480p、720p分辨率支持16:9、4:3、1:1、3:4、9:16宽高比视频: 256p、480p、720p分辨率最大5帧音频: 最长0.5秒动作: 16-400个视频帧输出规格标准图像: JPG格式视频: MP4格式包含AAC音频流音频: AAC格式在MP4中复用动作: 1D列表(.json)文本: 字符串格式 数据集的应用价值机器人策略训练DROID机器人平台的动作轨迹数据使得模型能够学习复杂的操控任务如拾取和放置物体、导航和操作等。多模态理解能力结合文本、图像、视频和动作数据模型能够理解物理世界中的复杂关系和动态变化。泛化能力提升通过多样化的数据源和合成数据增强模型能够在未见过的环境中表现出良好的泛化能力。 技术创新的关键点1. 多模态统一表示Cosmos3采用混合变换器(MoT)架构将离散标记生成的自回归变换器与连续多模态生成的扩散变换器相结合。2. 物理一致性保证通过物理AI数据的特殊过滤和处理确保动作轨迹和交互的物理合理性。3. 安全优先设计从数据采集到模型部署的整个流程都融入了安全考虑确保模型输出的可靠性和安全性。 性能表现验证在RoboLab基准测试中Cosmos3-Nano-Policy-DROID在语言特异性和难度级别上的任务成功率表现出色。在RoboArena策略排行榜上该模型更是获得了第一名的成绩证明了其训练数据集的质量和模型的强大性能。 未来发展方向1. 数据规模扩展随着更多高质量数据的收集数据集规模将进一步扩大提升模型的性能上限。2. 数据质量提升通过更精细的数据过滤和增强技术提高训练数据的质量和多样性。3. 新模态整合探索将更多传感器数据如触觉、力反馈整合到训练数据集中。 总结与启示Cosmos3-Nano-Policy-DROID的1.3B数据点训练数据集不仅是数量上的成就更是质量、多样性和安全性的典范。通过精心设计的数据采集、严格的质量控制、全面的安全过滤和创新的预处理技术这个数据集为物理AI的发展奠定了坚实的基础。对于想要构建类似系统的开发者来说这个数据集的构建过程提供了宝贵的经验多样性优先: 覆盖尽可能多的场景和条件质量重于数量: 严格的数据过滤和人工审核安全第一: 从数据源头开始的安全保障平衡发展: 各模态和任务类别的均衡分布持续优化: 通过基准测试和红队测试不断改进这个数据集的成功构建证明了在人工智能时代高质量的训练数据是模型性能的关键决定因素。通过系统化的数据工程流程我们能够创造出真正理解物理世界、安全可靠的AI系统。【免费下载链接】Cosmos3-Nano-Policy-DROID项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Policy-DROID创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考