Nemo Skills合成数据生成：如何创建高质量的数学、代码和科学数据集

Nemo Skills合成数据生成：如何创建高质量的数学、代码和科学数据集

【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills

Nemo Skills是一个强大的开源框架，专门用于提升大型语言模型的推理能力。通过其先进的合成数据生成技术，您可以轻松创建高质量的数学、代码和科学数据集，为模型训练提供丰富的数据支持。💡

为什么需要合成数据生成？

在AI模型开发中，高质量的训练数据是成功的关键。然而，获取足够数量且高质量的标注数据往往成本高昂且耗时。Nemo Skills的合成数据生成功能解决了这一痛点，让您能够：

• 大规模生成训练数据：从少量种子问题生成海量高质量解决方案
• 提升模型推理能力：专门针对数学、编程和科学推理任务
• 降低数据获取成本：无需人工标注，自动化生成解决方案
• 快速迭代实验：快速生成不同难度和领域的数据集

Nemo Skills合成数据生成的核心架构

Nemo Skills采用模块化设计，使合成数据生成变得简单高效：

1.问题提取模块

从原始文本中自动提取数学问题、编程挑战或科学问题。系统支持多种数据源，包括AoPS论坛、代码库和科学文献。

2.解决方案生成引擎

利用强大的LLM（如DeepSeek-R1-0528、Qwen2.5-32B-Instruct）生成详细的解题步骤和推理过程：

ns generate \ --cluster=slurm \ --server_type=sglang \ --model=/workspace/DeepSeek-R1-0528 \ --server_gpus=8 \ --server_nodes=2 \ --num_random_seeds=16 \ --output_dir=/workspace/synthetic-data \ ++prompt_config=generic/math \ ++inference.temperature=0.6

3.质量评估系统

自动评估生成的解决方案，确保数据质量：

图：OpenMathReasoning数据集生成效果展示

数学数据集生成实战指南

快速开始：三步创建数学数据集

第一步：准备基础数据从OpenMathReasoning等开源数据集中提取数学问题：

from datasets import load_dataset dataset = load_dataset("nvidia/OpenMathReasoning") # 过滤和预处理数据

第二步：批量生成解决方案使用Nemo Skills的生成管道并行处理：

from nemo_skills.pipeline.cli import generate generate( cluster='local', model="Qwen/Qwen2.5-32B-Instruct", input_file="/workspace/math-problems.jsonl", output_dir="/workspace/solutions", num_random_seeds=32, # 每个问题生成32个解决方案 server_type="vllm" )

第三步：质量过滤与评估自动筛选正确的解决方案：

ns generate \ --generation_type="math_judge" \ --input_dir="/workspace/solutions" \ --output_dir="/workspace/solutions-judged"

图：Nemo Skills生成管道的W&B监控界面

代码数据集生成技巧

编程问题解决方案生成

对于代码数据集，Nemo Skills支持多种编程语言和难度级别：

1. 问题收集：从HumanEval、LiveCodeBench等基准中提取
2. 解决方案生成：使用代码专用提示模板
3. 执行验证：通过代码沙箱验证解决方案的正确性

关键配置参数

# 代码生成专用配置 temperature: 0.7 tokens_to_generate: 4096 stop_phrases: ["```", "\n\n\n"] examples_type: "code_python"

科学数据集生成策略

多学科覆盖方法

Nemo Skills的科学数据生成支持：

• 物理、化学、生物基础科学问题
• 工程和技术应用问题
• 交叉学科综合推理问题

质量保证机制

1. 答案一致性检查：多数投票机制确保答案正确性
2. 推理逻辑验证：LLM-as-a-judge评估推理质量
3. 多样性控制：温度采样和多轮生成确保覆盖度

高级技巧：提升数据质量

1. 多模型协同生成

使用不同模型生成解决方案，然后进行集成：

# 使用多个模型生成 models = ["DeepSeek-R1-0528", "Qwen2.5-32B-Instruct", "GPT-4"] for model in models: generate_solutions(model, problems)

2. 迭代优化策略

图：训练过程中的性能监控

3. 数据去重与多样性控制

from nemo_skills.training.prepare_data import deduplicate_solutions # 移除重复解决方案 deduplicated_data = deduplicate_solutions( solutions_data, similarity_threshold=0.9 )

实际应用案例

案例1：OpenMathReasoning数据集

Nemo Skills成功生成了包含306K独特数学问题的OpenMathReasoning数据集，其中包含：

• 3.2M个长链思维（CoT）解决方案
• 1.7M个工具集成推理（TIR）解决方案
• 566K个GenSelect选择样本

案例2：OpenReasoning项目

图：OpenReasoning模型在多个基准上的性能表现

该项目生成了500万高质量推理解决方案，显著提升了模型在数学、代码和科学任务上的表现。

最佳实践与常见问题

✅ 最佳实践

1. 逐步增加复杂度：从简单问题开始，逐步增加难度
2. 多样化提示工程：使用不同的提示模板提高多样性
3. 并行处理优化：合理设置num_chunks参数加速处理
4. 质量监控：定期检查生成结果，调整参数

❌ 常见问题解决

问题1：生成质量不稳定

• 解决方案：降低温度参数，增加few-shot示例

问题2：上下文长度限制

• 解决方案：启用软失败模式和上下文修剪策略

问题3：计算资源不足

• 解决方案：使用num_chunks参数分片处理，逐步扩展

性能优化技巧

集群配置建议

# 高效集群配置示例 server_type: "sglang" server_gpus: 8 server_nodes: 2 num_chunks: 4 # 并行处理4个数据分片 dependent_jobs: 2 # 顺序运行2轮作业

内存与速度平衡

• 小批量高并行：适合快速原型验证
• 大批量深度生成：适合生产级数据生成
• 混合策略：结合两种方式达到最佳效果

未来发展方向

Nemo Skills的合成数据生成功能正在不断进化：

1. 多模态数据生成：支持图像、文本混合数据
2. 交互式生成：人机协作优化数据质量
3. 自适应难度调整：根据模型能力动态调整问题难度
4. 领域专用优化：针对特定领域定制生成策略

开始您的合成数据生成之旅

无论您是研究人员还是开发者，Nemo Skills都为您提供了完整的工具链：

1. 安装与配置：快速搭建环境
2. 数据准备：准备种子问题和提示模板
3. 批量生成：大规模生成高质量数据
4. 质量评估：自动化评估和筛选
5. 模型训练：使用生成数据训练更好的模型

通过Nemo Skills的合成数据生成功能，您可以显著降低高质量训练数据的获取成本，加速AI模型的开发和优化进程。🚀

图：使用合成数据训练后模型的性能提升

立即开始使用Nemo Skills，探索合成数据生成的无限可能，打造更智能、更强大的AI模型！

【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills