LLM大模型训练工具小白也能轻松搞定AxolotlAxolotl 是一款旨在简化各种人工智能模型微调的工具支持多种配置和架构。主要特点支持的常见开源大模型多种训练方式包括全参微调、LoRA/QLoRA、xformers等。可通过 yaml 或 CLI 自定义配置。支持多种数据集格式以及自定义格式。集成了 xformer、flash attention、liger kernel、rope 及 multipacking。使用 Docker 在本地或云端轻松运行。将结果和可选的检查点记录到 wandb 或 mlflow 中。示例# finetune lora accelerate launch -m axolotl.cli.train examples/openllama-3b/lora.ymlLlama-Factory使用零代码命令行与 Web UI 轻松训练百余种大模型并提供高效的训练和评估工具。主要特点多种模型LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。多种训练预训练、多模态指令监督微调、奖励模型训练、PPO/DPO/KTO/ORPO 训练等等。多种精度16-bit全参微调、冻结微调、LoRA/QLoRA 微调。先进算法GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA、LoftQ、PiSSA 和 Agent 微调。实用技巧FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。实验监控LlamaBoard、TensorBoard、Wandb、MLflow 等等。极速推理基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。示例llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml llamafactory-cli chat examples/inference/llama3_lora_sft.yaml llamafactory-cli export examples/merge_lora/llama3_lora_sft.yamlFirflyFirefly支持对主流的大模型进行预训练、指令微调和 DPO。主要特点支持预训练、SFT、DPO支持全参数训练、LoRA/QLoRA 训练。支持使用 Unsloth 加速训练降低显存需求。支持绝大部分主流的开源大模型如 Llama3、Gemma、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom训练时与各个官方的 chat 模型的 template 对齐。整理并开源指令微调数据集firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。在 Open LLM Leaderboard 上验证了 QLoRA 训练流程的有效性开源Firefly 系列指令微调模型权重。示例deepspeed --num_gpus{num_gpus} train.py --train_args_file train_args/sft/full/bloom-1b1-sft-full.json torchrun --nproc_per_node{num_gpus} train.py --train_args_file train_args/pretrain/qlora/yi-6b-pretrain-qlora.jsonXtunerXTuner 由上海人工智能实验室发布是一个高效、灵活、全能的轻量化大模型微调工具库。主要特点高效支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型同时也支持多节点跨设备微调更大尺度模型70B。自动分发高性能算子如 FlashAttention、Triton kernels 等加速训练吞吐。灵活支持多种大语言模型包括但不限于 InternLM、Mixtral-8x7B、Llama 2、ChatGLM、Qwen、Baichuan及多模态图文模型 LLaVA 的预训练与微调。兼容任意数据格式开源数据或自定义数据皆可快速上手。支持增量预训练、QLoRA、LoRA、指令微调、Agent微调、全量参数微调等多种训练方式。全能预定义众多开源对话模版支持与开源或训练所得模型进行对话。训练所得模型可无缝接入部署工具库 LMDeploy、大规模评测工具库 OpenCompass 及 VLMEvalKit。示例xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2 # 单卡 # 多卡 (DIST) NPROC_PER_NODE${GPU_NUM} xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2 (SLURM) srun ${SRUN_ARGS} xtuner train internlm2_5_chat_7b_qlora_oasst1_e3 --launcher slurm --deepspeed deepspeed_zero2Swiftms-swift是魔塔提供的大模型与多模态大模型微调部署框架支持450大模型与150多模态大模型的训练、推理、评测、量化与部署。主要特点模型类型支持450纯文本大模型、150多模态大模型All-to-All全模态模型的训练到部署全流程。数据集类型内置150预训练、微调、人类对齐、多模态等各种类型的数据集并支持自定义数据集。多种训练轻量训练支持LoRA/QLoRA/DoRA/LoRA/RS-LoRA、ReFT、LLaMAPro、Adapter、GaLore/Q-Galore、LISA、UnSloth、Liger-Kernel等轻量微调方式。支持对BNB、AWQ、GPTQ、AQLM、HQQ、EETQ量化模型进行训练。RLHF训练支持文本和多模态大模型的DPO、CPO、SimPO、ORPO、KTO、RM、PPO等RLHF训练。多模态训练支持对图像、视频和语音模态模型进行训练支持VQA、Caption、OCR、Grounding任务的训练。界面训练以界面的方式提供训练、推理、评测、量化的能力完成大模型的全链路。插件化与拓展支持对loss、metric、trainer、loss-scale、callback、optimizer等组件进行自定义。模型评测以EvalScope作为评测后端支持100评测数据集对纯文本和多模态模型进行评测。示例CUDA_VISIBLE_DEVICES0 swift sft --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset AI-ModelScope/alpaca-gpt4-data-zh#500 \ --lora_rank 8 --lora_alpha 32 \ --target_modules all-linear \ --warmup_ratio 0.05UnslothUnsloth是一个开源的大模型训练加速项目使用OpenAI的Triton对模型的计算过程进行重写大幅提升模型的训练速度降低训练中的显存占用。Unsloth能够保证重写后的模型计算的一致性实现中不存在近似计算模型训练的精度损失为零。主要特点所有内核均使用OpenAI的Triton语言编写。采用手动反向传播引擎。精度无损失——不采用近似方法——全部精确。无需更改硬件。支持2018年及以后版本的NVIDIA GPU。最低CUDA Capability为7.0V100、T4、Titan V、RTX 20/30/40、A100、H100、L40等。GTX 1070、1080也可以使用但速度较慢。支持4bit和16bit GLorA/LoRA微调。开源版本训练速度提高5倍使用Unsloth Pro可获得高达30倍的训练加速示例from unsloth import FastLanguageModel # ... 导入其他包 max_seq_length 2048 # Supports RoPE Scaling interally, so choose any! model, tokenizer FastLanguageModel.from_pretrained( model_name unsloth/llama-3-8b-bnb-4bit, max_seq_length max_seq_length, dtype None, load_in_4bit True, ) # 后续流程和使用 transformers.Trainer 类似transformers.Trainer最后不得不提下大名鼎鼎的transformers库的Trainer上述的很多工具其实也是在其基础上构建的。Trainer本身是一个高度封装的类但相比刚刚提到的工具居然还有点偏底层了。主要特点通用性Trainer是一个通用的训练接口适用于各种NLP任务如分类、回归、语言建模等。它提供了标准化的训练流程使得用户无需从头开始编写训练代码。灵活性用户可以通过自定义训练循环、损失函数、优化器、学习率调度器等方式来调整训练过程。高级功能混合精度训练、分布式训练、断点续训等。自定义回调函数允许用户添加自定义回调函数以便在训练过程的特定阶段执行自定义操作。示例from transformers import Trainer # 加载模型、数据 trainer Trainer( model, training_args, train_datasettokenized_datasets[train], eval_datasettokenized_datasets[validation], data_collatordata_collator, tokenizertokenizer, ) trainer.train()总结图片版的总结如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。