MiniMind 医疗 LoRA 微调3 元算力成本获得一个懂专业问答的垂域模型【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimindMiniMind 是一个从 0 训练、约 64M 参数的开源小语言模型用一张消费级显卡就能跑完全部流程。把它作为底座只训练一层 LoRA 低秩适配权重可以理解为外挂知识补丁只更新约 1% 的参数原模型不动约 1.5 元算力、2 小时以内就能得到一份懂医疗问答的私有模型权重全程数据不出本地。训练完成后的产出先说结论。跑完全程你手里会有这些文件产出物位置说明医疗 LoRA 权重out/lora_medical_768.pth仅含低秩参数体积几 MB 级可随附业务随时替换断点检查点checkpoints/训练中断后可从原 step 恢复基座 LoRA 组合模型推理时动态加载不改动原始full_sft权重可合并的完整权重scripts/convert_model.py导出部署时不想带 LoRA 插件的场景和全参微调相比LoRA 路线的价值在于基座模型保持通用能力不变医疗知识全部装进可热插拔的小文件里换科室、换领域时重新训一份即可不用重跑基座。三条知识注入路径怎么选仓库提供了三种把领域知识灌进模型的脚本对应不同数据条件路线入口脚本数据要求代价全参数 SFTtrainer/train_full_sft.py数千条以上高质量问答更新全部权重通用能力可能漂移LoRA 适配trainer/train_lora.py几百到几千条问答即可只训练低秩分支显存和时间都最低白盒蒸馏trainer/train_distillation.py无需人工标注靠教师模型提供分布信号需同时加载师生双模型数据少、又必须保通用能力时选 LoRA。它的原理一句话在每个线性层旁挂一组 A/B 低秩矩阵原权重冻结梯度只流经新增部分默认 rank16见 model/model_lora.py。数据格式沿用主线 SFT 的多轮对话 JSONL一行一条{conversations: [ {role: user, content: 什么是急性心肌梗死}, {role: assistant, content: 急性心肌梗死是冠状动脉供血急剧减少或中断导致心肌持续缺血坏死...} ]}整理自己的语料时保持user与assistant成对出现即可规范可参考 dataset/dataset.md。环境准备与数据就位克隆仓库并装依赖确认torch.cuda.is_available()返回 TrueCPU 也能训 LoRA只是慢git clone --depth 1 https://gitcode.com/GitHub_Trending/min/minimind cd minimind pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple训练需要两样输入都放进对应目录基座权重full_sft_768.pth放到out/仓库默认从这里加载见--from_weight full_sft医疗语料按上面 JSONL 格式命名lora_medical.jsonl放入dataset/这是train_lora.py的默认--data_path。失败提示若启动时报找不到full_sft权重说明基座文件没放对位置先检查out/目录。执行 LoRA 训练命令进入trainer/启动训练参数只保留必要的几个cd trainer python train_lora.py \ --data_path ../dataset/lora_medical.jsonl \ --lora_name lora_medical \ --epochs 3 \ --from_weight full_sft预期输出启动时打印总参数量、LoRA 参数量与占比占比通常在 1%~3% 量级这是只训补丁的直接证据每个log_interval步打印一行 loss整体应缓慢下降每save_interval步在out/覆盖写入lora_medical_768.pth。中途断电或手动停掉加--from_resume 1重跑同一命令脚本会自动扫描checkpoints/里名为lora_medical_768_resume.pth的检查点从原 epoch/step 续跑并跳过已完成的 batch。验证医疗问答效果回到仓库根目录用评估脚本加载基座 LoRA组合做交互测试python eval_llm.py --weight full_sft --lora_weight lora_medical--weight必须和训练时的基座一致否则参数对不上会直接报错。对照一下加载前后的差异问题基座 full_sft未加 LoRA加载 lora_medical 后头晕可能是什么原因罗列心脏病、眼睛损伤、皮肤病等混杂答案泛泛而谈按临床常见原因归类体位性低血压、内耳问题、贫血等并提示就医条件D-二聚体阴性能排除肺栓塞吗概念模糊容易答非所问提到阴性预测值高、用于筛查 VTE但需结合 Wells 评分判断想验证通用能力没被破坏把--lora_weight换掉再跑几轮日常对话即可想固化成一个独立模型用 scripts/convert_model.py 把 LoRA 合并进基座权重导出。常用参数速查参数 / 选项作用什么时候用--lora_nametrain_lora.py权重文件名前缀同一基座要训多个领域时区分命名--max_seq_len单条样本截断长度默认 340 token医疗报告偏长时调大显存换完整性--epochs训练轮数默认 10数据量小1k 条时减到 3 防止过拟合--from_resume 1断点续训长训练、网络不稳定环境--inference_rope_scalingeval_llm.pyRoPE 位置编码 4 倍外推免训练延长上下文需要一次输入较长病历/报告时--use_wandb记录 loss 曲线需要可视化收敛趋势时注意两点LoRA 的 rank 在代码里固定为 16不作为命令行参数暴露别照着旧教程加--rank--max_seq_len单位是 token 不是字符中文约 1.5~1.7 字符/token。部署与成本三种落地方式按需选择方式入口适合场景命令行交互python eval_llm.py --weight full_sft --lora_weight lora_medical快速验证、临时问答OpenAI 协议服务python scripts/serve_openai_api.py --weight full_sft --lora_weight lora_medical接入已有 Chat UI、内部系统Streamlit 网页cd scripts streamlit run web_demo.py给非技术同事试用成本口径按单卡 3090 租卡约 1.3 元/小时估算LoRA 阶段只训低秩参数1 小时级别即可完成单次训练费用约 1.5 元以内即使从零预训练 SFT 训出整个基座README 给出的合计也在 3 元上下。⚠️ 适用边界LoRA 医疗模型只能作为知识检索与咨询辅助不能替代执业医师诊断上线前请确认语料来源符合医疗数据合规要求并在非诊断场景先行验证。【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考