大模型学习与实践笔记(六)

一、finetune 简介

两种微调模式:增量预训练 与指令跟随

1.增量预训练

2.指令微调

二、LoRA 与 QLoRA 介绍

三、XTuner 介绍

四、低显存玩转LLM的方法