Finetune简介

增量预训练和指令跟随

通过指令微调获得instructed LLM

指令跟随微调

一问一答的方式进行

对话模板

计算损失

增量预训练微调

不需要问题只需要回答，都是陈述句。计算损失时和指令微调一样

LoRA QLoRA

不需要太大的显存开销。增加旁路分支Adapter。

比较：

• 全参数微调：整个模型加载到显存中，所有模型的参数优化器也要加载到显存中
• LoRA微调：模型也需要加载到显存中，但是参数优化器只需要LoRA部分
• QLoRA微调：加载模型时就4bit量化加载，参数优化器还可以在CPU和GPU之间调度，显存满了可以在内存里跑
  

XTuner介绍

快速上手

8GB显卡玩转LLM

动手实战环节