AI基础
微调技术
微调是将通用模型定制为领域专家的关键手段。LoRA/QLoRA等参数高效微调大幅降低了微调门槛。
核心要点
- 全量微调 vs PEFT：全量更新所有参数 vs 只更新少量参数
- LoRA：低秩分解，在原权重旁插入低秩矩阵，仅训练新增参数
- QLoRA：量化+LoRA，4bit量化下微调，单卡可微调大模型
- 数据格式：Alpaca格式(input/output/instruction)、ShareGPT格式
- Alpaca格式：{"instruction": "...", "input": "...", "output": "..."}