🤖LLM 微调教程
专题导读
LLM 微调教程学习地图
先按顺序读前几篇建立框架，再用图文要点回看流程、配置和判断点；遇到工具类内容，可以直接跳到对应小节做复现。
阅读路径
按这三段读更顺
每个系列都可以先抓主线，再挑重点文章复现，最后回到问题边界和检查表。
先建立框架
第 1 - 7 篇 · 7 个小节
适合先读概念、环境和整体流程，避免一上来就被细节打散。
最后复盘扩展
第 19 - 24 篇 · 6 个小节
回看问题边界、替代方案和后续练习，形成自己的检查清单。
图文优先
重点图文入口
想先判断这套内容是否值得继续读，可以从图文信息更密的几篇开始。
1 大模型LLM微调教程系列
第 1 篇6 张图1.4k 字我会把微调拆成一条完整流水线：先确认到底要改善什么，再准备可追溯数据，接着选择基座和训练方式，最后用固定评估集决定能不能上线。
AI大模型微调
2 引言之应用场景
第 2 篇6 张图1.4k 字微调适合让模型学会稳定风格、领域表达、固定格式和特定判断口径。它不适合替代检索、弥补需求不清，或者把还没验证的数据直接写进模型权重里。
AI大模型微调
3 大模型 LLM 微调教程：引言之教程目标
第 3 篇6 张图1.3k 字这套教程的目标不是背完所有算法名，而是能把一个真实小任务从数据整理推进到评估验收。每一步都要留下可复查的文件和决策理由。
AI大模型微调
4 大模型 LLM 微调教程：硬件要求
第 4 篇6 张图1.5k 字硬件预算不能只看模型参数量。序列长度、batch size、精度、是否量化、是否用 LoRA，都会改变显存和训练时间。先估算，再开机。
AI大模型微调
5 大模型 LLM 微调教程：准备工作之软件环境设置
第 5 篇6 张图1.7k 字微调项目最怕在一台机器上偶然跑通，却没人能复现。环境准备阶段要把 Python、CUDA、核心库版本、启动命令和环境变量说明写清楚。
AI大模型微调
6 大模型 LLM 微调教程：准备工作之相关库与工具
第 6 篇6 张图1.5k 字常见微调工具各有边界：Transformers 负责模型和 Trainer，Datasets 负责样本组织，PEFT 负责参数高效训练，TRL 更偏指令微调和对齐训练。
AI大模型微调
7 大模型 LLM 微调教程系列：数据集准备之数据收集与清洗
第 7 篇6 张图1.7k 字微调不是把所有文本塞进训练集。数据来源、授权范围、重复比例、敏感信息、标签口径都会直接影响模型行为和上线风险。
AI大模型微调
8 数据集准备之数据格式化
第 8 篇6 张图1.4k 字数据格式不是技术细节，而是在告诉模型未来怎么接任务。字段名、角色顺序、输出格式和样本长度越稳定，训练越容易学到目标行为。
AI大模型微调
9 数据集准备之数据划分
第 9 篇6 张图1.3k 字微调评估失真，常见原因是训练集和测试集太像，甚至同一批材料改写后同时出现。划分数据时要防止串题和近似重复。
AI大模型微调
10 选择合适的预训练模型
第 10 篇6 张图1.6k 字选择基座模型时，不要只看榜单分数。许可证、中文能力、上下文长度、推理成本、社区生态和部署方式，都会影响真实项目能不能落地。
AI大模型微调
11 大模型LLM微调教程：了解模型架构
第 11 篇6 张图1.8k 字了解模型架构不是为了手写 Transformer，而是为了知道哪些设置会影响训练：分词器、上下文长度、注意力成本、输出头和生成配置。
AI大模型微调
12 深入理解大模型选择与微调的必要理论知识
第 12 篇6 张图1.7k 字微调理论最有用的地方，是帮助你判断训练是否真的变好。训练 loss 下降不等于上线效果提升，验证集、坏例集和人工检查要一起看。
AI大模型微调
13 微调设置参数
第 13 篇6 张图1.7k 字学习率、batch size、训练轮数和 warmup 会共同影响稳定性。参数调整不要一次改太多，否则你不知道效果来自哪里。
AI大模型微调
14 大模型 LLM 微调教程系列之训练过程
第 14 篇6 张图1.3k 字训练过程不是黑盒等待。日志、checkpoint、验证集结果和抽样输出都要按节奏保存。这样出现退化时，才能回到具体轮次。
AI大模型微调
15 大模型 LLM 微调过程中保存与加载模型
第 15 篇6 张图1.4k 字微调产物不只是一个权重文件。adapter、tokenizer、generation config、训练配置和基座模型版本都要能对应起来，否则后面加载出来的行为可能完全不一致。
AI大模型微调
16 大模型 LLM 微调教程：评估与测试之评估指标设置
第 16 篇6 张图1.5k 字微调评估不能只看一个平均分。分类任务、生成任务、格式任务和安全拒答任务需要不同指标，最后还要回到业务样本人工复核。
AI大模型微调
17 测试集的使用
第 17 篇6 张图1.5k 字测试集的价值在于独立判断。频繁根据测试集修改数据和参数，会把它变成另一种训练集，最终上线效果仍然不可信。
AI大模型微调
18 大模型 LLM 微调教程系列：评估与测试结果分析
第 18 篇6 张图1.6k 字微调结果分析的重点不是宣布涨了几个点，而是弄清楚失败来自哪里。格式错、事实错、风格偏和拒答错，对应的修复手段完全不同。
AI大模型微调
19 大模型 LLM 微调教程：常见错误与调试技巧
第 19 篇6 张图1.3k 字微调调试要先缩小范围。用小数据、固定随机种子、最小训练脚本复现问题，比在完整任务里反复猜参数更可靠。
AI大模型微调
20 常见问题与解决方案之如何优化大模型 LLM 性能
第 20 篇6 张图1.4k 字微调性能优化不是只追求跑得快。混合精度、梯度累积、量化和 checkpoint 策略都会影响成本，也可能影响稳定性和结果复现。
AI大模型微调
21 大模型 LLM 微调的常见问题与解决方案之社区资源
第 21 篇6 张图1.3k 字微调社区资源很多，但示例脚本经常绑定特定版本、特定模型和特定数据。直接复制之前，要先看版本、许可证和适用范围。
AI大模型微调
22 微调成果的总结与展望
第 22 篇6 张图1.1k 字微调完成后，交付物不应只有一个目录。模型版本、数据版本、评估报告、使用边界、失败样本和回滚方式都要一起交付。
AI大模型微调
23 总结与未来工作：大模型 LLM 微调的未来发展方向
第 23 篇6 张图1.4k 字微调未来会继续朝低成本、强评估、数据治理和隐私保护发展。但再新的方法也要回到工程闭环：数据、训练、评估、上线、监控。
AI大模型微调
24 大模型 LLM 微调教程：总结与未来工作之个人体会与建议
第 24 篇6 张图1.7k 字如果是个人或小团队练微调，我建议先选一个小任务，做一批高质量样本，跑清楚评估，再逐步扩大。盲目追大模型和大数据，很容易只得到一堆不可解释的 checkpoint。
AI大模型微调