知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 大模型微调实战(SFT / LoRA / QLoRA) > 导读:本文从"模型明明很聪明,为什么一到我们的业务里就格式乱、术语错、偶尔还说错话?RAG 也上了,怎么还是不够?到底该不该微调"这个实际疑问出发,把"该不该微调、微调解决什么、数据怎么准备、LoRA 超参怎么取舍、显存受限怎么办、怎么评测上线"逐项讲透,最后给出工程实践与踩坑。适合有 LLM 应用开发经验、准备把微调纳入工程链路的算法与后端同学。  *图:微调三件套——基座模型、适配器层与训练数据* ## 一、先建立全局认知 ### Q:效果不好,第一步到底该不该微调? A:结论先行——先给问题定性:**缺"知识"优先用 RAG(Retrieval-Augmented Generation,检索增强生成)或长上下文,缺"稳定的格式与风格、领域术语、成本与延迟"才考虑微调。**微调擅长改变"怎么说",不擅长注入"说什么"。 | 你的痛点 | 优先方案 | 原因 | 备注 | | --- | --- | --- | --- | | 模型不知道公司最新政策 | RAG / 长上下文 | 知识高频更新,检索可即改即生效 | 微调会把知识"冻结"进权重,更新要重训 | | 输出格式不稳定、JSON 常解析失败 | 微调(SFT) | 格式是"行为模式",微调最擅长固化 | 也可先试结构化输出约束 | | 行业术语、话术风格不地道 | 微调(SFT) | 风格/术语是分布特征,微调学得稳 | 数据量不用很大但质量要求高 | | 想要更短、更便宜的输出 | 微调 + 蒸馏 | 让大模型"教"小模型 | 需评估效果下降是否可接受 | | 想降低延迟/成本 | 小模型微调 / 蒸馏 | 小模型 + 领域微调可近似大模型表现 | 端到端延迟必须实测 | | 需要更强的复杂推理 | 换更强模型 / 提示策略 | 微调很难"教出"基座不具备的基础能力 | 微调主要做能力对齐与风格 | | 私有数据不想出内网 | 本地微调 / 私有部署 | 训练与推理都在内网 | 注意模型与数据许可合规 | | 任务简单、样本少、要快 | Prompt / Few-shot | 成本最低、迭代最快 | 先穷尽这一层再上微调 | 判断顺序建议:**Prompt/Few-shot → RAG → 微调 → 换模型/蒸馏**。绝大多数"效果不好"的问题前两步就能解决,微调应当是"前两步都做到位后仍然不够"才上。 ### Q:微调到底解决什么问题、不解决什么问题? A:结论先行——微调解决的是"**风格与格式的稳定、领域术语与话术、特定任务的输入输出映射、以及用小模型替代大模型的成本**";它不解决"知识注入""事实时效""复杂推理能力"。 微调能做的(行为对齐): - **格式稳定**:强制输出 schema(JSON/XML)、固定话术模板、字段顺序。 - **风格一致**:品牌语气、客服话术、专业术语用法。 - **任务映射**:把"这类输入 → 这类输出"固化成稳定习惯(如分类、抽取、改写)。 - **指令遵循**:让模型更听话地遵守你的系统规则。 - **降本**:把能力"压"进小模型,换取更低的推理成本与延迟。 微调不擅长的(认知能力): - **知识注入**:用微调硬"塞"事实,容易记错、记混、产生幻觉,且更新成本高。**需要事实就用 RAG。** - **时效性知识**:权重里的知识天然滞后。 - **复杂推理**:微调无法凭空提升基座不具备的推理能力。 - **长尾冷知识**:数据里没充分覆盖的内容,学了也未必稳。 一句话记忆:**RAG 管"知识",微调管"行为"。** ### Q:SFT、RLHF、DPO、PEFT、LoRA、QLoRA 之间的关系是什么? A:结论先行——它们分属两个维度:**"训练到哪个阶段"**(SFT → 偏好对齐)和**"怎么省资源地训练"**(PEFT/LoRA/QLoRA)。SFT 是绝大多数业务微调的第一步,也常常是唯一一步;RLHF/DPO 属"对齐"阶段;LoRA/QLoRA 属"微调的方式",与阶段正交。 | 名词 | 中文 | 一句话定义 | 定位 | | --- | --- | --- | --- | | SFT | 监督微调(Supervised Fine-Tuning) | 用"输入-理想输出"配对数据训练模型去模仿 | 业务微调主力 | | RLHF | 基于人类反馈的强化学习(Reinforcement Learning from Human Feedback) | 先用人类偏好训奖励模型,再用强化学习优化策略 | 对齐阶段,重且复杂 | | DPO | 直接偏好优化(Direct Preference Optimization) | 直接用偏好对(好/坏回答)优化模型,免奖励模型 | 对齐阶段,较 SFT 重、较 RLHF 轻 | | PEFT | 参数高效微调(Parameter-Efficient Fine-Tuning) | 只训练极少量新增/选定参数,冻结主干 | 省显存与成本的方法总称 | | LoRA | 低秩适配(Low-Rank Adaptation) | 在权重旁注入低秩矩阵,只训这些小矩阵 | PEFT 最常用的一种 | | QLoRA | 量化 LoRA(Quantized LoRA) | 基座权重以低比特量化加载,再在其上训 LoRA | 进一步压低显存的做法 | 关系图: ```text 训练阶段: SFT(对齐格式/风格/指令) --> 偏好对齐(RLHF / DPO,可选) 训练方式: [ 全参微调 ] or [ PEFT: LoRA -> QLoRA ] ^ ^ 改全部权重 只改少量参数 / 基座更低比特 ``` 选型建议:**业务微调大部分场景用 SFT + LoRA/QLoRA 就够了**;RLHF/DPO 一般用于"已经有 SFT、还要进一步优化偏好(如更安全、更符合人类喜好)"的进阶场景。 ### Q:全参微调、LoRA、QLoRA 的本质区别在哪? A:结论先行——区别在"改多少参数"和"基座权重以什么精度常驻显存"。全参改全部、最贵;LoRA 只训新增小矩阵、性价比高;QLoRA 再把基座量化加载,显存最省但引入了量化精度损失。 ```text 全参微调:W' = W + ΔW ΔW 与 W 同规模 -> 显存/算力开销最大,效果上限最高 LoRA: W' = W + B·A A、B 是低秩小矩阵 -> 只训 A、B,冻结 W QLoRA: W' = dequant(W_4bit) + B·A W 以低比特常驻,计算时反量化 -> 显存最省 ``` | 维度 | 全参微调 | LoRA | QLoRA | | --- | --- | --- | --- | | 训练参数 | 全部 | 少量新增矩阵 | 少量新增矩阵 | | 显存占用 | 最高 | 中 | 最低 | | 效果上限 | 最高(数据充足时) | 接近全参 | 通常略低于 LoRA | | 训练成本 | 高 | 中 | 低 | | 产物大小 | 与基座同量级 | 远小于基座(取决于 rank 与模块数) | 同 LoRA | | 适用场景 | 数据多、算力足、追求上限 | 主流默认选择 | 单卡/显存受限 | | 合并推理 | 直接就是新权重 | 可合并进基座或外挂加载 | 合并前需反量化 | 关键结论:LoRA 的产物小、可插拔、可多任务共存(一套基座 + 多个 adapter),这在工程上比"效果多几个点"更有价值——版本管理、灰度、回滚都更容易。 ## 二、数据准备 ### Q:微调数据重要到什么程度?规模要多少? A:结论先行——**数据质量 >> 数据规模**。对 SFT 来说,几百到几千条"高质量、格式统一、覆盖目标行为"的样本,往往胜过几万条脏数据;盲目堆量不仅浪费,还会放大噪声与过拟合。 经验性判断(定性,非精确阈值,需按任务实测): - **样本太少**(几十条量级):模型学不透,容易过拟合,验证集也不可信。 - **覆盖优先于数量**:要覆盖所有目标场景、边界与拒答情形,缺哪类就在哪类翻车。 - **质量三要素**:正确(答案对)、一致(格式/风格统一)、无泄漏(不含评测集与敏感信息)。 - **数据形态**:SFT 样本就是"输入 → 理想输出"的配对,输出即"老师",所以标注质量决定上限。 一句话:**你喂什么,模型就变成什么;脏数据会近似 1:1 地进到模型行为里。** ### Q:指令数据(Instruction Data)的格式怎么设计? A:结论先行——格式要"贴近推理时的真实调用形态":system 提示词、多轮对话、工具调用都应与线上一致。训练与推理的模板不一致,是最常见也最低级的错误。 ```json {"messages": [ {"role": "system", "content": "你是XX公司客服助手,只依据知识库回答,不确定就说不确定。"}, {"role": "user", "content": "订单怎么退货?"}, {"role": "assistant", "content": "自签收之日起7天内可申请无理由退货。路径:我的-订单-申请售后。"} ]} {"messages": [ {"role": "system", "content": "你是XX公司客服助手,只依据知识库回答,不确定就说不确定。"}, {"role": "user", "content": "你们支持俄罗斯卢布支付吗?"}, {"role": "assistant", "content": "该信息不在我可以确认的范围内,建议联系人工客服核实。"} ]} ``` 设计要点: - **system 提示词要写进样本**:线上用什么样的 system,训练样本就要有同样的字段,否则模型上线后"没见过"这套前缀,行为会漂移。 - **必须包含"拒答/兜底"样本**:只教模型"答"、不教它"不知道就说不知道",上线后必然幻觉。拒答样本是降低幻觉的关键数据。 - **多轮样本要保留上下文**:历史轮次如何拼接、哪些轮次计入 loss,需与训练框架的约定一致(**具体做法需结合所用框架确认**)。 - **工具调用样本**:若线上有 function calling,训练数据里也要有对应的工具调用轨迹,格式与推理时的 schema 保持一致。 ### Q:清洗、去重、划分与评测集怎么建? A:结论先行——清洗解决"对不对",去重解决"会不会被重复样本带偏",划分要防泄漏,评测集必须在训练前先冻结。 ```python # 目的:训练数据准备骨架(示意,非可直接运行的完整实现) # 1) 结构校验:字段齐全、role 合法、模板能渲染 # 2) 质量过滤:长度异常、语言不符、含敏感信息、答案为空/占位符 # 3) 去重:完全重复 + 近似重复(如 MinHash / SimHash 等) # 4) 泄漏检查:与评测集做 n-gram / 语义近似比对,命中即剔除 # 5) 覆盖度统计:按场景/意图/拒答类型统计分布,补齐短板 # 6) 划分:训练/验证按"场景分层抽样",避免某类只在训练集出现 ``` 四个必须做对的点: 1. **去重要包含"近似重复"**:同一句话换几个字重复几百遍,等价于给这类样本加权,会让模型偏科。 2. **防数据泄漏(Data Leakage)**:评测集的内容绝不能出现在训练集里(哪怕是改写版),否则评测成绩虚高。泄漏检查要作为流水线的固定步骤。 3. **验证集要能反映真实分布**:按业务场景分层抽样,别让验证集只有"容易样本"。 4. **评测集先冻结**:训练开始前就定稿并单独存放,训练过程中不得修改,否则无法做前后对比。 ### Q:评测集怎么构建才"测得准"? A:结论先行——评测集要从**真实业务分布**里抽样、覆盖"该答对"与"该拒答"两侧,并与训练数据"同源不同样本",而不是另造一套理想化的题。 - **来源要真实**:优先从线上真实问题里抽样(脱敏后),保证分布贴近生产;再用少量人工构造的"边界/对抗"样本补充覆盖。 - **分层要均衡**:按业务场景分层,每层都要有样本,避免某一类占满评测集导致总体指标失真。 - **正负样本都要**:不能只有"该答对"的样本,必须包含"该拒答/该说不确定""输入不完整""超范围提问"等用例,否则测不出幻觉与越权回答。 - **标注要有多数裁决**:同一批样本多人标注并做一致性校验,减少个人偏好带来的评测噪声。 - **可持续演进**:评测集要版本化,随业务增补样本;同时保留一份**冻结的基线集**,用于长期回归对比。 ## 三、LoRA 关键超参与取舍 ### Q:rank、alpha、target modules 分别是什么?怎么取舍? A:结论先行——`rank`(秩)决定 LoRA 的**容量**,`alpha` 决定更新量的**缩放**,`target_modules`(目标模块)决定**改哪些层**;三者共同决定"能学多少"和"多容易过拟合"。 | 超参 | 作用 | 调大 | 调小 | 取舍建议 | | --- | --- | --- | --- | --- | | rank(r) | 低秩矩阵的秩,即新增参数量 | 容量强、更能学复杂行为,显存↑、过拟合风险↑ | 更省、更稳,但可能欠拟合 | 从较小值起,用验证集判断是否够用 | | alpha | 缩放系数,影响 LoRA 更新的相对强度 | 更新更强,接近"激进" | 更新更弱、更保守 | 常与 r 成比例设定;**比例无通用最优,需实测** | | target_modules | 注入哪些线性层(如注意力/前馈) | 覆盖更广,容量↑、显存↑ | 更省 | 模块名随模型结构而变,需先确认实际层名 | | dropout | LoRA 层随机丢弃比例 | 抗过拟合 | 更贴训练集 | 数据少时可适当使用 | 定性经验: - **容量要匹配任务**:"只要格式/风格"的低难度任务,小 rank 通常就够;"要学较复杂映射"时再加大。 - **alpha 与 r 的比例是常用的调参起点**,但它不是定律,最终以验证集表现定夺。 - **target_modules 的选择依赖具体模型架构**(不同模型的层命名不同),务必先打印模型结构确认,再决定注入哪些层。 - 判断"rank 是否够"的方法:在验证集上对比不同 rank 的效果曲线,出现明显平台期说明再增大收益有限。 ### Q:学习率、epoch、batch 怎么定?显存和成本的量级怎么估? A:结论先行——**学习率通常比全参微调更大,epoch 通常比全参微调更少**(小数据集常见 1~3 轮),batch 用"小 batch + 梯度累积"换等效大 batch。显存与成本随规模超线性增长,必须实测。 ```yaml # 目的:一份 QLoRA 训练配置示意 # 注意:以下数值均为"示例取值",不是任何框架的默认值,也不保证适用于你的模型与数据 # 真实取值必须结合基座规模、序列长度、数据量与硬件,通过小规模试验确定 base_model: <your-base-model-path-or-name> # 需自行确认模型许可与可达性 quantization: load_in_4bit: true # 4bit 量化加载,显著降低权重显存 # 量化类型/计算精度等高级选项随框架与硬件版本而变,需结合版本确认 lora: r: 16 lora_alpha: 32 target_modules: [q_proj, k_proj, v_proj, o_proj] # 仅示例,实际层名以模型结构为准 lora_dropout: 0.05 training: learning_rate: 1.0e-4 # 示例值,需在验证集上扫描 num_train_epochs: 3 # 示例值,小数据常见 1~3 轮,需观察验证集判断是否过拟合 per_device_train_batch_size: 1 gradient_accumulation_steps: 16 # 用梯度累积换等效大 batch max_seq_length: 2048 # 与数据实际长度匹配,越长越吃显存 warmup_ratio: 0.03 lr_scheduler_type: cosine ``` 显存与成本的定性认识: - **显存主要由三块吃**:基座权重、优化器状态与梯度、激活值(激活随序列长度与 batch 增长很快)。QLoRA 主要压缩的是第一块。 - **序列长度是隐形杀手**:把 `max_seq_length` 翻倍,激活显存增长远超翻倍,常常是 OOM(Out Of Memory,显存溢出)的真正原因。 - **分批 + 累积**:显存不够时,先降 batch、再用梯度累积补回等效 batch;这会影响训练吞吐,但不改变等效优化目标。 - **成本 ≈ 数据量 × 序列长度 × epoch 数 × 单位算力价格**:任何一项翻倍,成本大致翻倍;所以"多训几轮"往往不如"把数据质量提上去"划算。 - **不要迷信数字**:不同硬件、框架、并行策略下吞吐差异很大,**上线前的成本评估必须用自己的数据实测一轮**。 ## 四、训练流程与工具 ### Q:主流开源框架与平台怎么选? A:结论先行——按"要不要自己控训练细节"来选:想省心用一体化训练框架/平台,想深度定制用底层训练库;选型时重点看**模型支持度、数据格式、显存优化能力、评测与导出能力、许可合规**,而不是看热度。 | 维度 | 需要确认的问题 | | --- | --- | | 模型支持 | 是否支持你的基座架构与分词器?新模型支持是否及时? | | 数据格式 | 是否支持 chat/instruction 数据格式?模板是否可自定义? | | 显存优化 | 是否支持量化训练、梯度检查点、序列并行等省显存手段? | | 训练策略 | 是否支持 SFT/LoRA/QLoRA?是否支持偏好对齐(DPO 等)? | | 分布式 | 是否支持多卡/多机?并行策略是否成熟? | | 评测导出 | 能否导出可部署的产物?是否方便接入自己的评测流水线? | | 许可与合规 | 框架许可、依赖许可、模型许可能否满足你的合规要求? | **具体框架与版本能力差异较大,选型前请以官方文档为准,并结合小规模验证。** 关键不是"哪个最好",而是"在你的约束(显卡、团队、合规)下哪个最合适"。 ### Q:显存受限时,常见做法有哪些? A:结论先行——从"省权重、省激活、省优化器"三条线同时下手,配合"小模型 + 适配任务"的策略,多数单卡场景都能跑起来。 1. **量化训练**:基座低比特加载(QLoRA 思路),把权重常驻显存压下来。 2. **参数高效微调**:只训 LoRA,避免全参带来的优化器状态开销。 3. **梯度检查点(Gradient Checkpointing)**:用计算换显存,重算激活而非全部保存。 4. **降序列长度**:截断或按实际长度打包(packing),避免 padding 浪费。 5. **梯度累积**:小 batch 换等效大 batch。 6. **优化器选择**:内存友好的优化器可显著降低优化器状态占用。 7. **分布式**:多卡切分(数据并行/张量并行/流水并行)分摊显存(**具体支持度需结合框架确认**)。 8. **降基座规模**:若任务对能力要求不高,小基座 + 微调往往比大基座硬扛更划算。 优先级建议:**先量化 + LoRA + 梯度检查点 + 合理序列长度**,这四招通常就能把单卡门槛降下来;仍不够再考虑分布式或换小基座。 ## 五、评测与上线 ### Q:离线评测怎么做才可信? A:结论先行——离线评测要"**指标可复现、对比有基线、维度覆盖全**",并且必须包含"回归对比",否则你无法知道微调是让模型变好了还是变差了。 | 评测维度 | 看什么 | 常见做法 | | --- | --- | --- | | 任务指标 | 目标任务的准确率/召回率/F1 等 | 固定评测集,脚本自动跑 | | 格式合规 | 输出能否被解析(JSON/XML) | schema 校验通过率 | | 指令遵循 | 是否遵守 system 规则 | 规则校验 + 人工抽样 | | 拒答/安全 | 该拒答时是否拒答,是否泄露 | 拒答样本集 + 安全用例 | | 回归对比 | 通用能力是否退化 | 固定通用评测集,微调前后对比 | | 人工评估 | 语气、可用性、可读性 | 双盲评分 / 偏好对比 | 关键做法: - **基线必须同规格**:和"微调前的模型 + 同样的提示词与参数"对比,变量只留一个。 - **评测集先冻结**:训练前定稿,训练后不得修改。 - **盯住灾难性遗忘(Catastrophic Forgetting,微调新任务导致原有能力退化)**:必须用通用评测集做回归,不能只看目标任务涨了多少。 - **别只看一个数**:格式合规可能涨了,但拒答率或通用能力可能掉了,要综合看。 ### Q:灰度、版本管理、回滚怎么做? A:结论先行——把微调产物当成**独立可寻址的版本**来管理,配合线上灰度和随时可回滚,是微调能否安全上线的关键;LoRA 的小体积在这一步是巨大优势。 ```text 版本管理要素(每个微调版本都要有): - 基座模型标识与版本 - 训练数据集的版本/指纹(哪批数据训的) - 训练配置(超参、框架版本、硬件) - 评测报告(各维度指标 + 与基线的对比) - 产物(adapter 权重 / 合并后权重)与校验和 上线流程: 离线评测通过 --> 影子/内部试用 --> 小流量灰度 --> 逐步放量 --> 全量 | | +------- 任一环节指标劣化则立即回滚 <-----+ ``` 要点: - **可回滚是底线**:回滚要能"秒级切换回上一版本",这依赖版本化的产物与配置,而不是"重新训一遍"。 - **灰度要能对比**:灰度期间要能按版本切流量并对比关键指标(成功率、延迟、成本、投诉率)。 - **A/B 要可归因**:一次只改一个变量(要么换模型,要么换提示词,别同时动)。 - **监控要有业务口径**:除了技术指标,还要盯用户反馈、申诉、转人工率等业务信号。 ## 六、与 RAG 组合的常见架构 ### Q:微调和 RAG 怎么配合? A:结论先行——**微调管风格与行为,RAG 管知识与事实。**两者互补而非替代:微调让模型"会怎么说",RAG 让它"说得对"。 ```text 用户问题 | +--> [检索层] 向量库 / 关键词检索 --> 召回的"知识/事实" | | +--> [模型层] 微调后的模型(管风格/格式/工具调用/拒答习惯) | 拼接(知识 + 风格化模型) --> 生成 --> 结构化输出 / 引用来源 ``` 典型分工: | 需求 | 归属 | | --- | --- | | 最新政策、产品参数、价格 | RAG(知识) | | 客服话术、品牌语气 | 微调(风格) | | 输出 JSON schema、字段顺序 | 微调(格式) | | "不知道就说不知道"的拒答习惯 | 微调(行为) | | 领域术语的正确用法 | 微调(术语) | | 私有文档问答的准确性 | RAG(知识) | 组合时的注意点: - **微调时也要喂 RAG 形态的样本**:训练数据里应包含"给定检索到的资料 → 依据资料回答/拒答"的样本,让模型学会"用资料、不编造"。 - **RAG 的召回质量仍是上限**:微调不能补救"检索没召回"的问题。 - **两者都要版本化**:检索策略和模型版本会互相影响,评测时最好做交叉矩阵。 ## 七、工程实践与踩坑 ### Q:微调最容易踩的坑有哪些? A:结论先行——按"数据 → 训练 → 评测 → 上线"四段列出高频坑,其中**过拟合、灾难性遗忘、数据泄漏、评测造假、成本失控**是最常见的五个。 **数据阶段** 1. **脏数据直进**:格式不统一、答案有错、含敏感信息。→ 必须有清洗与人工抽检。 2. **只教"答"不教"拒"**:没有拒答样本,上线必然幻觉。→ 刻意构造"该说不确定"的样本。 3. **数据泄漏**:评测集进了训练集,成绩虚高。→ 泄漏检查作为固定步骤。 4. **近似重复未去**:某类样本被隐式加权,模型偏科。→ 做近似去重。 5. **system 提示词不写进样本**:训练/推理模板不一致,上线行为漂移。→ 与线上格式对齐。 **训练阶段** 6. **过拟合**:训练 loss 一直降、验证集变差。→ 看验证集、早停、降 epoch/降 rank、补数据。 7. **灾难性遗忘**:新任务学会了,通用能力掉了。→ 混入一定比例的通用/原始数据,做回归评测。 8. **超参照搬**:直接抄别人的配置。→ 超参依赖模型、数据、硬件,必须自己小规模试。 9. **序列长度不匹配**:训练长度远小于推理长度,长输入时崩。→ 覆盖线上真实长度分布。 10. **OOM 误判为"模型太大"**:其实常是序列长度或 batch 导致激活爆掉。→ 先查激活。 **评测阶段** 11. **评测自欺**:只挑好看的指标、用训练集当评测集、中途换评测脚本。→ 冻结评测集、固定脚本、只看前后对比。 12. **只看单项指标**:格式涨了、安全掉了,却没发现。→ 多维度 + 回归对比。 13. **人工评估无标准**:评分靠感觉。→ 定义评分标准、双盲对比。 **上线阶段** 14. **成本失控**:训练反复重跑、推理换成更大模型、灰度没有预算。→ 设预算与熔断。 15. **无版本无回滚**:出了故障只能"重训"。→ 版本化产物与配置,支持秒级回滚。 16. **训完就全量**:跳过灰度和影子验证。→ 必须灰度。 17. **把微调当知识库**:该用 RAG 的场景硬上微调。→ 回到第一性原则:知识交给检索。 ## 小结 微调实战的主线可以压缩成这几句: 1. **先定性再动手**:缺知识用 RAG,缺行为(格式/风格/术语/成本)才微调;顺序是 Prompt → RAG → 微调 → 换模型/蒸馏。 2. **SFT + LoRA/QLoRA 是业务主力**:RLHF/DPO 属于进阶对齐;LoRA/QLoRA 是"省资源的方式",与训练阶段正交。 3. **数据质量决定上限**:要覆盖场景与拒答,要对齐线上模板,要去重、防泄漏、冻结评测集。 4. **超参没有银弹**:rank/alpha/target_modules/学习率/epoch 都要靠验证集定,显存与成本靠实测。 5. **评测要能对比、上线要能回滚**:多维度 + 回归对比 + 灰度 + 版本化。 6. **RAG 管知识、微调管风格**:两者组合,各司其职。 ## 思考题 1. 一个"输出 JSON 经常解析失败"的问题,你会怎么判断该用提示词约束、结构化输出,还是微调? 2. 为什么"用微调注入最新政策"通常不是好主意?如果确实要注入,你会怎么和 RAG 配合? 3. 数据只有几百条时,你会优先调 rank 还是优先补数据?如何用验证集判断? 4. 如何设计一套"能发现灾难性遗忘"的评测流程? 5. 如果线上灰度发现微调版本在部分场景更差,你会如何定位这是数据问题还是超参问题? 6. 请估算你自己场景下"多训几个 epoch"和"把数据质量提升一档",哪个更划算,为什么?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入