RAG vs 微调，企业落地大模型怎么选？10 个判断点

我们陪企业做 AI 落地的第一次会议，10 次里有 8 次客户会问同一个问题：「我们这个场景，到底是用 RAG 还是直接微调一个模型？」

如果你想要一句话答案：90% 的企业场景应该先用 RAG，剩下 10% 是 RAG + 微调叠加，纯微调几乎从来不是单独的答案。

但 1 句话不够说服决策层。这篇用 10 个判断点把这件事讲透。

---

一、先把概念讲清楚

RAG（检索增强生成）：把企业文档切块 → 转向量 → 存数据库；用户问问题时，先从向量库检索最相关的文档片段，再把片段塞给大模型让它基于这些内容生成回答。

微调（Fine-tuning）：用领域数据调整模型本身的参数。包括：

• LoRA / QLoRA：只改一小部分参数，1 张 4090 就能跑，1-3 天搞定
• SFT（监督微调）：训练问答对，让模型学会某种风格 / 格式 / 领域语言
• RLHF / DPO：用人类反馈对齐偏好，门槛高、效果好但是「玄学」

关键认知：RAG 让模型「看着资料回答」，微调让模型「记住资料 + 改变行为」。前者像考试开卷，后者像把书背下来。开卷考试永远比闭卷靠谱。

---

二、10 个判断点

1. 数据更新频率

• 每周/每月更新 → RAG。改文档即可，不用重训
• 稳定不变 → 微调可考虑

真实案例：某律所做合同知识库，每周新增 20 份合同。如果选微调，每周得重训一次，运维成本高到飞起。RAG 直接传文档进库就完事。

2. 数据量大小

• < 10 万条文档 → RAG（向量检索完全够用）
• 10-100 万条 → RAG + 多级检索 + Reranker
• > 100 万条 / 涉及行为模式 → 考虑微调

3. 是否需要引用追溯

• 必须能溯源（律所、医疗、金融、政府）→ 必须 RAG。微调会让模型「编造」内容来源
• 不需要溯源（创意写作、营销文案）→ 微调可考虑

4. 是否有专属领域语言/术语

• 有大量行业黑话 / 内部代号（保险术语、医学术语、企业内部代号）→ RAG + 少量微调
• 通用业务（销售、客服）→ 纯 RAG 够用

5. 预算

• < 10 万 → RAG
• 10-50 万 → RAG + LoRA 微调
• > 50 万 → 才考虑全参数微调

6. 团队是否有 ML 工程师

• 没有 → 死定要 RAG。微调需要数据工程师 + ML 工程师 + 评估体系，团队没人就别上
• 有 → 两个都可以选

7. 隐私 / 数据出境约束

• 数据不能出域 → RAG 私有部署。微调也可以本地做，但门槛是「一台带 80G 显存的机器」
• 可以用云 API → RAG via 国内合规 API 即可

8. 响应时延

• < 500ms 极速响应 → 微调（直接生成，不用检索）
• 1-3s 可接受（绝大部分企业场景）→ RAG 完全够

9. 能不能容忍幻觉

• 零容忍（法律、医疗、金融报告）→ RAG + 强制引用 + 人工 review
• 能容忍（创意、内部草稿）→ 都行

10. 未来 12 个月业务变化频率

• 业务模式经常变 → RAG（改文档就行）
• 业务模式稳定 → 微调可考虑

---

三、决策流程

有 ML 工程师团队？
├─ 没 → 直接 RAG，关闭本页
└─ 有
   │
   ├─ 数据每周更新？ → 是 → RAG
   │                  └─ 否 ↓
   │
   ├─ 需要引用追溯？ → 是 → RAG
   │                  └─ 否 ↓
   │
   ├─ 数据量 > 100 万条 + 有行为模式？ → 是 → RAG + LoRA 微调
   │                                    └─ 否 → RAG
   │
   └─ 预算 > 50 万 + 上面都满足？ → 考虑全参微调（但仍建议先做 RAG 兜底）

90% 的箭头都指向 RAG，这就是为什么开头说 90% 场景应该选 RAG。

---

四、典型案例

Case 1：律所合同知识库 → 纯 RAG 完胜

• 合同每周新增 / 修订
• 必须能定位「这段回答来自哪份合同的第几条」
• 律师只有 2 人会写 Python
• 结论：FastGPT + DeepSeek V3 API，2 周上线，预算 8 万

Case 2：电商客服话术 → RAG + 微调叠加

• 100 万条历史工单
• 需要模仿客服「人设」+ 特定话术风格
• 结论：RAG 拉历史相似工单 + LoRA 微调话术风格，预算 25 万

Case 3：医疗病例辅助 → 慎用，合规优先

• 数据极敏感（涉个人医疗信息）
• 零容忍幻觉
• 结论：RAG 私有部署 + 人工强 review + 不用于直接给患者，预算 80 万起

Case 4：营销文案生成 → 微调

• 需要固定品牌调性
• 不需要引用真实文档
• 结论：1k-1 万条优质文案 → LoRA 微调 Qwen2.5-7B，预算 5 万

---

五、成本测算

| 方案 | 一次性投入 | 月维护 | 适合场景 | |---|---|---|---| | RAG（API 模型） | 5-15 万 | 5k-2 万 | 90% 企业场景 | | RAG（本地模型） | 25-60 万（含硬件）| 1-3 万 | 不能上云的合规场景 | | LoRA 微调 | 8-20 万 | 5k-1 万（含偶尔重训） | 风格 / 术语场景 | | 全参数微调 | 50-200 万 | 2-5 万 | 千万条数据级 / 大厂 |

---

六、最常见的认知误区

❌ 误区 1：「微调出来的模型更聪明」 事实：微调改变模型行为，不增加知识量。你给它 1000 条客服话术微调，它学会的是「客服该怎么说话」，不是「公司业务知识」。

❌ 误区 2：「RAG 是为开发者准备的，企业要的是 finetune」 事实：恰恰相反。RAG 的运维门槛比微调低一个数量级，所以更适合没有 ML 团队的企业（也就是绝大部分企业）。

❌ 误区 3：「微调让模型更安全」 事实：基模型的安全对齐是大厂用千万级数据 + RLHF 做的。你 1 万条数据微调不可能比它更安全，只会让安全对齐打折扣。

---

写在最后

如果还拿不准你的场景应该选哪种方案，欢迎联系我们 解决方案架构师。

我们的 企业 AI 知识库方案 默认走 RAG 路线，按需叠加微调，3-12 周交付。