3.3 RAG高级

基础RAG（简单向量检索）有很多问题。

问题1：语义鸿沟。用户问“怎么让模型跑得快一点？”，文档里写的是“优化推理速度的方法包括：量化、剪枝、蒸馏...”。向量检索可能找不到这篇文档，因为“跑得快”和“推理速度”的向量距离较远。

问题2：多跳问题。用户问“张三的老板的老婆是谁？需要检索：张三→老板→老板的老婆。单次检索只能找到“张三”相关的文档，找不到“老板的老婆”。

问题3：粒度不匹配。用户问一个具体的技术细节，但检索到的是整章内容。模型被大量无关信息淹没，无法找到关键答案。

问题4：幻觉与遗漏。检索到的文档不够全面，模型基于有限信息回答，可能产生幻觉。或者关键文档被遗漏，导致回答不完整。

问题5：缺乏上下文。检索到的文档片段缺少上下文。例如：检索到“该方法提高了20%的效率”，但不知道“该方法”是什么。

解决方案：高级RAG技术。

混合检索（Hybrid Search）结合多种检索方式，取长补短。

1. 向量检索（Dense Retrieval）：用Embedding找语义相似的文档。擅长：语义理解、同义词、近义词。弱点：对特定关键词（如产品型号、ID、代码）不敏感。

2. 关键词检索（Sparse Retrieval / BM25）：传统搜索引擎技术。统计词频和文档频率。擅长：精确匹配、特定术语、产品型号。弱点：不理解语义。

3. 知识图谱检索：把文档中的实体和关系构建成图谱。擅长：多跳查询、关系推理。例如：张三→works_for→公司A→CEO→李四→spouse→王五。

混合检索的融合：

向量检索结果：文档A(0.9), 文档B(0.8), 文档C(0.7)
关键词检索结果：文档B(0.95), 文档D(0.9), 文档A(0.6)
知识图谱结果：文档E(1.0), 文档B(0.8)

融合（Reciprocal Rank Fusion）：
RRF分数 = Σ 1/(k + rank_i)
其中k=60（常数），rank_i是文档在第i个检索结果中的排名

文档A：1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323
文档B：1/(60+2) + 1/(60+1) + 1/(60+2) = 0.0161 + 0.0164 + 0.0161 = 0.0486 ← 最高
文档C：1/(60+3) = 0.0159
文档D：1/(60+2) = 0.0161
文档E：1/(60+1) = 0.0164

最终排序：B > E > A > D > C

参数表：

重排序（Re-Ranking）：第一次检索（召回）找到100篇相关文档，第二次用更强的模型对这些文档精确排序，选出最相关的5篇。就像考试：先海选100人，再面试选出5人。

重排序模型：

• Cross-Encoder：把查询和文档拼接，输入BERT，输出相关性分数。准确但慢（每对查询-文档需要一次前向传播）。
• ColBERT：对每个token计算相似度，然后聚合。比Cross-Encoder快，但比Bi-Encoder慢。
• LLM重排序：用GPT-4等强模型判断文档是否相关。最准确但最贵。

查询分解（Query Decomposition）：把复杂查询拆成简单子查询。例如：“张三的老板的老婆是谁？” → 子查询1：“张三的老板是谁？” → 子查询2：“[老板名字]的老婆是谁？”

查询分解步骤：

原始查询：公司A在2020年的营收和2023年的利润分别是多少？

分解：
子查询1：公司A 2020年营收
子查询2：公司A 2023年利润

分别检索：
结果1：公司A 2020年营收为10亿元（来源：2020年报）
结果2：公司A 2023年利润为2亿元（来源：2023年Q3财报）

合并回答：
公司A在2020年的营收为10亿元，2023年的利润为2亿元。

查询改写（Query Rewriting）：用户问“跑得快”，系统改写为“推理速度优化”，提高检索准确率。

参数表：