检索战略讨论Fusion HyDE布置上 含代码 RAG初级优化

传统的检索方法通常依赖于对query启动语义了解(基于向量)或关键字婚配(BM25)，这两种方法都有其好处和缺陷。融合检索、HyDE和RAG-Fusion可以创立一个更强健和准确的检索系统。本文将引见三种优化方法：

初级 RAG 技术引见

Fusion Retrieval

融合检索是一种弱小的文档搜查方法，它联合了语义了解和关键字婚配的好处。经过应用基于向量和BM25的检索方法，它为消息检索义务提供了更片面、更灵敏的处置打算。这种方法在概念相似性和关键字关系性都很关键的各个畛域都有潜在的运行，例如学术钻研、法律文档搜查或通用搜查引擎。

成功方法:

好处：

提高检索品质: 经过联合语义搜查和基于关键字的搜查，系统可以捕捉概念相似度和准确的关键字婚配。 灵敏性: alpha参数准许依据特定用例或查问类型调整矢量和关键字搜查之间的平衡。 强健性: 组合方法可以有效地处置更大范围的查问，减轻单个方法的弱点。 可定制性: 该系统可以很容易地顺应经常使用不同的矢量存储或基于关键字的检索方法。

成功图

上方的图表说明了流程（最后一局部给出了实现代码）：

HyDE 是什么？

HyDE 是一种翻新方法，可增强密集检索，尤其是在零样本场景中。其上班原理如下：

成功图

上方的图表说明了 HyDE 流程：

RAG-Fusion

什么是 RAG-Fusion？

RAG-Fusion 是一种先进的技术，它将检索增强生成 (RAG) 与互易秩融合 (RRF) 相联合，以提高检索消息的品质和关系性。其上班原理如下：

与传统 RAG 相比，这种方法有助于捕捉更宽泛的背景和潜在的更多关系消息。

成功图

上方是说明 RAG-Fusion 上班流程的图表：

对RAG技术感兴味，可以经过这本书片面学习。据了解这是目前第一本对于rag的书籍，很不错：

加载依赖

import osimport sysfrom dotenv import load_dotenvfrom langchain.docstore.document import Documentfrom typing import Listfrom rank_bm25 import BM25Okapiimport numpy as np

bm25召回

def create_bm25_index(documents: List[Document]) -> BM25Okapi:"""Create a BM25 index from the given documents.BM25 (Best Matching 25) is a ranking function used in information retrieval.It's based on the probabilistic retrieval framework and is an improvement over TF-IDF.Args:documents (List[Document]): List of documents to index.Returns:BM25Okapi: An index that can be used for BM25 scoring."""# Tokenize each document by splitting on whitespace# This is a simple approach and could be improved with more sophisticated tokenizationtokenized_docs = [doc.page_content.split() for doc in documents]return BM25Okapi(tokenized_docs)

混合召回

def fusion_retrieval(vectorstore, bm25, query: str, k: int = 5, alpha: float = 0.5) -> List[Document]:"""Perform fusion retrieval combining keyword-based (BM25) and vector-based search.Args:vectorstore (VectorStore): The vectorstore containing the documents.bm25 (BM25Okapi): Pre-computed BM25 index.query (str): The query string.k (int): The number of documents to retrieve.alpha (float): The weight for vector search scores (1-alpha will be the weight for BM25 scores).Returns:List[Document]: The top k documents based on the combined scores."""# Step 1: Get all documents from the vectorstoreall_docs = vectorstore.similarity_search("", k=vectorstore.index.ntotal)# Step 2: Perform BM25 searchbm25_scores = bm25.get_scores(query.split())# Step 3: Perform vector searchvector_results = vectorstore.similarity_search_with_score(query, k=len(all_docs))# Step 4: Normalize scoresvector_scores = np.array([score for _, score in vector_results])vector_scores = 1 - (vector_scores - np.min(vector_scores)) / (np.max(vector_scores) - np.min(vector_scores))bm25_scores = (bm25_scores - np.min(bm25_scores)) / (np.max(bm25_scores) - np.min(bm25_scores))# Step 5: Combine scorescombined_scores = alpha * vector_scores + (1 - alpha) * bm25_scores# Step 6: Rank documentssorted_indices = np.argsort(combined_scores)[::-1]# Step 7: Return top k documentsreturn [all_docs[i] for i in sorted_indices[:k]]

原文链接：​ ​​ ​