一文彻底搞懂GraphRAG
自ChatGPT引领人工智能的新潮流以来，咱们见证了大型言语模型（LLM）与私有数据联合的渺小后劲。这种联合不只催生了配置弱小的AI运行，也标记着AI专业才干的优化。
但是，随着深化探求，咱们发现传统的文本嵌入检索技术（Text2Vec RAG）在处置常识库问答时仍存在局限。本文论述如何经过图形RAG技术，有效填补这一空白，成功对常识库的深化开掘和片面了解。
1 部分和全局疑问
文本嵌入检索技术让LLM运行能够稳固地依据常识库内容回答疑问。Text2Vec的长处在于能够从常识库中提取关键理想，间接回答用户的疑问。但这种方法也有局限，它依赖于查问的详细性，且难以处置跨文档的形象疑问。
构想一下，有一个详尽的诺贝尔敌对奖得主常识库。问系统“2023年的诺贝尔敌对奖得主是谁？”这种疑问，系统能迅速给出答案，由于这些消息在常识库中明晰可查。但若问“过去十年最卓越的诺贝尔敌对奖得主有哪些？”系统就或者一筹莫展，尤其是当疑问须要跨文档整合消息时。例如，用户或者猎奇“最近几届诺贝尔敌对奖得主关键关注哪些议题？”假设这些议题在常识库中没有间接提及，传统的文本嵌入检索就难以给出满意的答案。
因此，引入图形RAG，这不只能够处置详细的部分疑问，还能应答须要全局视角的复杂疑问。
常识图谱经过半结构化的档次方法组织消息，准许咱们在数据集的全局层面上启动推理，识别节点间的复杂相关。图形RAG应用这种结构，经过识别严密相连的节点个体——即社区，来构建对用户查问的深化了解。
图形RAG的流程简化为：
这一流程优化了消息检索，对用户复杂查问的照应愈加精准和片面。
2 构建常识图谱：图形提取
构建对非结构化常识库的形象了解，首先须要提取构建常识图谱的关键节点和边，这一环节可以经过大型言语模型（LLM）智能化成功。应战在于鉴别哪些概念和相关是有价值的。
例如，从一篇对于沃伦·巴菲特的文章中提敞开息，他的持股和出世地等消息显然是关键实体和边，而他上次董事会会议上领带的色彩则或者有关紧要。关键在于依据运行场景和畛域定制提取揭示，这将间接影响从数据中提取的消息类型。
设定提取揭示可以经过两种形式：一是多轮揭示，即提供一系列输入输入样例让LLM学习；二是LLM微调，即在特定数据集上训练模型以提高性能。只管微调或者更有效，但也更消耗期间。
3 图谱数据的存储与治理
曾经成功设置LLM的提取流程。面对存储疑问，只管Neo4j和Arango DB是图形数据库的首选，但学习新的查问言语或者耗时。
为了简化，可以经常使用graph2nosql，这是一个Python接口，支持在NoSQL数据库中存储图形数据，并支持基本的图形操作，如节点治理、图形可视化和社区检测。这样，可以防止复杂的数据库技术栈，同时坚持数据的灵敏性和易用性。
graph2nosql 数据模型
4 社区检测
成功图形数据的提取与存储后，紧接着的义务便是识别图中的社区结构。社区由严密相连的节点群组成，其外部咨询远比与图外节点更为频繁。这一识别环节可以经过多种社区检测算法成功。
Louvain算法是其中一种宽泛运行的方法，它经过始终迭代兼并节点，构成社区，直至到达优化的模块度规范——模块度是评价社区划分优劣的一个关键目的。
除此之外，还有几种出名的社区检测算法，包含：
这些算法各有长处，实用于不同的场景和需求。
5 社区报告生成
社区报告基于已识别的社区，提炼出节点和边的关键消息，协助咱们掌握常识库的外围主题。每个社区都代表一个主题，为解答相关疑问提供详细高低文。社区报告是跨文档消息整合的终点，有助于构建对常识库的全体了解。
例如，诺贝尔敌对奖得主的社区报告或者会突出显示与获奖者相关的关键议题。而"发现"配置则进一步深化了这些报告，提供了更粗疏的洞察。
为了确保社区报告的相关性和准确性，应依据详细运行场景启动粗疏的揭示设计或模型微调。
6 高低文构建：Map Reduce的运行
在处置查问时，驳回map-reduce形式来构建从两边到最终的照应。
Map阶段 ：这里，咱们将每个社区与用户查问配对，应用社区报告来生成对查问的初步答案。同时，还会让LLM评价社区报告对用户查问的相关性。
Reduce阶段 ：随后，依据生成的两边照应的相关性得分启动排序，挑选出最相关的前k个社区。这些社区的报告，连同节点和边的消息，将作为最终LLM揭示的高低文，确保答案的准确性和深度。
7 结语
Text2vec RAG在常识库问答方面存在局限，而图形RAG则能奇妙地补上这一短板。它经过社区报告为常识库提供了更深档次的了解，协助团队极速定位关键消息，优化效率。但是，这种方法在调用LLM时老本较高，或者带来提前。
未来，RAG系统或者会驳回混合战略，依据查问类型选用最适合的工具，如应用社区报告作为高低文候选。这一畛域的探求仍在启动中。
本文转载自，作者：
