企业级智能常识库搜查问答技术与运行
出品 | 技术栈（微信号：blog51cto）
日前，在主办的WOT环球技术翻新大会上，澜舟科技合伙人、算法和运行VP马永亮带来了主题演讲《企业级智能常识库搜查问答技术与运行》，围绕常识库搜查问答场景，详细论述了在AI2.0时代，咱们应该如何联合大模型才干启动有效的通常与翻新。
本文将摘选其中精彩内容，一致整顿，宿愿为诸君带来启示。
以2022年年底ChatGPT推出为分界点，咱们可以把过去的AI技术称为AI1.0，之后的技术称为AI2.0。那么，跟AI1.0相比，AI2.0的技术有哪些不同呢？
首先，大家熟知的“才干涌现”，以前很多经过规定的形式，或许一个很复杂的Pipeline构建起来的才干，当天在大模型中就可以涌现进去。其次，多模态的才干以及对话的才干等等，这些都是AI2.0时代大模型才干突出的中央。但是，联合咱们这几年在B端行业中运行大模型技术的阅历，关于大模型/AI技术的产业落地，我以为这几点十分关键。
第一，AI才干的失掉门槛清楚降低了。当天想让大模型成功一件义务，最便捷的形式就是经过人造言语与大模型启动交互，经过做Prompt Engineering就可以做到。这在这以前是不敢想象的。
大模型的第二个特点，就是它的通用性。以前很多AI才干的构建或许都和详细的义务相关。比如之前做搜查引擎，整个团队会被分红很多不同的Team，Query了解、排序、文档的了解等等，这外面用到的技术大不一样。但是，当天不一样了，如今一切这些义务，像搜查引擎这么复杂的系统，其实都可以构建在大模型技术之上。
第三点，则是生成才干。由于以前做机器学习算法或许模型时，数据标注十分耗时耗力，卡点就在于用于标注的训练数据的稀少。当天由于生成才干的存在，就象征着你可以来生成这些数据，而后再去标注。这关于看重企业私密数据安保的to B场景而言，十分无心义。
因此，当具有了上述三点之后，大模型、AI技术开局在不同的行业中落地。同时须要留意的是，不同行业其实对大模型技术的需求并不一样，因此开展成熟度也不尽相反。
在开展比拟快的行业，比如在图片生成的畛域，曾经有很多流水十分高、用户黏性十分好的一些产品和公司产生了；相对开展艰巨一些的行业，比如在基础钻研、智能驾驶等畛域，落地则较慢；两边则是金融、教育等畛域，如今正处于启动期；同时，在金融、制作业等赛道始终地有一些标杆企业的运行开局落地了，但数量尚有限。
以上便是咱们从去年6月份到如今为止，观察到的大模型落地的行业趋向。
1.AI产业化象限
那么接上去，联合大模型才干以及对to B、to C行业的了解，AI产业化最后会构成怎样一个象限？
在很多维度中，咱们抽取了三个最关键的维度：门槛、成果、人力。从这三个维度看，重点去思索象限中的四个点如何在成果面上到达最好。
首先看A点，我称之为“老本之殇”，为什么呢？由于到达A点的成果，同时须要极多的人力和极高的门槛，老本十分高昂。
这也是在AI1.0时代，尤其在to B行业化去落地时面临的最大应战，它不只体如今人才的数量上，而且这些人才须要具有必定的模型构建的才干，老本显然很高。由于B端行业不同，需求不一样。雷同的行业，不同的公司，需求差异其实也不小。
再来看点B，这里称之为“互联网形式”。它是一个边沿效应递减的形式，特点就是人力相对要少，但是门槛比拟高。由于互联网形式下有规模效应，比如咱们之前一个团队或许有十几团体、二十团体，这些人就干一件事件：把query的用意剖析得准一点，哪怕涨一个百分点，上线之后带来的成果也会十分可观——由于这样一个搜查引擎它每天的Query都是数十亿的。因此几团体、十几团体的改良就可以十分容易失掉规模化，老本边沿效应就会递减。
接上去，C点则是“终极AGI”，特点是成果又好，也不须要十分专业的人，而且须要的人也不多。即咱们所想象的这样：不须要人来干活，交给模型、交给AI、交给AGI就可以了。这显然是很难做到的，尤其内行业落地的场景下。
最后D点，我以为是“AI产业化的终点”。像澜舟科技这样的toB公司就是努力于推向这个点。依赖于大模型技术，D点的门槛其实会很大水平上降低，也会取得清楚的成果，但是它依然须要很多人，为什么呢？由于要驾驭当天的模型去处置一些定制化的疑问，确实须要一些人的常识和才干，但是它的门槛会降低。经过这种形式，去处置千行百业AI大模型落地的疑问。
2.产模一体，为什么要自己做模型？
澜舟科技在企业战略规划的定位是产模一体，既做大模型底座，同时也会并重产品和运行的研发和落地。很多人会问，“可以用很多开源的模型，为什么还要自己做模型呢？”我以为自己做模型有以下几点好处。
第一，你会很清楚地理解整个技术栈以及存在的疑问。这对在运行中去做比如微调、对齐，甚至应用RAG、Agent都是十分有协助的。即使当天大家在运行中经常使用GPT4或许其余SOTA模型，实践上也会面临很多疑问，只靠Prompt Engineering很多时刻是不能处置的，RAG、Agent也很关键。
第二，在经常使用大模型这些才干的时刻，还象征着你须要了解模型的才干边界在哪，才干不够的中央就须要去优化。同时也确实有一些公司和客户有志愿、有需求去针对模型底座做一些定制的优化，做一些continue train。
澜舟科技在这些方面其实都有一些规划，最底层的模型，基于底层的基础模型之上咱们会有一些行业的，还有一些配置性的，比如金融行业大模型、编程大模型，咱们刚才讲的几个技术才干。上方就是咱们当天讲得或许会比拟多的，就是常识库相关的，搜查、问答，以及和写作无关的一些才干。
3.行业落地中的应战
在企业侧落中央面，有以下几个突出的疑问。
首先是模型成果。大模型间接拿来用，当天的很多疑问其实都处置不了。大家经常使用RAG的一个很关键的要素，就是它能接入可极速降级的常识库，而这些常识库每次经过训练把这个常识infuse到模型里，时效性显然不够。此外，还存在数据库、图谱等结构化常识难以应用以及幻觉疑问等。
第二，落地老本的疑问，这里既有研发的老本，同时也有模型自身的老本。大参数量的模型，须要用很多机器去部署它，而且窗口越长，推理越慢，就须要更多的机器；此外，大模型的定制须要投入很多人力，假设门槛不够低的话，人力老本也会十分高。
最后，可继续的疑问。大模型开展速度十分快，很多企业在洽购大模型时会担忧，如今花钱买了一个底座，或许没过两三个月，或许就会开源出一个比你买的还要好的模型，这关于去规划自己公司或团体的大模型技术是有必定的危险的。
澜舟科技曾经开源了很多模型，在经常出现的这些开源社区和网站上其实大家也都能够下载。但是，咱们不会去做参数量十分大的模型，由于企业客户自身实践上也并不去用太大的参数去处置真正业务中的实践疑问。
金融作为关键的行业畛域，澜舟科技投入了更多的资源打造出金融行业大模型。
孟子GPT金融行业大模型经过构建泛滥金融义务的多样化学习数据、Few-shot学习以及强化学习等训练方法，在金融义务上的性能评测上全体取得了优秀性能。结果显示，它不只在金融义务上清楚比通用模型好，而且其通用才干也没有产生清楚降低。
4.RAG和Agent
在搜查、问答、常识库畛域，通常会依赖两个关键的技术，一个是RAG(检索增强生成)，一个是Agent。
搜查引擎跟大模型才干联合起来是一个很人造的想法，由于搜查引擎的搜查实践上是用户去驱动的，用户说我要搜什么，系统看了一些文档之后，再选择下一步要搜什么，以此来处置自己的这个疑问。
大模型可以将这个流程智能化，比如，之前用户须要搜十个Query，用了大模型之后，你只须要搜处置那个疑问的那个Query就行。过后的成果就曾经不错了。
在与搜查联合环节中，咱们看到RAG（检索增强生成）技术。当天这个框架曾经十分规范化，其中的很多模块，比如Query上应该做些什么，文档上应该做些什么等，也都是搜查引擎中十分关键的模块。
文档方面，在toB的畛域，很多文档都是非结构化的，比如PDF文件格局，所以文档解析在常识库这个畛域就十分关键，在这个畛域要处置海量消息、幻觉等疑问，就可以人造接入到大模型的运行中来。
其实，这里的窗口长度也没有那么大，依据咱们自己的试验，一个13B左右的模型，每个文档片段1K左右，大模型的输入窗口6K，即TOP6的文档片段，在答案的recall上就能做到99%以上。只需底层检索和排序的才干做到必定水平之后，就很容易到达这点。所以大家经常看到一半模型的窗口只要6、7K，长一点的有20~30K。
但假设你真的要解读一篇金融畛域的文档，比如年报、研报，年报普通二、三百页，研报多的三、四十页，那么窗口即使是几百K都不够。
不用提推理速度，就是对成果的影响也会很清楚，由于它太长了，长了之后整个窗口内的和你的疑问相关的消息密度会清楚降低，降低了之后就会人造影响模型的成果。
因此，并不是说这模型允许这么长窗口，就给它这么长，成果跟短文本窗口是不一样的：短不只是推理的老本低，推理的成果也会更好。
检索是一个十分通用的接口，可以经过让大模型和检索联合起来，做十分多的事。如今大家做RAG，更多是非结构化的文档搜查，但其实将非结构化文档变成半结构化或许结构化进而做结构化文档的搜查，也是一个趋向。所以就是联合了检索的通用的接口之后，同时大模型的才干也失掉了十分强的裁减。
接上去讲一下Agent方面。第一，联合Agent可以设计十分复杂的上班流。企业侧存在很多复杂的上班流，它须要很多步，而且这些步骤有时还不只是一次性大模型的推理，还要依赖于如今的一些才干，比如检索增强、代码的口头、计算等等，这些工具的调用其实都是经过Agent串联起来的流程。
人们可以自己设计workflow，如今编排这种流程的工具很多。此外，大模型自身也具有必定的planning才干，甚至针对一些比拟局限的场景，大模型也可以自己设计workflow，而且会十分灵活，会依据不同的输入，会设计不同的workflow。
全体上看，包含澜舟科技在内的很多大模型的公司，整个技术栈有这几个档次，L1-通用的底座、L2-行业大模型，L3-场景义务模型，L4-AI Agent。
5.详细案例：文档了解和搜问
如今说到文档问答或许常识库一些详细的疑问和咱们的一些上班。
首先，为什么要做文档的解析和了解，由于在一些文档中，它的疑问有时和文档的结构是严密相关的，有了文章的结构，其实关于RAG做更复杂的疑问是有很好的协助的。
上方就是咱们在文档了解上方的一个全体的文档解析才干的架构。
首先，PDF文档、图片等非结构化的内容，经过OCR，应用大模型启动一些处置之后，失掉文章的内容。
上方则是针对文档的结构局部，雷同也须要OCR，经过大模型和规定的联合，就可以把十分经常出现的、形式十分清楚的物品定义进去，而且大模型十分适宜去裁减一些偏tail的内容。
最后文档的内容和文档的结构兼并之后，咱们就可以失掉一个非结构化文档的解析的结果，像表格、章节、题目、段落等等。
接上去就可以针对它做一个分块，这里也会有很多的战略。比如多粒度分层chunking，一篇文章可以有多种分块方法。而后在每种类型的分块方法上都启动召回，最后再做一些兼并的战略，其实就会有更好的结果。
在搜问方面，我以为有三个比拟关键的环节。第一，文档的解析十分关键。第二，检索的准确度，别只用一个向量去处置检索的环节，前面或许还要做关键词和排序模型，可以驳回 learning to rank作为大模型最后在排序的召回层，这样可以十分有效地优化整个RAG stack推理的速度。
最后就是答案的回答和幻觉的检测,这个环节十分关键。在B端畛域，一个可以落地的目的是90%以上，否则的话其实很难被经常使用起来，即使真的有人去用，体验也会十分差。
6.常识库搜查和问答的未来方向
最后我想分享一下在常识库搜查和问答畛域，下一个阶段咱们会重点关注的几个技术方向。
首先第一个就是从繁多的结构数据向多结构数据融合来做搜查问答或许RAG、Agent。繁多的数据结构可以了解为一种非结构化的文档，比如图片或PDF。而多结构化则是指即使是非结构化的文档，咱们也宿愿把它变成半结构化的。
例如，输入一本解说环球范围名胜古迹的书，咱们如今问一个好处条件搜查的疑问：中国的名胜古迹有哪些？假设用传统的RAG的话，很或许搜回来的古迹不只是中国的。这时刻就宿愿针对这样的文档做一些半结构化处置。这里有一种很便捷的方法：针对这些非结构化的文档构建一个便捷的常识结构就可以了。
最便捷的常识结构其实就是Key-value，咱们抽出这个文章内容的property，而后它的value是什么。对应刚才的例子，其实就把文章中的古迹的地址、所在的国度抽取成property，只需它是“中国”就行了。这样的非结构化数据就变成了一个半结构化/结构化的数据，将其放到数据库中之后，就可以应用现代数据库搜查的技术，比如NL2SQL或许Semantic的NL2SQL，启动一些值的语义婚配的，当然如今也有很少数据库是把这种婚配向量化了。
当天这种非结构化文档的问答，经过“抽取，聚合，总结”的这种形式，目的基本上都能到90%以上了。接上去大家须要处置更难的疑问，这就须要了解文章的结构，文章的常识点，常识的维度。
第二个趋向，就是从刚才说到的抽取、汇总、摘要，将转向数理的计算和推理。这种类型的疑问更多出如今表格上，当天做得好一点的或许就间接在非结构化的表外面抽出一两个值，但假设让它去做一些计算、推理，比如：哪一年某个公司的营业额是最高的，成功率就会低很多，或许只要50%-60%左右。当天咱们思索在大模型中引入代码、工具等才干，应用Agent的一些技术来处置相似的疑问。
最后一个趋向就是单跳检索增强转向多跳。“单跳”就是用户发一个疑问，咱们就把这个疑问须要的物品搜回来，你或许会对这个Query做很多改写去搜。而“多跳是什么”？比如这样的疑问：A、B、C三个公司的年营业额或许2023年的业绩体现对比是如何的？这几个公司的业绩体现或许是在三个文档中，你间接搜这个疑问，即使多文档的搜查成果也不会很好。这个时刻就须要“多跳”。
所谓“多跳”，就是这个疑问就会拆成一个并列的搜查。回到这个例子中，就会把它拆成三个Query，区分搜A公司、B公司和C公司独自的内容。除了这种并行的多跳，还有很多其余类型的，比如递进、交并相关等等，甚至有一些是计算的。澜舟智库，作为澜舟科技精心打造大模型时代的智能常识库平台，专为现代企业量身定制，该平台集智能AI搜查、常识库问答、AI辅佐写作等配置于一体，能够协助企业迅速构建起既安保又牢靠的专属常识中台。咱们也会在未来的澜舟智库这款常识库产品的迭代中始终地引入这些新的才干出去。
本文转载自 技术栈 ，作者：言征
