Agent 与 RAG 基于 平台 LLM 构建自动 B #AIGC翻新先锋者征文大赛#快手 端商业化技术探求
导语：大模型技术正以史无前例的速度与各畛域融合，为各行各业带来改革，围绕快手 B 端商业化的业务场景，本文详细论述了构建基于 LLM 的 Agent 技术平台的战略、应战及处置打算，为您带来贵重的见地与启发。
一、大模型运行树立背景
快手商业化业务中台，作为外围撑持，片面赋能外部的一线开售、经营团队，以及外部的代理商和服务商。面对大模型技术的浪潮，咱们精准捕捉自动化转型的先机。面对泛滥可选用的技术门路，经过咱们启动了深化剖析与慎重考量，最终选择将战略重心聚焦于 RAG 与 Agent 技术的研发与运行。
RAG，作为咱们的助手，经过检索、增强与生成三大环节的严密单干，精准婚配并高效处置用户查问，清楚优化消息处置的效率与品质。而 Agent 技术，则表演着自动体的角色，它不只具有高度的自主性与交互才干，还能在复杂多变的业务环境中灵敏应答，口头多样化的义务。
在这一环节中，咱们果决舍弃了与业务场景关联度不高或短期内难以发生清楚效益的技术方向，如 AIGC 的某些特定运行、过于细分的垂直畛域探求等，以确保资源能够集中投入到 RAG 与 Agent 技术的深耕细作之中。经过此次聚焦，咱们能够减速推进快手商业化业务的自动化进程，为一线团队提供愈加自动、高效、方便的上班体验，同时也为公司发明愈加出色的商业价值与社会效益。
快手商业化 B 端业务场景
二、SalesCopilot 技术平台的降生与演进
SalesCopilot 平台降生的背景
在的商业环境中，销运团队作为企业衔接市场与客户的桥梁，面临着泛滥应战。但是，随着业务规模扩展，一系列痛点逐渐浮现，亟待经过产品树立来加以处置。
针对上述痛点，快手商业化团队急需开发一款集常识治理、团队单干与自动答疑于一体的产品。基于此，第一个运行销帮帮自动客服应运而生。在自动化更新的环节中，咱们逐渐积淀打造了 SalesCopilot 技术平台。在名目标推进环节中，逐渐看法到，经过通常积攒阅历，咱们有才干并且有责任构建一个能够撑持多元化自动运行的技术底座。因此，咱们采取了双轨并行的战略：一方面，继续孵化并优化自动客服等运行，另一方面，则为技术平台的 SaaS 架构规划打下松软基础。
SalesCopilot 系统架构
下图为 SalesCopilot 系统架构图，它展现了咱们这一愿景的详细成功门路，其概括为“三横一纵”。
SalesCopilot 技术平台
在“三横”结构中，最底层且最为外围的是 AI 引擎层，这一层是技术平台的智慧大脑，集成了 RAG 等前沿技术，成功了常识的检索、增强与生成，为下层运行提供了弱小的自动撑持。同时，业务用意（Agent）模块作为桥梁，精准对接业务需求与底层 AI 才干，确保系统的灵敏性与顺应性。此外，成果评测中心及语义向量关系组件的参与，进一步优化了 AI 引擎的性能与准确度。
第二层是 ChatHub 层，它专一于自动客服场景，提供了一个可扩展的框架，用于集成并优化多种自动客服才干。这一设计既满足了业务需求，更为未来配置的拓展预留了短缺空间。最下层则是业务运行层，它以租户为外围，成功了数据的共性化隔离与业务的灵敏定制。每个租户都能在此层构建自己的专属运行，享用定制化的自动服务。而“一纵”则是指贯通于整个架构的插件框架与多租户框架。这两个框架构成了 SalesCopilot 平台化的基石，它们不只保证了系统的稳固性与可扩展性，还使得平台能够轻松应答多业务、多场景的应战，为技术的久远开展奠定了基础。
深化浅出 AI 引擎的 RAG 技术
LLM 的局限性
RAG 是在大模型运行后，很快被大家识别和接受的技术范式，其共同之处在于对大型言语模型局限性的有效补偿，以下是大模型的局限性：
大模型的长处与局限性
RAG 技术链路
RAG 技术链路分为离线与在线两大外围局部：
离线链路：此局部包括常识构建与常识预处置，而常识构建与经营是 RAG 运转的基础。构建技术链路只是终点，若缺乏专业团队对常识库启动继续经营、品质把控及规模扩张，就似乎汽车缺乏燃油难以驰骋。常识预处置则包括切片、Embedding 等惯例操作，以及快手特有的常识下钻才干，该才干能够深化开掘常识间的关联，因为快手大局部常识都是以云文档的格局存在的，且包括对内、对外两种方式，彼此援用与扩展。经过快手自研的常识下钻技术，将原本看似独立的 200 篇文档扩展至 1000 余篇，极大地丰盛了常识库的广度和深度。经过 GraphRAG 本地化通常，融合 LLM 技术与图谱技术，优化了跨 chunk 和跨文档的全局常识问答成果。离线链路还包括多路召回（向量检索、ES 检索、GraphRAG）的强语义常识索引建构，为在线链路的业务成果提供索引数据撑持。
在线链路：作为 RAG 技术的外围口头局部，在线链路由检索（R）、向量召回（A）与生成（G）三大环节严密组成。自多路召回战略上线以来，其成果在向量婚配上已成功了清楚优化，高达 70%的增幅，但是，随着用户需求的日益多样化与复杂化，对 Query 的深化了解与优化成为了新的应战。用户提问的轻易性与无法预测性，倒逼咱们始终调整 Query 解析战略，优化系统对追问、反诘等复杂场景的应答才干，而这些才干会缓缓成为疏导这个系统进一步开展的关键点。
RAG 技术链路
业务中的实践运行
在实践运行中，销帮帮自动客服在 12 个直客行业和渠道业务部中，开售人员笼罩率到达 42.8%。在常识治理方面，更是成功了质的飞跃。本因由五人保养的 270 余篇常识文档，在销帮帮的助力下，下钻扩展至 1000 余篇，常识库的丰盛度与深度均失掉了清楚优化。此外，机器人的阻拦率到达 78%左右。多路召回和精排运行实施后，成果优化十分清楚，在评测阶段，常识问答平均分百分比优化了 70.68%。
在业务虚践中，无法防止地会遭逢诸多应战，这些应战可大抵归为以下几大类：
首先，RAG 系统自身便包括着复杂性与深度。用户的提问往往泛化而不明白，这类提问初看之下或被视为不佳案例（Bad Case），但深化剖析后，实则发现了模型须要参与追问和疑问分类了解才干。漏召回与回答准确率的无余，则可经过引入多路召回与精排战略得以有效缓解，进而优化系统性能。最后是畛域“黑话”带来的疑问，要求咱们在垂直畛域内深耕细作，积攒专业常识。
大模型虽强，却也并非无所不能。其总结才干的不稳固性便是一大痛点，需经过精细调整 Prompt 来优化。在此环节中，确保领有牢靠的评测工具至关关键，它能确保每次调整都能带来侧面成果，防止在处置一个疑问时引入新的疑问，造本钱来体现良好的案例（Good Case）反遭侵害。同时，大模型在处置长高低文时的局限性也需咱们关注，尝试有限多轮对话的优化门路，以更贴近用户的实在经常使用场景。
最后是用户需求和配置的不婚配。咱们发现了一个清楚的趋向：用户在与客服交互时，越来越多地驳回先图片后提问的方式。这一现象则提醒了用户关于多模态交互的剧烈需求。配置的局限性与用户日益增长的多元化需求之间，构成了一道亟待逾越的鸿沟。这要求咱们始终翻新，将图像识别、语音识别等先进技术融入产品中，以满足用户愈加丰盛的交互需求。
业务虚践中的应战
Agent 技术的片面解析
Agent 的技术链路 在深化讨论咱们的 Agent 通常时，咱们已逾越了方便的“tool use”范围，向着愈加自动与片面的方向开展。Agent 的外围价值，不只在于其工具性运行的层面，更在于其作为衔接业务与用户需求的桥梁角色。它能精准回运行户等候，高效处置用户疑问，这一环节中，Agent 需严密集成于系统之中，充沛应用业务接口、数据模型等内围资源。
为了成功 Agent 的高效运转，咱们构建了一套接口与用意的 schema 体系。在 schema 中，定义了每个业务用意的称号、详尽形容及详细示例（即“shot”），这些消息关于大模型而言，是了解 API 逻辑、掌握业务用意的关键钥匙。在通常初期，大模型在用认识别上的体现不尽善尽美。一方面咱们优化了 Prompt，将若干用意 shot 融入其中；另一方面咱们更新了 LLM，部署了 qwen2-7b，最后因为 Prompt 长度有限，咱们对用意清单做粗排以支持 300+的用认识别，之后全体的用认识别成果失掉清楚优化。
Agent 的技术链路
Agent 的用意口头
用意的口头战略涵盖了从简至繁的多种形式，每种形式都针对特定场景需求而设计。最基本的是单 Plugin 形式，它成功了用意与 API 的间接映射。在这种形式下，用户的方便需求（如搜查网页、查问天气）能够迅速转化为 API 调用，间接前往结果。
但是，在复杂多变的业务场景中，这种形式显得力所能及。面对复杂的业务逻辑，如开售场景中查问客户合同进度，这里或者触及到这个客户是不是非法的、签的是哪个合同、签了多少钱……，咱们须要引入多 Plugin 用意口头才干。这一才干准许咱们将复杂的义务拆解为多个子义务，每个子义务由不同的 Plugin 处置。目前，成功这一才干关键有两种方式：一种是预约义口头逻辑，即在明白用意后，经过人工编排大模型的口头门路；另一种则是大家谈得比拟多的 ReAct 形式，即让 AI 在推理环节中灵活选择口头步骤。虽然推理+口头这个概念特意性感，但稳固性不佳，比如说 AutoGPT 最好的体现只要 50%左右，间接把这套物品推到线上系统是无法接受的。
用意口头
在业务虚践中，有两种用意口头方式。其一，咱们驳回了人造言语处置技术，间接从用户的言语中精准捕捉其用意，并立刻启动相应的口头流程。另一种方式则更为繁复一些，识别到用户的用意后，经过弹出卡片界面的方式启动确认，并极速口头最终义务。
大模型的关键设计与成果评测
另外，关于咱们大模型设计的外围思念，关键聚焦于以下三点：
可插拔，能依据需求极速交流或更新模型，支持多模型单干，让不同义务调用最适宜的模型；
LSP，LLM Specific Prompt/模型公用提醒 LLM 各有调性，皆有适宜自己的 Prompt 格调；
量化 LLM，量化大模型经过缩小参数精度来降落资源需求，仅大批自动损失可跑高性能跑在 CPU 上。
大模型的运行战略
在探求大模型驱动的运行研发这一畛域时，咱们深知自己正置身于一个“不确定性”之中。每一环节，一旦与大模型严密相连，便无可防止地随同着成果的动摇与不确定性。因此，构建一个高效、精准的评测中心，关于确保系统的可控性与成果的继续优化必无法少。我坚信，评测中心关于大模型驱动的运行研发而言，是无法或缺的基石。它赋予了咱们驾驭不确定性的才干，只要如此，咱们才干确保系统在始终迭代中稳步前行，真正成成成果的继续优化。
效劳评测中心
三、大模型运行研发的思索
在此，我总结了大模型运行研发环节中的四点关键思索，宿愿对大家有所协助！
第永世产力：自动化技术平权。大模型技术的改造，真正成功了自动化技术的普惠与平权。大模型经过提供先进的算法和宏大的数据处置才干，使得即使是资源较少的小企业或小团队也能应用顶级的 AI 技术启动产品开发和业务优化。这一转变，极大地降落了技术门槛，减速了翻新名目标孵化，让自动化不再是大型机构的专属，而是成为推进各行各业转型更新的微弱能源。
第二 RAG 成果优化：乘积效应。RAG 成果优化是一个十分系统性的上班，要做到比拟好的成果，有十分多的自动化和工程战略的事件要做，没有银弹，要抓关键细节一个个去做实做深。从 Query 了解到常识保养，再到多路召回战略的优化，每一个环节精细打磨，都是成成成果飞跃的关键。当成果到达 70%后，则更需坚持耐烦与毅力，继续深挖细节，以如虎添翼的态度，逐渐打破瓶颈，迈向更高的巅峰。
第三门路选用：从垂直细分畛域开局。在开局研发大模型运行时，咱们深思熟虑后选择采取一条从垂直细分畛域切入的门路。这一决策并非偶然，而是基于对技术开展阶段和市场环境的深入洞察。大模型技术，虽然已取得清楚停顿，但仍处于其开展历程的初期阶段，尚未构成成熟、规范化的运行范式。因此，自觉谋求构建一个无所不包的通用 Agent 平台，不只或者因技术的不成熟而遭逢重重艰巨，还或者因研发周期的漫长和用户反应的滞后，错失先机。同样，咱们选用从详细、明白的垂直细分畛域入手，这些畛域往往具有明晰的运行场景和迫切的自动化需求。经过在这些畛域内深耕细作，咱们能够极速验证大模型技术的有效性，并积攒贵重的通常阅历。同时，阶段性地选取具有代表性的标杆运前启动重点开发，树立行业标杆流。在这一环节中，咱们同步启动架构规划，为未来的平台化开展奠定根基。
第四需求趋向：多模态。展望未来，多模态交互将成为 Agent 开展的关键趋向。这一趋向不只合乎人类人造交互的习气，更以其消息密集、表白丰盛的特点，为用户带来更为绝佳的交互体验。随着技术的始终提高与成熟，咱们有理由置信，多模态才干将始终优化，为 Agent 的开展注入新的生机与或者。
【本文正在介入 AI.x社区AIGC翻新先锋者征文大赛】
