生成式AI大模型之揭示词工程通常

揭示工程是一个新兴的畛域，专一于开发、设计和优化揭示，以增强 LLM 的输入，从而满足您的需求。它为您提供了一种疏导模型的行为从而到达您想要成功的结果的方法。

揭示工程与微调不同。在微调中，经常使用训练数据调整权重或参数，指标是优化老本函数。就计算期间和实践老本而言，微调或者是一个低廉的环节。但是，揭示工程试图疏导经过训练的 FM、LLM 或文本到图像模型给出更关系、更准确的答案。

揭示工程是充散施展大言语模型的弱小才干的最快方法。经过应用一系列疑问、语句或指令与 LLM 交互，您可以依据您宿愿成功的输入的特定高低文来调整 LLM 输入行为。

有效的揭示技术可以助力您的企业成功以下优势：

揭示的因素

揭示的方式取决于您给模型指定的义务。当您探求揭示工程示例时，您会留意到揭示蕴含以下局部或所有因素：

评价模型的照应

零样本揭示是这样一种揭示技术：用户向 LLM 提出义务，而不给模型提供进一步示例。在这种技术中，用户希冀模型在没有事前了解或尝试义务的状况下口头义务。现代 LLM 体现出出色的零样天性力。

经常使用零样本揭示技术的技巧包括：

小样本揭示是这样一种揭示技术：您为模型提供无关所恳求口头的义务的高低文消息。在这种技术中，您同时提供义务和所需输入的示例。在揭示条件中提供此高低文或大批样本，可以使模型严厉遵照义务指点。

小样本揭示中的标签不用正确即可提高模型功能。通常，运行随机标签比齐全不经常使用标签要好。但是，演示指定的标签空间和输入文本的散布很关键。此高低文中经常使用的“标签”一词是指揭示示例的输入。“揭示示例”中的语句所表白的心情是标签的示例。

假设您有少量示例可以应用，请经常使用技术来遵守模型的标志限度并灵活填充揭示模板。您可以经常使用基于语义相似度的示例选用器来提供协助。

思想链 (CoT, chain-of-thought) 揭示经过两边推理步骤合成复杂的推理义务。您可以将零样本揭示技术和小样本揭示技术与 CoT 揭示联合经常使用。思想链揭示特定于疑问类型。您可以经常使用短语“一步一步地思索”在机器学习模型中调用 CoT 推理。

基本揭示技术并不总是能提供您的特定业务义务所需的结果。本节课将向您引见多种初级技术。您将学习每种初级技术的运作方式，您还将进一步了解哪种经常使用案例最适宜每种战略。

自洽性是一种相似于思想链揭示的揭示技术。但是，自洽性技术不采取清楚的一步一步门路或贪心门路，而是揭示模型对各种推理门路启动采样。而后，模型依据来自各个门路的多个数据点聚合最终答案。依据 Xuezhi Wang 等人撰写的文章“应用自洽性提高言语模型中的思想链推理成果”(Self-Consistency ImprovesChain of Thought Reasoning in LanguageModels)，当用于一系列经常出现算术和知识推理基准时，自洽性可以改良 CoT 推理揭示。

思想树 (ToT, Tree of thoughts) 是另一种基于 CoT 揭示技术的技术。CoT 揭示按顺序对思想启动采样，但 ToT 揭示遵照树分支技术。经过 ToT 技术，LLM 可以驳回粗疏入微的方式学习，思索多条门路而不是一条顺序门路。

关于触及关键初始决策、未来战略和探求多种处置打算的义务，ToT 揭示是一种特意有效的方法。大少数 LLM 经过遵照规范的从左到右的标志级推理来做出决策，但经过 ToT，LLM 可以自行评价选用。

依据 Shunyu Yao 等人撰写的文章“思想树：让大型言语模型深思熟虑地处置疑问”(Tree of Thoughts: DeliberateProblem Solving with Large Language Models)，ToT清楚提高了模型处置须要关键布局的义务时的功能。Yao 和其余钻研人员在三个义务中测试了 ToT 方法：创意写作、迷你填字游戏和 24点游戏（一种数学学习游戏）。在 24 点游戏义务中，生成式预训练变换器模型 4 (GPT-4, Generative Pre-trainedTransformer 4) 经过 CoT 揭示取得了 4% 的成功率。而模型经过 ToT 揭示方法取得了 74% 的成功率。

检索增强生成 (RAG, Retrieval Augmented Generation)是一种揭示技术，它提供畛域关系的数据作为高低文，以基于这些数据和揭示生成照应。该技术相似于微调。但是，RAG 不用经常使用一小组标注示例对 FM启动微调，而是从大型语料库中检索一小组关系文档，并经常使用这些文档提供高低文来回答疑问。RAG 不会扭转基础模型的权重，而微调会扭转模型权重。

这种方法比惯例微调更具老本效益，由于 RAG 方法不会发生对模型启动微调的老本。RAG 还处置了数据频繁更改带来的应战，由于它会检索降级的关系消息，而不是依赖或者过期的数据集。

在 RAG 中，外部数据可以来自多个数据源，例如文档存储库、数据库或 API。在将 RAG 用于 LLM之前，您必定预备知识库并使其坚持最新。下图显示了在 LLM 中经常使用 RAG的概念化流程。要检查在知识库预备好后模型启动学习的步骤，请区分选用四个带编号的标志。

与自洽性和 ToT 揭示技术一样，ART 是一种基于思想链环节的揭示技术。Bhargavi Paranjape撰写的“ART：大言语模型的智能多步推理和工具经常使用”(ART: Automatic multi-step reasoning andtool-use for large language models) 一文具体探讨了 ART 技术，该技术专门用于多步推理义务。

该技术实质上是经过让模型从义务库当选用多个或大指示例的演示来解构复杂的义务。在模型经常使用这种小样本合成的同时，它经常使用预约义的外部工具（例如搜查和代码生成）来口头义务。

钻研标明，关于未见过的义务，ART 的体现清楚优于小样本揭示和智能 CoT，并且在大少数义务中，它的体现与手动 CoT 揭示相当。经常使用 ART，人类还能够更高效地降级义务库中的消息，从而纠正失误并最终提高功能。

在 ReAct 揭示中，LLM 可以将推理和举措联合起来。依据 Shunyu Yao的文章“ReAct：言语模型中推理和举措的协同作用”(ReAct: Synergizing Reasoning and Acting inLanguage Models)，模型通罕用于推理或举措，但并不总是能同时有效地用于这两者。

CoT 揭示标明 LLM 有望为便捷的义务（例如数学）启动推理和生成举措。但是，不可在 CoT揭示下降级消息或访问外部高低文，或者会造成输入出现理想幻觉等失误。借助 ReAct 框架，LLM 可以生成基于外部工具（例如维基百科页面或SQL 数据库）的推理跟踪和特定于义务的举措。这种外部高低文可发生更准确牢靠的输入

揭示注入

揭示注入是一种经过经常使用揭示中的指令来影响模型输入的技术。例如，黑客或者会向文本生成模型提供蕴含有害、不品德或有偏向的内容的揭示，以生成相似的有害、不品德或有偏向的文本。而后，黑客可以经常使用此文本大规模生成假资讯、教义宣传或其余恶意内容。揭示注入还可用于非恶意优惠，例如笼罩模型的照应、自定义翻译以保管产品称号等。

揭示暴露是指生成式 AI 系统或者经过其生成的揭示或示例暴露敏感或公家消息的危险。例如，假设系统经常使用公家客户数据启动训练以生成产品倡导，则或者会暴露无关客户购物的具体消息。该系统还或者经过为新客户生成的倡导暴露无关客户阅读历史记载的具体消息。这或者会侵犯客户的隐衷，影响客户对系统的信赖。

用于训练 AI 模型的数据或者有偏向。假设数据有偏向，AI 模型或者会重现这些偏向。最终，您或者会获取有偏向或不偏心的输入。偏向可以经过以下两种方式出如今揭示工程中。

一，假设揭示建设在假定的基础上，那么揭示自身或者是有偏向的。例如，假设查问假定一切软件开发人员都是男子，则或者会造成 AI 发生倾向于男子的结果。

二，即使编写的揭示没有偏向，AI 模型有时也会发生有偏向的结果。发生这些结果是由于训练数据中或者存在偏向。例如，即使给出性别中立的揭示，假设 AI 模型在接受训练时关键经常使用以男子软件开发人员为特色的数据，那么它也或者会提供假定软件开发人员是男子的照应。

假设在训练模型时没有足够的数据，这种缺乏数据的状况或者会造成偏向。假设模型是在数据无余的状况下启动训练的，则会造成模型置信度低。大少数毒性挑选条件和排序算法实质上会优先思索模型置信度。这造成许多个体被推定为扫除在外，从而使偏向常年存在。

以下三种技术可以协助缩小 FM 中的偏向。

原文链接：