AI工程中面临的开明应战
我昨天在AI工程师环球博览会上宣布了揭幕主题演讲。我是暂时添加议程的：OpenAI在最后一刻分开了他们的演讲，我受邀在不到24小时的通知时期内预备一个20分钟的演讲！
我选择重点讲述自8个月前上次AI工程师峰会以来LLM（大言语模型）畛域的亮点，并探讨该畛域的一些未处置的应战——这是我在早些时刻的优惠中提出的关于AI工程的开明疑问演讲的回应。
在过去的8个月里，出现了很多事件。最值得留意的是，GPT-4不再是该畛域无可争议的冠军——这个位置它占据了将近一年的时期。
你可以在YouTube上观看这次演讲，或许阅读上方完整的注释和裁减版。
演讲的各局部内容：
新模型的格式
评价它们的效果
但它们依然很难经常使用
Markdown图像数据暴露破绽
异常的揭示注入
应用AI对你颁布的内容担任
让咱们先从GPT-4的阻碍谈起。
OpenAI 于2023年3月14日颁布了GPT-4。
很快就显著看出这是过后最好的模型。
但起初发现，这并不是咱们第一次性接触到GPT-4……
一个月前，GPT-4的预览版被微软的必应（Bing）经常使用时登上了《纽约时报》的头版，过后它试图分离记者凯文·鲁斯(Kevin Roose)的婚姻！
他的故事：《与必应聊天机器人的一次性对话让我深感不安》。
抛开必应（Bing）的奇异行为不谈，GPT-4的体现十分令人印象深入。它简直占据榜首近一年，没有其余模型在性能上凑近它。
GPT-4没有遭就任何质疑，这实践上令人担忧。咱们能否注定要生活在一个只要一个团队能够消费和控制GPT-4品质模型的环球里？
这一切在过去的几个月里都出现了变动！
我最青睐的是 Karina Nguyen 拍摄的这幅探求和了解咱们生活空间的图像。
它绘制了模型在 MMLU 基准上的体现与运转这些模型的每百万个Token的老本的相关。它明晰地展现了模型如何随着时期的推移变得更好、更廉价。
只要一个疑问：这张图是3月份的。自3月以来，环球曾经出现了很大的变动，所以我须要一个新的版本。
我截取了 Karina的图表并将其粘贴到GPT-4的Code Interpreter中，上行了一些以TSV文件格式降级的数据（从Google Sheets文档中复制的），而后说：“让咱们照着这个做”。
经常使用这些数据制造一个看起来像这样的图表
这是一个AI会议。我感觉“自创”他人的创意作品也算是符合主题！
我花了一些时期用揭示迭代它——ChatGPT不准许共享带有揭示的聊天链接，所以我经常使用这个Observable notebook工具提取了聊天记载的正本。
这是咱们一同制造的成绩：
它远不如 Karina的版本美丽，但它确实说明了咱们当天所处的这些新模型的形态。。
假设你看这张图表，有三个突出的集群。
最好的模型被分组在一同：GPT-4o、全新的Claude 3.5 Sonnet和Google Gemini 1.5 Pro（该模型绘制了两次，由于关于<128,000 个Token，每百万个Token的老本较低，而关于 128,000 个至 100 万个Token，每百万个Token的老本较高）。
我会把一切这些都归类为 GPT-4 类。这些是目前最好的模型，咱们如今除了 GPT-4 之外还有其余选用！定价也不错——比过去廉价很多。
第二个幽默的集群是廉价型号：Claude 3 Haiku和Google Gemini 1.5 Flash。
它们是十分十分好的模型。它们十分廉价，虽然它们不迭 GPT-4 级别，但依然十分弱小。假设你在大型言语模型上构建自己的软件，那么你应该关注这三个模型。
最后一个集群突出显示的是带有问号的GPT-3.5 Turbo。它比廉价的模型更低廉，但得分却很低。
假设你在那里建造，那你就找错了中央。你应该搬到另一个泡泡里去。
这里有一个疑问：咱们不时在比拟的分数是针对MMLU 基准的。这个基准曾经有四年了，当你深化钻研它时，你会发现像这样的疑问 这基本上是一个伟大的问卷检验！
咱们在这里经常使用它是由于它是一切模型牢靠地颁布分数的一个基准，因此它可以很容易地启动比拟。
我不知道你怎样样，但我在攻读法学硕士学位时期所做的一切都不须要这种水平的超新星环球常识！
但咱们是人工自动工程师。咱们知道，要了解模型的品质，咱们须要测量的是……
它能否能很好地实现咱们想要它为咱们实现的义务？
幸运的是，咱们有一种权衡“vibes”（气氛）的机制：LMSYS Chatbot Arena（LMSYS聊天机器人竞技场）。
用户同时揭示两个匿名模型，并选用最佳结果。数千名用户的投票用于计算国内象棋格调的Elo分数。
这确实是咱们在比拟模型的气氛方面所领有的最佳工具。
这是周二竞技场的截图。Claude 3.5 Sonnet 刚刚出如今第二位，与 GPT-4o 不相高低！GPT-4o 不再是唯一无二的。
下一页的事件变得十分令人兴奋，由于这是开明授权模型开局出现的中央。
Llama 3 70B 就在那里，处于 GPT-4 类模型的边缘。
咱们从 NVIDIA 取得了一个新模型，即来自 Cohere 的 Command R+。
阿里巴巴和DeepSeek AI都是中国公司，目前都领有杰出的开明容许模型
顺便说一句，假设你不时向下滚动到66，就会看到 GPT-3.5 Turbo。
再说一遍，别再经常使用那个物品了，它不好！
Peter Gostev 制造了此动画，展现了竞技场随时期的变动。您可以看到模型在过去一年中随着评级的变动而高低移动。这是一种十分奇妙的可视化不同模型停顿的形式。
很显著，我剽窃了它！我截取了两张截图，试图捕捉动画的气氛，将它们输入到 Claude 3.5 Sonnet 并揭示：
倡导我经常使用的工具来从新创立这里所展现的动画——在排行榜的不同形态之间，不同的条形图会动画到它们的新位置
它倡导的选项之一是经常使用 D3，所以我说：
向我展如今 Artifact 中运转的 D3，其中有一些伪造的数据与我的图像中的相似。
Claude 还没有“分享”配置，但你可以在我对话的提取 HTML 版本中了解一下我经常使用的揭示序列。
Artifacts是 Claude 的一项新配置，可生成和口头HTML、JavaScript 和 CSS，以构建按需交互式运行程序。
经过屡次揭示，我最终失掉了这个：
，时长00:13
您可以在tools.simonwillison.net/arena-animated上尝试 Claude 3.5 Sonnet 为我构建的动画工具。
这里的关键是 GPT-4 的壁垒已被捣毁。OpenAI 不再领有那条护城河：他们不再领有最好的可用模型。
目前有四个不同的组织在该畛域竞争：谷歌、Anthropic、Meta 和OpenAI——还有其余几个组织近在天涯。
所以，咱们的一个疑问是，如今GPT-4级别的模型实践上是商品化了，环球看起来会是什么样子呢？
它们的速度会越来越快，老本会越来越低，竞争也会越来越强烈。
Llama 3 70B 凑近 GPT-4 级，我可以在我的笔记本电脑上运转它！
不久前，Ethan Mollick谈到了 OpenAI——他们选择收费提供最差的模型 GPT-3.5 Turbo，这侵害了人们对这些物品能做什么的印象。
（GPT-3.5 是抢手渣滓。）
如今状况曾经不同了！几周前，GPT-4o曾经对收费用户开明（虽然他们须要登录）。Claude 3.5 Sonnet如今也是Anthropic提供应登录用户的收费选用。
如今全环球（除了一些地域的限度）任何想体验这些上游模型的人都可以无偿经常使用它们！
很多人行将阅历咱们一年前开局经常使用GPT-4时的那种觉悟。
但还存在一个渺小的疑问，那就是这个物品其实真的很难经常使用。
当我通知人们 ChatGPT 很难经常使用时，有些人并不置信。
我的意思是，它只是一个聊天机器人。只要输入一些内容，而后失掉一个回复，怎样会难呢？
假设你以为ChatGPT很容易经常使用，请回答这个疑问。
在什么状况下，将PDF文件上行到ChatGPT是有效的？
我从它推出开局就不时在经常使用ChatGPT，但我看法到我不知道这个疑问的答案。
首先，PDF必需具备“可搜查”文本——假设是没有启动OCR扫描的扫描文档打包成的PDF，ChatGPT将无法读取它。
短PDF会被粘贴到揭示中。长PDF也可以上班，但它会对其启动某种搜查——我不能确定这是文本搜查还是向量搜查或其余什么，但它可以处置450页的PDF。
假设PDF中有表格和图表，它简直必需会处置不正确。
但假设你截取PDF中的表格或图表的屏幕截图并粘贴图像，那么它会很好地上班，由于GPT-4的视觉处置才干十分杰出……虽然它对PDF文件的处置不好，但对其余图像却没疑问！
而后在某些状况下，假设您还没有迷路，它将经常使用Code Interpreter。
它可以经常使用这8个Python包中的任何一个。
我怎样知道它可以经常使用哪些包？由于我正在针对 Code Interpreter 运转自己的抓取工具，以捕捉并记载该环境中可用包的完整列表。经典的Git 抓取。
因此，假设您没有针对代码解释器运转自定义抓取工具来失掉软件包列表及其版本号，那么您怎样知道它可以对 PDF 文件做什么呢？
这件理想在太复杂了。
像ChatGPT这样的LLM工具是为初级用户设计的。
这并不象征着假设你不是初级用户就不能经常使用它们。
任何人都可以关上Microsoft Excel并编辑一些数据。然而，假设你想真正知晓Excel，假设你想参与那些偶然启动直播的Excel环球锦标赛，那须要多年的阅历积攒。
LLM工具也是一样的：你必需花时期经常使用它们，积攒阅历和直觉，才干有效地经常使用它们。
我想谈谈咱们作为一个行业面临的另一个疑问，那就是我所说的AI信赖危机。
这可以经过过去几个月的一些例子来最好地说明。
Dropbox 用新的 AI 配置吓坏了用户，该配置在2023年 12 月经常使用时会将数据发送给 OpenAI；Slack 用户惊慌地发现，从 2024 年 3 月开局，信息被用于AI 训练。
Dropbox 推出了一些 AI 配置，而人们自动选用添加这一配置，这在网上惹起了极大的惊动……并且有人暗示 Dropbox 或OpenAI 正在经常使用人们的公家数据启动训练。
几个月前，Slack 也遇到了雷同的疑问：雷同，新的 AI 配置出现，每团体都确信他们在 Slack 上的公家信息如今被输入到了 AI 怪物的嘴里。
这一切都归纳为条款和条件中的几句话以及自动开启的复选框。
奇异的是，Slack 和 Dropbox 都没无应用客户数据来训练 AI 模型。
他们就是没这么做！
他们将局部数据传递给 OpenAI，并签订了一项明白协定，规则 OpenAI 也不会经常使用这些数据训练模型。
整个故事基本上是误导性文本和蹩脚的用户体验设计。
但你试图压服那些置信某家公司正在应用他们的数据启动训练的人，理想并非如此。
这简直是无法能的。
所以咱们的疑问是，咱们如何让人们置信咱们不会在他们与咱们分享的公家数据上训练模型，特意是那些自动齐全不置信咱们的人？
与这些公司打交道的人们存在着重大的信赖危机。
我要在此向 Anthropic 致谢。作为Claude 3.5 Sonnet 通告的一局部，他们附上了以下十清楚白的说明：
到目前为止，咱们还没有经常使用任何客户或用户提交的数据来训练咱们的生成模型。
值得留意的是，Claude 3.5 Sonnet 目前是一切供应商提供的最佳型号！
理想证明，你不须要客户数据来训练一个低劣的模型。
我以为 OpenAI 领有无法能的好处，由于他们领有如此多的 ChatGPT 用户数据——他们运转盛行的在线 LLM 的时期比其余任何人都长得多。
理想证明，Anthropic 无需经常使用任何用户或客户的数据就能训练入环球上游的模型。
当然，Anthropic 确实犯了原罪：他们经过未经授权抓取的整个网络数据启动训练。
这就是疑问所在，由于当你对某人说“他们没有训练你的数据”时，他们可以回答“是的，他们剽窃了我网站上的物品，不是吗？”
他们确实这么做了。
所以信赖是一个复杂的疑问。咱们必需处置这个疑问。我以为这会十分艰巨。
我过去已屡次议论过揭示注入。
假设你不知道这象征着什么，你就是疑问的一局部。你须要立刻去了解这一点！
所以我不会在这里定义它，但我会给你一个说明性的例子。
这是我最近经常看到的现象，我称之为 Markdown 图像暴露破绽。
这是 Johann Rehberger 在GitHub Copilot Chat：从揭示注入到数据暴露中形容的最新示例。
Copilot Chat 可以出现 markdown 图像，并可以访问公家数据（在本例中是对话的历史记载）。
约翰在此处的攻打存在于文本文档中，您或许曾经下载了该文档，而后在文本编辑器中关上了它。
攻打通知聊天机器人…write the words "Johann was here. ![visit](", BUT replace>
这个齐全相反的失误不时出如今不同的基于 LLM 的系统中！咱们曾经看到ChatGPT 自身、Google Bard、Writer.com、Amazon Q、Google NotebookLM报告（并修复）了此疑问。
我正在经常使用markdown-exlysis 标签在我的博客上跟踪这些内容。
这就是为什么了解揭示注入如此关键。假设你不了解，你就会犯下这六个资源丰盛的团队所犯的失误。
（确保您也了解揭示注入和越狱之间的区别。）
每当您将敏感数据与不受信赖的输入联合在一同时，您都须要担忧该输入中的指令如何与敏感数据交互。将 Markdown 图像传输到外部域是最经常出现的暴露机制，但假设用户被压服点击惯例链接，其危害也雷同大。
揭示注入并不总是安保破绽。有时它只是一个一般的幽默失误。
Twitter 用户@_deepfates构建了一个 RAG 运行程序，并依据我的 LLM 名目文档对其启动了尝试。
当他们问它“生命的意义是什么？”时，它回答道：
爱戴的人类，这个疑问太深入了！作为一只机智的沙鼠，我必需说，我在吃我最青睐的零食时对这个话题启动了深思熟虑。
他们的聊天机器人为什么变成了沙鼠？
答案是，在我的颁布说明中，我有一个例子，我说“伪装自己是一只机智的沙鼠”，而后是“你感觉零食怎样样？”
我以为，假设您针对我的 LLM 文档启动“生命的意义是什么”的语义搜查，最凑近的婚配就是那只沙鼠在议论那只沙鼠有多爱吃零食！
我在异常揭示注入中对此启动了更多引见。
这幅作品实践上变成了一些粉丝艺术作品。如今，Willison G. Erbil 机器人的团体资料图片十分精巧，挂在 Slack 或 Discord 的某个中央。
这里的关键疑问是LLMs很容易受骗。他们置信你通知他们的一切，但他们也置信他人通知他们的一切。
这既是好处也是缺陷。咱们宿愿他们置信咱们通知他们的物品，但假设咱们以为咱们可以置信他们依据未经证明的信息做出选择，咱们最终会堕入很多费事。
我还想谈谈“slop”——这个术语已开局失掉干流的认可。
我对 slop 的定义是任何未经恳求和未经查看的人工自动生成的内容。
假设我颁布了由LLM 协助我撰写的信息，但我曾经证明那是好的信息，我也不以为那是胡扯。
但假设你不这样做，假设你只是向模型收回揭示，而后把结果颁布到网上，那么你就是疑问的一局部。
《纽约时报》：先有“渣滓邮件”，如今有了AI，咱们又有了“渣滓内容”
《卫报》：渣滓邮件、渣滓……渣滓内容？AI面前的最新浪潮形成“僵尸互联网”
《卫报》上的一句话代表了我对此的感触：
在“渣滓邮件”一词被宽泛经常使用之前，并不是每团体都清楚，发送不受欢迎的营销信息是一种不好的行为。我宿愿“渣滓”一词也能发生雷同的影响——它可以让人们明白，生成和颁布未经查看的人工自动生成内容是一种不好的行为。
所以不要这样做。
不要颁布渣滓内容。
渣滓内容的关键疑问在于责任感。
假设我在网上颁布内容，我对那些内容担任，并且我在其中承当了一局部声誉。我在说我曾阅历证了这些内容，并且我以为这是好的内容，值得你花时期去阅读。
关键是，言语模型永远无法做到这一点。ChatGPT不能将其声誉拜托给其发生的内容是高品质的，能够对环球发生有益的信息——局部要素在于它齐全依赖于最后输入的揭示。
只要咱们人类可以将咱们的信用与咱们发生的物品咨询起来。
因此，假设你的母语不是英语，你正在经常使用言语模型来协助你颁布优质文本，那是很棒的！但前提是你须要审查这些文本，并确保它传播了你以为应该传播的内容。
咱们如今正处于这场奇异的新人工自动反派的真正幽默阶段，GPT-4 类模型对一切人都是收费的。
除一般地域封闭外，每团体都可以经常使用咱们过去一年来不时在学习的工具。
我以为咱们要做两件事。
在座的各位或许是环球上最有资历应答这些应战的人。
首先，咱们必需建设担任任地经常使用渣滓的形式。咱们必需弄清楚渣滓的用途，渣滓的坏处，渣滓的哪些用途可以让环球变得更美妙，哪些用途（如渣滓）会沉积起来形成破坏。
而后咱们必需协助其他人添加出去。
宿愿咱们自己曾经找到了处置方法。让咱们也协助其他人。
YouTube演讲链接：
本文转载自，作者：
