谷歌 Gemini Scalin 通用机器人 畅谈 超级人工智能 Hassabis Law CEO DeepMind 大模型开源

OpenAI的 Sora 又一次性出圈，掩盖其它新的 AI 产品的矛头，包括简直同期颁布的Google 的 Gemini 1.5 和 Meta 的 V-JEPA。很多 AI 从业者为此大抱不平，宣称 “被Sora夺走风头的 Gemini 被低估了！” 特意是 Google 这次推出的 Gemini 1.5 Pro 是一种多模态大模型（触及文本、视频、音频），性能水平与谷歌迄今为止最大的模型 1.0 Ultra 相似，并引入了长高低文了解方面的打破性实验特色。它能够稳固处置高达 100 万 Tokens（相当于1小时的视频和超越 3 万行代码），且极限为1000万 Tokens（相当于《指环王》三部曲），创下了最长高低文窗口的纪录。

近期，Gemini 面前的推手 Google DeepMind 的 CEO Demis Hassabis 高调地接受了驰名的科技播客掌管人 Dwarkesh Patel 的深度专访，从 AlphaGo，AlphaFold, RT-2, 聊到 Gemini，意犹未尽地爆料很多圈内特意是 DeepMind 面前的故事。他坦率地回答了一系列大家关心的疑问，包括 Scaling-Law 为什么是一种艺术方式？Gemini 是怎样训练的？为什么要求在大型言语模型之上参与搜查、布局和 AlphaZero 类型的训练？既然大模型有规模长处，为什么训练 Gemini 模型的规模不再参与一个量级？为什么机器人学习训练数据贫乏是一种时机？怎样看待大模型的开源？怎样确保好人不可窃取大模型的权重？怎样保证超级智能人工智能的对齐方式正确，并成功智能爆炸？什么要素让他兴奋地预测 AGI (通用人工智能) 离咱们只要不到十年了？如需转载，请咨询咱们（ID：15937102830）。

这是我与谷歌 DeepMind CEODemis Hassabis的一集节目。

咱们探讨了：

- 智能的实质

- LLMs 上的强化学习

- scaling和对齐

- 期间线和智能爆炸

- Gemini 训练

- 超级人工智能的控制

- 权重、开明源代码和安保性

- 多模态的进一步停顿

- 走进谷歌 DeepMind

智能的实质

Dwarkesh：好的。当天，能够与DeepMind CEO Demis Hassabis启动交换，真是一种真正的荣幸。Demis欢迎到来这个播客节目。​

Demis：谢谢约请。

Dwarkesh：首先疑问是，思索到你的神经迷信背景，你是如何思索智能的？详细来说，你以为智能是一个更初级的通用推理电路，还是不可胜数个独立的子技艺和启示式的组合？​

Demis：嗯，这很幽默，由于智能是如此宽泛，咱们经常使用它的方式又是如此普遍。我以为这标明，大脑处置咱们周围环球的一些初级共同的物品，或许有一些共同的算法主题。当然，大脑中还有专门做特定事件的局部，但我以为或许有一些潜在的准则撑持着一切这些。​

Dwarkesh：是的。但是，在这些LLM 中，当你在任何特定畛域提供少量数据时，它们往往在该畛域中取得了不对称的改善。咱们不应该希冀在一切不同畛域都有一种普遍的改良吗？​

Demis：首先，我以为当你在特定畛域中取得提高时，有时确实会在其余畛域取得令人惊讶的改善。所以，例如，当这些大型模型在编码方面取得提高时，这实践上可以改善它们的普通推理才干。因此，有一些证据标明有一些转移。但雷同，这也是人类大脑学习的方式。假设咱们体验和练习了很多象棋或写作，或许其余任何物品，咱们也偏差于专门化并在特定畛域变得更好，虽然咱们经常使用的是普通的学习技术和普通的学习系统来在该畛域变得出色。​

Dwarkesh：是的。关于你来说，最令人惊讶的这种转移的例子是什么？比如你能否看到言语和代码，或许图像和文本之间的改良？​

Demis：是的，我以为或许是的。我宿愿咱们将看到更多这种转移，但我以为像在编码和数学方面变得更好，而后总体上改良你的推理才干。这就是咱们作为人类学习者的方式。但我以为看到这些人工系统中出现这种状况是很幽默的。​

Dwarkesh：你能否看到某种机械方式，比如在言语和代码的例子中，有一个在神经网络中同时对言语和代码都有所改善的中央？还是说这个疑问太复杂了？​

Demis：是的，我以为咱们的剖析技术还不够成熟，不可专一于这一点。我以为这实践上是要求启动更多钻研的畛域之一，即对这些系统构建的示意启动机械性剖析。我有时刻青睐称之为虚构大脑剖析。在某种水平上，这有点像对实在大脑启动 fMRI 或单细胞记载。关于这些人工智能的相似剖析技术是什么？在这方面有很多很棒的上班正在启动。像 Chris Olah 这样的人，我真的很青睐他的上班。还有很多计算神经迷信的技术，我以为可以用来剖析咱们正在构建的这些系统。理想上，我试图激励很多我的计算神经迷信好友开局朝着这个方向思索，并将他们的专业常识运行于这些大型模型。​

Dwarkesh：是的。在你的神经迷信背景下，其他人工智能钻研人员对人类智能的了解中有些什么不明白的，而你却有一些见地？​

Demis：我以为神经迷信曾经做出了很大的奉献。假设你回忆一下过去大约 10-20 年，至少咱们曾经在此畛域上班了这么常年间了，而我自己曾经思索了 30 多年。我以为在人工智能新浪潮的早期阶段，神经迷信提供了许多幽默的方向性线索。例如，将强化学习与深度学习结合起来。咱们做过的一些开创性上班，比如阅历回放，甚至是留意力的概念，这些都变得十分关键。很多最后的灵感都来自对大脑如何上班的一些了解，当然，并非详细细节，一个是工程系统，另一个是人造系统。因此，这并不是关于详细算法的逐一对应映射，而更多地是一种启示性的方向，兴许是一些关于架构、算法或表征性思想的想法。由于你知道，大脑是普通智能或许性的理想证实。我以为人类致力的历史就是一旦你知道某事是或许的，就更容易朝着那个方向致力，由于你知道这只是一个致力的疑问，而不是一个能否的疑问。这使得你能够更快地取得提高。所以我以为，至少在某种水平上，神经迷信激起了咱们当天的很多思索。但是在行进方面，我以为依然有很多幽默的事件要求处置，尤其是关于布局。大脑如何构建正确的环球模型？例如，我钻研了大脑如何启动构想，或许你可以将其视为心思模拟。那么，咱们如何创立丰盛的视觉空间模拟环球，以便咱们更好地启动布局？​

RL 在LLMs 之上

Dwarkesh：是的，实践上，我很猎奇你如何以为这将与 LLMs 交互。显然，DeepMind 处于前沿，多年来不时是如此，领有诸如 AlphaZero 等系统，这些系统可以思索不同的步骤以到达一个目的。LLMs 能否有或许成功这种树搜查的方式？你是如何思索这个疑问的？​

Demis：在我看来，我以为这是一个十分有出路的方向。所以咱们必定继续改良大型模型，必定继续使它们成为对环球愈加准确的预测器。因此，实践上，这象征着使它们更牢靠的环球模型。这显然是 AGI 系统的一个必要组成局部，但我以为或许不是足够的组成局部。而后在此基础上，咱们正在钻研诸如 AlphaZero 等布局机制，应用该模型制订详细的方案，以成功环球上的某些目的，并且或许将思想链或推理线衔接在一同，并且或许经常使用搜查来探求或许性的大空间。我以为这在咱们的大型模型中是缺失的。​

Dwarkesh：你如何超越这种方法通常要求的渺小计算量？所以即使 AlphaGo 系统也是一种相当低廉的系统，由于你必定在树的每个节点上运转一个 LLM。你估量这将如何变得愈加高效？​

Demis：一个方面是摩尔定律往往会有所协助。每年，当然会参与更多的计算量，但咱们专一于高效的、样本高效的方法，并从新应用现有数据，比如阅历回放，还有只是寻觅更有效的方法。我的意思是，你的环球模型越好，你的搜查就越有效。所以，我总是拿 AlphaGo 举个例子，咱们的系统可以下围棋、国内象棋和任何游戏，它在一切这些游戏中都比环球冠军级别的人类选手弱小，并且经常使用的搜查比蛮力方法（如 Deep Blue）要少得多，比如说下国内象棋。传统的蛮力系统，比如 Deep Blue，或许会审核每个决策或许的移动数百万次。AlphaGo 大约只审核了数万个或许的位置，以便选择下一步该移动什么。但是，人类巨匠、环球冠军或许只会看几百个移动，甚至是顶尖的移动，以便做出他们十分好的选择。所以这标明，显然，蛮力系统除了关于游戏的启示式之外，没有任何真正的模型。AlphaGo 具备相当不错的模型，但是顶尖的人类选手对围棋或国内象棋有更丰盛、更准确的模型。因此，这使他们能够在十分少的搜查中做入环球级的选择。所以我以为存在一种掂量。假设你改良模型，那么我以为你的搜查可以更有效，因此你可以在搜查中取得更大的停顿。​

Dwarkesh：是的，我有两个基于此的疑问。首先是关于 AlphaGo，你有一个十分详细的赢得条件，就是最终我能否赢得了这场围棋较量？你可以在此基础上启动强化。当你只是思索一个 LLM 提出的想法时，你以为最终会有这种才干来辨别，能否这是一个值得处罚的善报件？​

Demis：当然，这就是为什么咱们独创，并且 DeepMind 以经常使用游戏作为验证场地而知名，局部要素是显然在这个畛域启动钻研是高效的。但另一个要素显然是，很容易指定一个处罚函数，赢得游戏或提高分数之类的物品通常内置在大少数游戏中。因此，这是实在环球系统的应战之一，如何定义正确的目的函数、正确的处罚函数和正确的目的，并以一种通用但足够详细的方式指定它们，并实践上将系统引向正确的方向。关于实在环球的疑问，这或许要艰巨得多。但实践上，假设你思索一下，即使在迷信识题中，通常也有一些你可以指定的目的。​

Demis：是的，好吧，我以为状况是不同的，由于咱们的大脑并不是为了启动蒙特卡罗树搜查而构建的，对吧？这不是咱们的无机大脑的上班方式。因此，我以为为了补偿这一点，像爱因斯坦这样的人就会发生，他们的大脑应用了他们的直觉，咱们兴许谈判到直觉是什么，但是他们应用了他们的常识和阅历来构建极端准确的模型，就爱因斯坦而言，包括这些心思模拟。我以为假设你读一读爱因斯坦是如何想出这些物品的，他过去会启动可视化，并且真正地感触这些物理系统应该是什么样子，不只仅是数学，而是对它们无理想中或许是什么样子有了一种直观的觉得。这使得他能够想到这些过后十分奇怪的想法。因此，我以为咱们正在构建的环球模型的复杂性，假设你构想一下，你的环球模型可以将你带到你正在搜查的树中的某个节点，而后你只要在那个叶节点周围做一点点搜查，这会带你到这些原始的中央。但是显然，假设你的模型和你对该模型的判别十分好，那么你就可以更准确地选用应该用搜查扩展的叶节点。因此，总体来说，你会启动更少的搜查。我的意思是，没有任何人能够对任何关键的空间启动蛮力搜查。​

Dwarkesh：是的。一个关键的开明性疑问是，RL 能否会使这些模型应用自我对弈的分解数据来克制数据瓶颈。听起来你对此持失望态度。​

Demis：是的，我对此十分失望。首先，我以为还有更多的数据可以经常使用，特意是假设思索到多形式、视频等等。显然，社会不时参与更多的数据。但我以为有很多或许性可以发明分解数据。咱们正在以不同的方式启动钻研，局部是经过模拟，例如经常使用十分真切的游戏环境来生成真切的数据，但也包括自我对弈。这是系统相互作用或相互交换的中央，在某种水平上，对咱们来说效果十分好，比如 AlphaGo 和 AlphaZero，咱们让系统相互对弈，并从彼此的失误中学习并积攒常识。我以为有一些很好的类比。这有点复杂，但要构建一个普遍的环球。​

Dwarkesh：数据，你如何使这些模型发生的分解数据不只仅是他们曾经在数据集中领有的物品的更多，而是一些他们以前没有见过的物品，你知道我是什么意思吗？以实践改善才干。​

Demis：是的。所以，在这方面，我以为要求整个迷信，我以为咱们仍处于起步阶段，即数据筹划和数据剖析。因此，实践上剖析你的数据散布中存在的破绽是关键的，这关于偏心性、成见和其余事项至关关键。从系统中去除这些是尝试确保你的数据集代表了你试图学习的散布的关键手腕。而且有许多技巧可以经常使用，比如加权或重播数据的某些局部。或许你可以构想，假设你确定了数据集中的某些空白，那么就可以应用你的分解生成才干来填补这些空白。​

Dwarkesh：是的。如今人们正在关注DeepMind 多年前做过的 RL 方面的物品。有没有早期的钻研方向或许是以前做过的事件，但人们只是没无关注的，你以为会成为关键的事件？​

Demis：对。​

Dwarkesh：就像有一段期间人们没有留意到扩展。如今有什么是齐全被低估的吗？​

Demis：实践上，我以为过去几十年来的历史不时是事物时而盛行，时而不盛行。我觉得大约五年前，当咱们初次经常使用 AlphaGo 启动开拓时，甚至在那之前，经常使用 DQN 启动开拓时，这是第一个在 Atari 上上班的系统，咱们的第一个大型系统，如今曾经超越十年了，它扩展了 Q 学习和强化学习技术来处置。将其与深度学习相结合，创立深度强化学习，而后经常使用它来扩展到成功一些相当复杂的义务，比如仅仅经过像历来玩 Atari 游戏。我实践上以为很多这些想法要求再次回来。正如咱们之前探讨的那样，将其与新的大型模型和大型多形式模型的新停顿结合起来，这显然也十分令人兴奋。因此，我以为有很多后劲将一些旧想法与新想法结合起来。​

Dwarkesh：能否有或许，AGI 最终会来自某个中央？仅仅是一个纯正的 RL 方法。从咱们探讨的方式来看，听起来 LLM 将构成正确的先验常识，而后在其上启动这种树搜查。还是齐全或许，齐全没有先验常识、没有数据，齐全从头开局建设一切常识？​

Demis：从实践上讲，我以为没有理由不去养精蓄锐。谷歌 DeepMind 这里有一些人，以及 RL 社区的一些人在做这方面的上班，齐全不思索先验常识、没有数据，只是从头开局建设一切常识。我以为这是有价值的，由于当然，这些想法和算法也应该实用于当你领有一些常识时。但话虽如此，我以为大略我的打赌是，到达 AGI 的最快方式，最有或许的正当方式是应用环球上关于诸如网络之类的常识，咱们曾经搜集到的常识，以及咱们有这些可扩展的算法，比如 transformers，能够摄取一切这些信息。我不明白为什么你不会从一个模型开局作为一种先验，或许作为一个用来建设和预测的终点。我只是以为不应用这一点是没有情理的。因此，我的打赌是最终的 AGI 系统将把这些大型多模态模型作为全体处置方案的一局部，但或许仅仅依托它们自身是不够的。你要求在其上启动额外的布局搜查。​

Scaling 和对齐

Dwarkesh：好的，这听起来像是我行将问的疑问的答案，我的疑问是，作为一个常年从事这个畛域的人，见证了不同的趋向的兴起和败落，你能否以为强版本的扩展假定是正确的，以及它哪些方面是失误的？就是你只要要在宽泛的数据散布上投入足够的计算资源，你就能失掉智能。

Demis：是的。看，我以为这如今是一个阅历性的疑问。所以我以为关于简直一切人来说，包括最早钻研扩展假定的人，它的开展到了何种水平是相当令人惊讶的。在某种水平上，我看着当天的大型模型，我以为它们简直是不正当地有效。我以为一些属性令人惊讶，比如，显著地，在我看来，它具备某种方式的概念和形象等物品。我以为，假设咱们是在五年前以上议论，我会通知你，兴许咱们要求一种额外的算法打破才干做到这一点。兴许更像大脑的上班方式。我以为假设咱们想要明白的形象概念，像是明晰的概念，那么这依然是正确的，但仿佛这些系统可以隐含地学习到这一点。另一个十分幽默的，我以为是预料之外的事件是，即使这些系统没有多形式地体验环球，或许至少直到最近，当咱们领有多模态模型时。从言语中建设信息和模型的数量是令人惊讶的。我想我对为什么会这样有一些假定。我以为咱们经过RLHF反应系统取得了一些基础，由于显然，人类的评价者依据定义是有基础的人。咱们都根植于理想。因此，咱们的反应也是基于理想的。因此，兴许经过这种方式来取得一些基础。兴许言语蕴含更多的基础，假设你能够摄取一切的话，那么比咱们之前以为的，或许言语学家之前以为的，要多。因此，这实践上是一些十分幽默的哲学识题。人们甚至还没有真正触及外表。看到曾经取得的提高，构想下一步会走向何方是相当幽默的。但就你关于大型模型的疑问而言，我以为咱们必定尽或许地推进扩展，这也是咱们目前正在做的。这是一个阅历性的疑问，它能否会到达一个渐近点或许一个砖墙，不同的人对此有不同的争执。但实践上，我以为咱们应该去测试。我以为没有人知道。但与此同时，咱们也应该加倍翻新和发明。这是谷歌钻研、DeepMind 和谷歌大脑，咱们在过去的十年里开创了许多物品的基本上班。这是咱们的传家宝。你可以把咱们一半的上班看作是做扩展，一半的上班是发明下一个架构、下一个算法，这些将是必需的，知道你有这个规模越来越大的模型正在到来。所以我如今的打赌，但这是一个宽松的打赌，是你两者都要求。但我以为你必定尽或许地推进两者。咱们处于一个幸运的位置，咱们可以这样做。​

Dwarkesh：是的。我想再问一下关于基础的疑问。你可以构想两件事件或许会扭转，这会使基础愈加艰巨。一个是随着这些模型变得愈加智能，它们将能够在咱们不可生成足够的人类标签的畛域中运作，仅仅由于咱们不够痴呆。对吧。所以假设它做了一百万行的拉取恳求，咱们如何通知它？像这是在咱们品德和咱们想要的最终目的的解放之内，而这不是。另一个是，听起来你是在说更多的计算资源。到目前为止，咱们不时在启动下一个标志的预测，从某种意义上说，它是一种防护，由于你必定像人类一样谈话和思索。如今，假设额外的计算资源将以强化学习的方式出现，那么就像到达目的一样，咱们真的不可追踪你是如何做到的。当这两者结合在一同时，你对基础隐没的担忧有多大？​

Demis：好吧，看，我以为假设没有失掉适当的基础，系统就不可正确地成功这些目的。对吧。我想，在某种水平上，你必定具备这种基础，或许至少有一些，才干使系统实践上无理想环球中成功目的。我实践上以为，随着这些系统和 Gemini 等系统变得愈加多模态，咱们开局摄取诸如视频和视听数据以及文本数据之类的事物，而后系统开局将这些事物咨询起来。我以为这是一种适当的基础。我以为咱们的系统将开局更好地理解理想环球的物理学。​

而后，人们可以构想，踊跃版本就是处于一个十分真切的模拟或游戏环境中，你开局学习你的行为对环球的影响以及如何影响环球自身。环球坚持不变，但也会影响你下一个学习片段的内容。因此，咱们不时在钻研和开创的这些 RL 代理，比如 AlphaZero 和 AlphaGo，它们实践上是踊跃的学习者。他们选择下一步要做什么，会影响到他们接上去要学习的数据或阅历。因此，有这种十分幽默的反应循环。当然，假设咱们想在诸如机器人技术等方面体现出色，咱们就必定了解如何无理想环球中执行。

Dwarkesh：是的。所以在某种水平上，有一种基础，即才干能否能够继续开展，或许它们能否与理想足够接触，以便能够做咱们想要的事件。还有另一种意义上的基础，咱们很幸运，由于它们是在人类思想上启动训练的，它们或许会像人类一样思索。当更多的计算资源用于训练时，以失掉正确的结果，而不受你能否依照人类的方式启动下一个标志的包全，这种状况在多大水平上坚持不变？兴许更宽泛的疑问我会向你提出，这也是我问过 Shane 的，是什么造成了一个比人类更痴呆的系统的对齐？兴许会想出一些异域概念，并且你真的不可监控百万行的拉取恳求，由于你真的不可了解整个环节，你也不可给出标签。​

Demis：看，这是 Shane 和我以及这里的许多其他人自 DeepMind 成立之前就不时放在心上的事件，由于咱们方案得太成功了。在 2010 年，没人思索过 AI，更不用说 AGI 了。但咱们曾经知道，假设咱们能够取得这些系统和这些想法的停顿，那么所发明的技术将是令人难以置信的改革性的。因此，咱们早在 20 年前就在思索，那么，这将会有什么结果，无论是踊跃的还是消极的。当然，踊跃的方向是惊人的迷信，比如 AlphaFold，在肥壮、迷信、数学和迷信发现方面都取得了令人难以置信的打破。但咱们还必定确保这些系统是可了解和可控制的。​

我以为有几种，这将是一个独自的探讨，但有许多人有很多想法，从更严厉的评价系统。我以为咱们关于诸如系统能否能够诈骗你之类的行为还没有足够好的评价和基准。它能够窃取自己的代码，这种不良行为。而后有一些想法，实践上经常使用 AI，兴许是狭义的 AI，不是普通性的学习系统，而是专门用于某一畛域的系统，协助咱们作为人类迷信家剖析和总结更普通系统正在做的事件。狭义 AI 工具。我以为在创立软化沙箱或围绕模拟的网络安保布置的模拟方面有很多前景，既可以将AI 坚持在外部，又可以将黑客扫除在外，这样你就可以在沙箱畛域内更自在地启动实验。我以为很多这样的想法，还有很多其余的想法，包括咱们之前谈到的剖析方面的物品，咱们可以剖析和了解这个系统正在构建的概念，它的示意是什么样的，所以它们对咱们来说或许并不那么生疏，咱们实践上可以追踪到它正在构建的常识。

期间线和智能爆炸

Dwarkesh：是的。稍微退后一步。我想知道你的期间表是什么。Shane 说他的，我以为模态结果是 2028 年。我想这或许是他的中位数。你的期间表是什么？​

Demis：是的，我没有详细的预约数字，由于我以为有太多未知和不确定要素，而且人类的痴呆才智和致力时常会带来意想不到的惊喜。这或许会实质性地扭转期间表。但我可以说，当咱们 2010 年开办 DeepMind 时，咱们把它看作是一个 20 年的名目。实践上，我以为咱们正在按方案启动，这在 20 年的名目中是令人惊讶的，由于通常它们总是在 20 年后才干成功。这是一个关于无论是量子 AI 还是其余任何物品，总有 20 年的笑话。但我以为咱们正在按方案启动。因此，假设在未来十年内领有相似 AGI 的系统，我也不会感到异常。​

Dwarkesh：你能否置信这样一个模型，一旦你领有一个 AGI，你就有了一个基本上可以进一步减速 AI 钻研的系统？兴许不是在一夜之间，但在几个月和几年的期间里，你会比以前有更快的停顿？​

Demis：我以为这有或许。我以为这在必定水平上取决于咱们作为一个社会选择将最后的初期 AGI 系统，甚至原始 AGI 系统用于什么。所以即使的大型言语模型仿佛在编码方面体现不错，咱们也有 AlphaCode 等系统。咱们还有定理证实系统。所以可以构想将这些想法结合在一同并将它们变得更好。而后我可以构想这些系统在设计和协助咱们构建未来版本时会相当不错。但咱们也必定思索到这样做的安保性疑问。​

Dwarkesh：我很猎奇你是怎样想的。我不是说这一年会出现这种状况，但最终你会开发一个模型，其中在开发环节中，你以为有一些时机，一旦这个模型齐全开收回来，它将能够启动智能爆炸式的灵活。在那个时刻，该模型必定满足什么样的条件，以致于你会安心肠继续系统的开发。​

Demis：好吧，看，我以为在咱们当天对这些系统的了解远远不够之前，我要求更多地理解这些系统，甚至才干向你解释咱们要求在那里打勾。所以我以为咱们在未来几年的期间里，以及在这些系统开局出现之前，咱们必定想出正确的评价和目的，兴许最好是正式的证实。关于这些类型的系统来说，这将是艰巨的，但至少在这些系统可以做的事件周围有一些阅历上的界限。这就是为什么我以为诈骗之类的事件是根源性的特色，你不宿愿有的，由于假设你确信你的系统暴露了它实践上是怎样想的，那么这就关上了经常使用系统自身向你解释自己的一些方面的或许性。我对此的想法实践上是，假设我要和 Gary Kasparov 下一盘国内象棋，他是有史以来最了不起的国内象棋选手之一，我不会能够提出一个他可以的棋步，但他可以向我解释为什么他提出了那一步，并且我预先能够了解，对吧？这是咱们可以构想的咱们可以应用这些系统的一种才干，让它们向咱们解释甚至兴许是为什么他们在想着某些事件的证实，至少在数学识题上。​

Dwarkesh：明白了。你有没有想过相反的答案会是什么？所以什么状况下才是真的？明日早上你会说，“哦，天哪，我没有预料到这个。”明日早上你看到了一些详细的观察结果，咱们必定中止 Gemini2 的训练。详细会是什么……​

Demis：是的，我可以构想。这就是像沙盒模拟这样的物品的作用。咱们在一个安保的、安保的环境中启动实验，而后出现了一些十分异常的事件，一个新的异常的才干或许咱们明白通知系统咱们不想要的物品，但它却说谎了。这些都是咱们宿愿用当今的系统细心开掘的事件，在我看来，当天这些系统并不风险，但在几年后或许会有后劲，而后你最好暂停，并真正弄清楚在继续之前它为什么会做这些事件。​

Gemini 训练

Dwarkesh：是的。回到Gemini，我很猎奇在开发环节中的瓶颈是什么。假设扩展效果很好，为什么不立刻便其规模参与一个数量级。​

Demis：首先，存在实践限制。你实践上可以在一个数据中心容纳多少计算资源？实践上，你在与十分幽默的散布式计算应战相反抗。幸运的是，咱们有一些环球上最低劣的人才来应答这些应战，跨数据中心的训练，一切这些疑问。十分幽默的应战，配件应战，咱们不时地设计和建造咱们的TPU等配件。所以这是一切的。而后，扩展定律不是经过魔法就可以出现的。你依然要求扩展超参数，并且每一次性新的规模都会有各种翻新。不只仅是在每一个新的规模上重复相反的配方。你必定调整配方，这在某种水平上是一种艺术方式。你必定简直取得新的数据点。假设你试图将你的预测扩展到几个数量级。有时刻它们不再成立了，由于新的才干有新才干的跃迁，有些事件坚持不变，而有些事件不是这样。所以通常你确实要求那些两边数据点来纠正一些超参数优化和其余事件，以便扩展定律继续成立。所以有各种各样的实践限制，因此一个数量级是你宿愿在每个时代之间启动的最大限制。​

Dwarkesh：哦，这太无心思了。在GPT 四的技术报告中，他们说他们能够预测训练损失，比 GPT 四少计算数万倍。他们可以看到曲线。但你提出的观念是损失所暗示的实践才干或许并不如此。​

Demis：下游才干有时并不是由此而来的，你经常可以预测外围目的，比如训练损失之类的目的，但它实践上并不会转化为你关心的MMLU或其余一些实践才干。它们并不总是线性的，因此存在非线性效应。​

Dwarkesh：在 Gemini 的开发环节中，最让你惊讶的是什么？​

Demis：嗯，我不会说有一个很大的惊喜，但尝试在那样的规模上训练物品是十分幽默的，从组织过去说，了解如何关照这样的系统，并跟踪它。我以为更好地理解你正在优化的目的与你想要的最终才干之间的相关是十分幽默的，但依然不是齐全了解的映射，但咱们越来越长于这样做。​

Dwarkesh：是的，有一种看法，即其余实验室或许比 DeepMind 在 Gemini 名目上愈加高效应用计算资源。我不知道你对这种看法有何看法。​

Demis：我不以为是这样。理想上，Gemini one 经常使用的计算资源大抵与风闻中的 GPT 四相当，或许略多一些。我不知道确切的经常使用量是多少，但我以为大抵在同一个数量级上。咱们十分高效地利用咱们的计算资源，咱们将计算资源用于许多方面。其中一个不只是扩展，还有之前提到的更多翻新和理念。一个新的翻新、一个新的发明，只要在它也能够扩展的时刻才有用。所以，在某种水平上，你也要求相当多的计算资源来启动新的发明，由于你必定在至少必定规模上测试许多事物，并确保它们在那个规模上能够运转。此外，一些新的想法或许在玩具规模下不可上班，但在更大规模下可以上班。理想上，这些更有价值。所以假设你思索一下这个探求环节，你要求相当多的计算资源来做到这一点。好信息是，咱们在谷歌很幸运，我以为往年，咱们的计算资源相对是一切钻研实验室中最多的。咱们宿愿在扩展和咱们系统的才干以及新的发明方面能够十分有效地经常使用它。​

Dwarkesh：是的。假设你回到2010年当你刚开局 DeepMind 的时刻，关于人工智能的停顿看起来是什么样子的，你会感到最惊讶的是什么？那时你能否预料到，在某种大水平上，会投入数十亿美元到这些模型中，还是你对它会是什么样子有不同的看法？​

Demis：咱们以为，实践上，我知道你曾经采访过我的共事 Shane，他总是以为，从计算曲线的角度来看，而后或许大抵与大脑的规模启动比拟，以及有多少神经元和突触，十分粗略地说，但咱们如今实践上处于这种状况，大脑中突触数量和咱们所领有的计算资源的数量大抵相反。但我以为更关键的是，咱们一直以为咱们的赌注是放在普遍性和学习上的。所以这些总是咱们将经常使用的任何技术的外围。这就是为什么咱们三角测量强化学习、搜查和深度学习这三种类型的算法，这些算法将会扩展并且会十分普遍，并且不要求少量手工制造的人类先验，咱们以为这是构建人工智能的失败形式，实践上是在 MIT 等中央构建人工智能的致力中，那里有十分基于逻辑的系统，专家系统，少量的手工编码，手工制造的人类信息进入其中，结果是失误的或许太过刻板。所以咱们想解脱这一点。我以为咱们早早地发现了这一趋向，显然咱们将游戏作为咱们的实验场，咱们在那方面做得十分好。我以为一切这些都十分成功。我以为兴许激起了其他人去思索一些事件，就像 AlphaGo 是激起许多其他人去思索的一个关键时辰一样。实践上，这些系统曾经预备好扩展了。而后，当然，随着咱们在谷歌钻研和 Brain 的共事发明了变压器，那种准许咱们摄取少量信息的深度学习，当然真正减速了咱们当天所处的位置。所以我以为这一切都是同一血缘的一局部。咱们不可预测每一个转机和变动，但我以为咱们所走的总体方向是正确的。​

Dwarkesh：是的。理想上，这很幽默，由于假设你阅读你们的旧论文或 Shane 的旧论文，比如 2009 年的 Shane 的论文，他说，咱们测试人工智能的方法是，你能紧缩维基百科吗？而这确实就是损失函数畛域，或许，就像你在 2016 年的一篇论文中所说的，在变压器之前，你说你正在比拟神经迷信和人工智能，他说留意力是必需的。

Demis：确实。所以咱们早就预感到了这些物品，理想上，咱们有一些早期的留意力论文，但它们不像变压器那样优雅，最终变压器成为了更好、更普遍的架构。

超级人工智能的控制

Dwarkesh：是的。当你将一切这些向前推进并思索超人类智能时，你以为那个景观是怎样的？它依然由一家私营公司控制吗？那么详细的控制当该是什么样子的？

Demis：是的，看，我以为这项技术十分关键。我以为它远远超出了任何一家公司，甚至整个行业的规模。我以为这必定是一个大型协作，介入者包括来自公民社会、学术界、政府等多个利益相关者。好信息是，我以为最近聊天机器人系统的遍及曾经唤醒了社会的其余局部，人们开局看法到这一点，以及与这些系统互动的状况会是怎样的。这很好。因此，这为十分好的对话关上了许多门。我想举一个例子，就是几个月前在英国举行的安保峰会，我以为那是一个渺小的成功。开局启动这种国内对话，我以为整个社会都要求介入其中，选择咱们想要部署这些模型用于什么？咱们想要如何经常使用它们，咱们不想经常使用它们做什么？我以为咱们必定致力在这方面达成一些国内共识，而后还要确保这些系统的好处造福于每团体，造福于整个社会。这就是为什么我如此致力推进诸如为迷信而经常使用人工智能这样的事件，我宿愿经过像咱们的子公司同构这样的事件，咱们将开局应用人工智能治愈疾病，并减速药物发现，这些都是惊人的事件，气象变动等等。我以为咱们面临的是人类和人类的应战。实践上，是渺小的应战，但我对咱们能够处置这些应战持失望态度，由于咱们有这个十分弱小的工具行将到来，那就是人工智能，咱们可以运行它，我以为可以协助咱们处置许多这些疑问。你知道的，理想状况下，咱们会在这个疑问上达成共识，并在联结国层面启动大探讨。

Dwarkesh：假设你知道，有一个幽默的事件是，假设你和这些系统交谈，它们十分弱小和痴呆，但幽默的是它们还没有智能化大局部经济。而假设五年前我向你展现了Gemini，你或许会说，哇，这齐全会影响很多事件。那么你如何解释这一点？为什么它还没有发生更宽泛的影响？​

Demis：是的，我以为这只是标明咱们还处于这个新时代的开局。我以为关于这些系统来说，有一些幽默的用例，你可以经常使用这些聊天机器人系统为你总结信息，兴许启动一些便捷的写作，兴许是更多相似于模板的写作，但这只是咱们每天所做的上班的一小局部。因此，我以为关于更普通的用例，咱们依然要求新的才干，比如布局和搜查，但也或许要求共性化和记忆，情节性记忆。不只仅是常年的高低文窗口，而是实践上记住咱们100次对话前议论的内容。我以为一旦这些开局出现，我真的很等候像介绍系统这样的物品，协助我找到更好、更丰盛的资料，无论是书籍、电影、音乐等等。我会每天经常使用那种类型的系统。所以我以为咱们只是触及到了这些人工智能助手实践上能为咱们在日常生存中以及上班背景中做些什么的外表。我以为它们还不够牢靠，不能用于迷信钻研。但我以为有一天，一旦咱们处置了理想性、基础和其余疑问，我以为它们或许最终会成为环球上最好的钻研助手。关于你作为迷信家或。

Dwarkesh：临床医生，我想问一下关于记忆的事件。顺便说一句，你在2007年宣布了一篇引人入胜的论文，其中谈到了记忆和构想之间的咨询，以及它们在某种意义上是十分相似的。人们经常宣称这些模型只是在记忆。你如何看待人们提出的这种说法？仅仅记忆就足够了吗？由于在某种深档次上，那就是紧缩？或许你在这里有什么直觉？​

Demis：是的，我是说，在极限条件下，兴容许以尝试记住一切，但它不会推行到你的散布之外。我以为这些系统显然是...我以为关于这些早期系统的早期批判是它们只是在重复和记忆，但我以为显然新时代，Gemini GPT-4类型的时代，它们相对是在推行到新的结构。但实践上，在我的论文和那篇论文中，特意是那篇开启神经迷信构想力畛域的论文，它标明，首先，记忆，至少是人类记忆，是一个重构环节。它不是一个录像带。咱们从仿佛相熟的组件中从新组合它。这让我想到构想力或许也是雷同的物品。只不过在这种状况下，你经常使用相反的语义组件，但如今你正在以你的大脑以为是新颖的方式将它们组合起来。为了特定目的，比如布局。我确实以为这种想法在咱们的系统中或许依然缺失，这种从你的环球模型中吸取不同局部来模拟新事物，而后协助你布局的想法，这就是我所说的构想力。​

安保、开源和权重保证

Dwarkesh：是的，当然。如今，你们领有环球上最好的模型。关于 Gemini 模型，你们能否方案推出一些相似其余两个关键 AI 实验室的框架？一旦咱们看到这些详细的才干，除非咱们有这些详细的保证措施，否则咱们不会继续开发或不会颁布产品。​

Demis：是的，咱们曾经有很多外部的审核敌对衡，但实践上咱们将开局颁布，关注咱们行将推出的一系列博客文章和技术论文。咱们将在接上去的几个月内颁布，相似于担任任的scaling定律等外容。咱们在外部有这些内容的隐含布置，在各种安保委员会等方面，例如Shane 主席等。但我以为如今是咱们愈加地下探讨这些疑问的时刻了。因此，在往年的环节中咱们将启动这样的探讨。​

Dwarkesh：听到这个信息很好。我还想知道的另一件事是，不只是部署模型的风险会被人们用来做坏事，而且还有流氓行为者、本国特工等，能够窃取权重，而后微调它们以做出疯狂的事件。你如何思索包全权重，确保这种事件不会出现，确保一群十分关键的人能够取得权重等等？​

Demis：是的，这很幽默。首先，有两个局部。一个是安保性，一个是开源，兴许咱们可以探讨一下。但安保性我以为十分关键，就像普通的网络安保类型的事件。我以为咱们在 Google DeepMind 很幸运。咱们在谷歌的防火墙和云包全之后，我以为在企业界是环球最佳的。因此，咱们曾经有了这种包全。而后在这之后，咱们在咱们的代码库中有特定的 DeepMind 包全措施。所以这是一种双重的包全。所以我对此觉得相当不错，但是在这方面你永远不能自满。但我以为在网络进攻方面，咱们曾经是环球最好的了，但咱们必定继续改良。而且，像软化沙箱这样的物品也或许是一种做法。甚至兴许还有专门的安保数据中心或配件处置方案，咱们也在思索这个疑问。我以为在未来三、四、五年内，咱们或许也会要求空气隔离和其余一些安保社区已知的物品。所以我以为这很关键。我以为一切前沿实验室都应该这样做，由于否则，国度和其余事物，流氓国度和其余风险的行为者，显然会有很大的动机来窃取像权重这样的物品。而后，当然，开源是另一个幽默的疑问，咱们十分支持开源和开明迷信。我是说，简直每一个。咱们曾经颁布了数千篇论文，像 AlphaFold 和变形金刚，当然还有 AlphaGo。咱们把一切这些都分享到了环球上，颁布和开源，最近咱们的天气预测系统 Graphcast 也是如此。但是当触及到外围技术、基础技术以及十分通用的技术时。我想要问的疑问是关于开源的支持者来说，如何阻止好人、团体或流氓国度驳回雷同的开源系统，将其从新定位，由于它们是通用的，可以用于有害的目的？对此咱们必定回答。我不知道答案是什么，但我还没有听到一个令人信服、明晰的答案，从只是开源化一切的支持者那里。所以我以为在这方面必定要有一些平衡。但显然，这是一个复杂的疑问，关于什么是平衡。​

Dwarkesh：是的，我觉得科技没有失掉应有的赞扬，由于它资助了数千亿美元的研发，显然你们 DeepMind 有像 AlphaFold 这样的系统。但是当咱们议论包全权重时，正如咱们所说的，兴许如今这不会造成环球末日或其余什么事件，但随着这些系统变得越来越好，一个本国特工或其余什么人失掉了它们的担忧，目前或许有几十到几百名钻研人员可以访问这些权重。假设要求访问它们，如何进入状况室，让权重处于状况室的形态？这是一个十分艰辛的环节。没有人能真正将它们带走。

Demis：是的，我的意思是，人们必定在准许协作、推进速度的同时掂量这一点。实践上，另一个幽默的事件是，当然，你宿愿来自学术界或英国 AI 安保钻研所等独立卓越的钻研人员能够对这些系统启动红队测试。因此，人们必定在必定水平上暴露它们，虽然这不必定是权重。而后咱们有很多流程来确保只要当你要求它们时，才干让那些要求访问的人访问。目前，我以为咱们仍处于这类系统面临风险的早期阶段。随着这些系统变得更弱小、更通用、更有才干，我以为人们必定关注访问的疑问。​

Dwarkesh：一些其余实验室曾经在相关于安保性的不同方面专门钻研，比如 Anthropic，他们专一于可解释性。你有没有一些想法，你们或许在哪些方面具备长处，这样一来，如今你们领有了前沿模型，你们将扩展安保性，你们将能够提供最好的前沿安保性钻研？​

Demis：我以为咱们协助开创了RLHF 等等，这些也显然可以用于性能，但也用于安保性。我以为很多自我对弈的想法和这些物品也可以用于智能测试很多新系统的边界条件。疑问的一局部在于，关于这些十分通用的系统，它们的行为涵盖了如此宽泛的畛域。所以，我以为咱们将要求一些智能化的测试，而且再次，经过模拟和游戏等，十分实在的环境、虚构环境，我以为咱们在那方面有着悠久的历史，并且应用这些系统构建 AI 算法。因此，我以为咱们可以应用一切这些历史。而且在谷歌外部，咱们十分幸运。咱们领有一些环球上最好的网络安保专家、配件设计师。因此，我以为咱们可以为安保性和安保性带来这一点。​

多模态进一步的停顿

Dwarkesh：很好。让咱们谈谈Gemini。如今你们领有了环球上最好的模型。我很猎奇。迄今为止，与这些系统交互的自动方式不时是经过聊天。如今咱们领有了多形式和一切这些新的配置，你估量这将如何扭转，或许你以为状况仍将是这样？​

Demis：是的，我以为咱们刚刚开局真歪了解齐全多形式模型系统，与它启动交互或许会有如许令人兴奋。这将与咱们当天与聊天机器人所相熟的状况大不相反。我以为未来一年、18个月内的下一个版本，兴许咱们将在环境周围有一些高低文了解，经过摄像头或其余设施，比如手机。我可以构想这是下一个步骤。而后我以为咱们会开局变得愈加灵敏，了解。让咱们从视频中启动采样，让咱们经常使用语音，甚至最终或许会经常使用触摸等。假设你思索到机器人技术和其余方面，传感器，其余类型的传感器。所以，我以为环球行将变得十分令人兴奋。我以为在接上去的几年里，随着咱们开局习气于真正的多形式象征着什么，尤其是在机器人畛域。​

Dwarkesh：当我在播客上时，伊利亚说 OpenAI 丢弃机器人技术的要素是由于他们在这个畛域没有足够的数据，至少在他们谋求的期间内是这样。我的意思是，你们颁布了不同的物品，比如机器人变压器和其余物品。你以为这依然是机器人技术提高的瓶颈，还是咱们将在原子环球和环球的提高中看到提高？

Demis：嗯，咱们对 Gatto和 RT 这样的事物的停顿十分兴奋，这是两个机器人变压器。所以，咱们不时很青睐机器人技术，咱们在这方面有着惊人的钻研，而且咱们如今仍在启动钻研，由于咱们青睐它是一个数据稀缺的畛域，由于这推进了咱们朝着十分幽默的钻研方向，咱们以为这些方向无论如何都会很有用，比如在模拟中的采样效率和数据效率，以及从模拟中的迁徙学习，将其转移到理想中，一切这些十分 sim-to-real，一切这些十分幽默的通用应战，咱们宿愿处置。所以控制疑问。所以咱们不时在这方面致力。实践上，我以为伊利亚是对的，由于数据疑问，这更具应战性。但我以为咱们开局看到这些大型模型开局在机器人畛域具备可转移性的迹象，学习在通用畛域，言语畛域和其余畛域的物品，而后将 Gatto 这样的令牌视为任何类型的令牌。令牌可以是一个举措，可以是一个单词，可以是图像的一局部，一个像素，或许其余任何物品。我以为这才是真正的多形式。后来，训练这样的系统比训练一个便捷的文本言语系统更艰巨。但实践上，回到咱们早期关于迁徙学习的探讨，你会发现真正的多形式系统，其余形式会有所好处。所以你对言语的了解会更好，由于你如今对视频有了一点了解。所以，我以为启动起来更难，但实践上，最终，咱们将领有一个更通用、更有才干的系统。​

Dwarkesh：Godot出现了什么？你们过后可以让它玩游戏，也可以做视频，还可以做其余的。

Demis：是的，咱们仍在钻研那种类型的系统，但你可以构想咱们只是在尝试。咱们正在试图将那些想法融入咱们未来几代的 Gemini 中，以便能够做一切这些事件。以及机器人变压器之类的物品。你可以把它们看作是对那些的跟进。

Dwarkesh：咱们能否会看到向特定畛域的不对称停顿，即你所议论的自我对弈类的物品将会特意弱小？数学和代码，显然，最近你们宣布了关于这方面的论文。你们可以应用这些物品做一些十分酷的新事物。他们只会成为超级人类的编码员，但在其余方面，它们或许依然不如人类，或许你对此有什么看法？

Demis：在某种水平上。是的。所以，我以为咱们在数学、定理证实和编码方面取得了很大的提高，但是假设咱们普通来看发明力和迷信致力。我以为咱们曾经到了这一阶段，咱们的系统可以协助最低劣的人类迷信家更快地取得打破，简直可以对搜查空间启动分类，或许像 AlphaFold 那样找到一个处置方案来处置蛋白质结构的疑问。但它们还没有到达可以自己提出假定或提出正确疑问的水平。任何顶级迷信家都会通知你，这是迷信中最艰巨的局部，实践上是提出正确的疑问，将空间缩小到什么是关键疑问？咱们应该处置关键的疑问，而后以正确的方式制订疑问来处置它。这不是咱们的系统真正了解如何做的事件，但假设可以用明白的、主观的函数来指定疑问，它们就适宜搜查大的组合空间。所以，关于咱们当天处置的许多疑问来说，这是十分有用的，但并不是最初级别的发明性疑问。

Dwarkesh：DeepMind 在不同畛域减速迷信方面颁布了各种幽默的物品。在假设你以为 AGI 将在未来 10 到 20 年内成功的状况下，为什么不等候 AGI 为你做这些事件呢？为什么要构建这些畛域特定的处置方案？

Demis：嗯，咱们不知道 AGI还要多久。即使在咱们开局 DeepMind 的时刻，咱们也总是说咱们不用等候 AGI 才干为环球带来令人难以置信的好处。尤其是我团体对 AI 在迷信和肥壮畛域的激情。你可以看到，比如 AlphaFold 和咱们在不同畛域的各种人造论文以及资料迷信上班等等。我以为有很多令人兴奋的方向，而且还有产品方面的影响。我以为这十分令人兴奋，这是咱们作为谷歌的一局部共同的时机，他们领有数十亿用户的产品，咱们可以立行将咱们的提高推向这些产品，而后数十亿人可以改善他们的日常生存，丰盛他们的日常生存和优化他们的日常生存。因此，我以为这是在一切这些方面都发生影响的一个奥妙的时机。

我以为从 AGI 的角度来看，另一个要素是它可以测验你的想法，对吧？所以你不想堕入一个钻研掩体，你只是无实践上推进一些事件，但实践上，你的外部目的开局偏离人们关心的实在环球事物，对吧？或许实在环球的影响，所以你会从这些实在环球的运行中间接失掉很多反应，而后通知你你的系统能否真的在扩展，或许咱们能否要求愈加数据有效或样本有效？由于大少数实在环球的应战都要求这样做。对吧。所以这让你坚持老实，推进你坚持推进钻研方向的正确路线。所以我以为这是很棒的。当然，环球在这个环节中受益。社会在这个环节中受益，兴许在 AGI 到来之前的许多年里都会受益。

进入谷歌 DeepMind 外部

Dwarkesh：是的，实践上，Gemini的开发十分幽默，由于它恰恰是在兼并这些不同组织——Brain和DeepMind——之后出现的。是的，我很猎奇，那外面都有哪些应战？有哪些协同效应？而且从成功的角度来看，你们领有了环球上最好的模型。如今，这是怎样样的？

Demis：嗯，看，过去一年确实十分棒。当然，像任何一次性大型整合一样，做到这一点是具备应战性的，但你在议论两个环球级组织，常年的、悠久的历史，他们发明了许多关键的物品，从深度强化学习到变压器。因此，实践上将一切这些资源集中起来并愈加严密地协作是十分令人兴奋的。咱们过去总是在协作，但更多地是基于名目的基础上，而不是像咱们如今这样更深化、更宽泛的协作。Gemini 是这种协作的第一个成绩，包括名字 Gemini，实践上象征着双胞胎。当然，还有很多其余方面变得愈加高效，比如将计算资源、思想和工程会集在一同，我以为在咱们目前所处的阶段，要求启动少量环球级工程来构建前沿系统。我以为协调愈加正当。

Dwarkesh：我的意思是，你和Shane 成立 DeepMind 的局部要素是由于你们对安保性感到担忧。你们以为 AGI 的出现是一个实践或许性。你以为以前是 Google 的一半，如今是 DeepMind 的一半的人，他们对此能否持有相反的态度？在这个疑问上能否存在文明差异？

Demis：是的，总的来说，这也是为什么我以为咱们在 2014 年与谷歌联结的要素之一，我以为整个谷歌和 Alphabet，不只仅是 Brain 和 DeepMind，都十分仔细地看待这些疑问，咱们的一种口号是试图在这些系统中大胆而担任任。所以我会把它归类为，显然我是一个渺小的技术失望主义者，但鉴于咱们共同带来的这种改革性力气，我宿愿咱们对此持审慎态度。我以为这将是人类将会发明的最关键的技术之一。所以咱们必定把一切的精神投入到做对的事件上，对咱们行将到来的系统及其不确定性的了解和不了解，咱们必定审慎地思索，也要虚心，咱们的系统会带来哪些不确定性。在我看来，当你面临渺小的不确定性时，惟一理智的做法是持审慎失望态度，经常使用迷信方法尽或许多地预感和了解行将出现的事件以及这些事件的结果。你不宿愿在这个环球上用这些十分有力的系统启动实时 A/B 测试，由于意想不到的结果或许相当重大。所以我宿愿咱们的畛域能够解脱极速推进事物并破坏一切的态度，这在过去或许为硅谷服务得很好，显然也发明了关键的翻新。但我以为在这种状况下，咱们宿愿能够在踊跃的方面大胆尝试，确保咱们成功医学和迷信等踊跃事物的同时，尽或许担任任和周到地减轻风险。

Dwarkesh：是的，这就是为什么担任任的扩展政策仿佛是一种十分好的阅历方法，可以预先承诺这些事件。

Demis：是的，确实如此。

Dwarkesh：我很猎奇，例如，当你启动这些评价时，假设发现你的下一个模型或许协助一个普通人建设一个动物武器级别的大盛行病，你会如何思索？首先，你会如何确保这些权重是安保的，免得暴露？其次，关于您来说，假设不暴露潜在的才干，那要求什么条件才干让您安心部署该系统？你会如何确保这种潜在才干不被暴露？

Demis：嗯，首先，我以为包全模型局部咱们曾经经过网络安保笼罩到了，确保它是环球级的，你正在监测一切这些事件。我以为假设经过红队测试或政府机构、学术界或其余独立测试人员的外部测试发现了这样的才干，那么咱们将不得不修复这个破绽，取决于是什么样的破绽，对吧？假设要求更多不同类型的，兴许是宪法或不同的限制条件，或许更多的 RLHF 来防止这种状况，或许删除一些训练数据，这取决于疑问的性质，我以为或许有几种缓解方法。所以第一局部是确保你提早发现它，所以这就触及到正确的评价、正确的基准测试和正确的测试。而后疑问是在你部署之前如何修复它。

Dwarkesh：当然。

Demis：但我以为在通常状况下，在暴露外表出现之前，它要求在部署之行启动修复。

：好的，最后一个疑问。您在 2010 年曾经以 AGI 的最终目的来思索，而其他人以为这是荒唐的。如今咱们看到这种缓慢的腾飞，咱们实践上看到了这些泛化和智能，这种心思上的感触如何？这觉得就像你的环球模型曾经定价了，所以对你来说不是新颖事物吗？还是说看到它实在出现时，你会惊叹不已，觉得真的出现了些变动，或许是怎样样的？

Demis：是的，对我来说，是的，这曾经是我预料到的技术开展方向，至少是从技术方面来说。但显然，咱们并没有预料到普通群众会在这个序列的这么早的阶段对此发生如此大的兴味。关于这些事件，或容许以构想，假设咱们没有消费出更多的物品，假设说 Chat GPT 和聊天机器人没有失掉他们最终取得的兴味，这对每团体来说都是相当令人惊讶的，虽然它们在某些方向上还存在无余。它们虽然令人印象深入，但咱们或许会消费更多的专业系统，比如 AlphaFold 和 AlphaGo 等，以及咱们的迷信上班。而后我以为普通群众或许只会在几年后，当咱们有愈加普遍有用的助手型系统时才会关注，所以这很幽默。所以这发明了一个咱们如今一切人都在其中运作的不同类型的环境。这是一个愈加凌乱的环境，由于有这么多的事件在出现，有这么多的风险投资进入，每团体都简直在为此疯狂。我惟一担忧的是，我宿愿作为一个畛域，咱们对此采取担任任、周到和迷信的态度，并以我所说的一种失望而审慎的方式来看待这个疑问。我不时以为这是处置像 AI 这样的事物的正确方式，我只宿愿这种方法在这场渺小的改革中不会被漠视。

Dwarkesh：当然，当然。好，我以为这是一个很好的完结。

本文转载自​ ​MoPaaS魔泊云​ ​，作者：Dwarkesh