OpenAI联结开创人John AGI 2027 RLHF 大模型史 ... Schulman OpenAI
的离任，OpenAI首席架构师和驰名强化学习(Reinforcement Learning,或RL)专家 John Schulman博士成为OpenAI现存最关键具有技术背景的开创人。最近，Schulman博士接受了驰名的科技播客掌管人Dwarkesh Patel的专访。他解密了OpenAI大模型开展史，引见了OpenAI怎样训练和产品化大模型，尤其是后训练阶段如何经过RL优化大模型的泛化才干和适用性。Schulman分享了他对大模型伸缩律（Scaling Law)，大模型的推理才干，大模型强化学习，未来大模型AI与人类的协作，以及大模型安保和对齐等疑问的了解。此外，Schulman还讨论了多模态数据处置、用户界面设计、模型泛化才干等话题。他预测未来五年大模型AI的清楚提高会使得他的上班被取代。特意是Schulman博士回答了上方的一些幽默的疑问：
经过这篇访谈，咱们得以一窥AI畛域的工程前沿现状。这将引发咱们关于人工智能未来影响的思索，以及让咱们考量如何预备迎接这一改革。
这是我和OpenAI联结开创人兼首席架构师John Schulman的一集节目。
预训练、后训练以及未来的才干
当天我有幸与JohnSchulman交谈，他是OpenAI的联结开创人之一，指导着这里的后训练团队。他还指导了ChatGPT的创立，并是许多在AI和RL畛域最关键、援用最宽泛的论文的作者，包括PPO等。John，很快乐能和你聊天。感谢你来参与播客。
感谢约请我参与播客。我是你的虔诚粉丝。
谢谢你这么说。这是我的第一个疑问。咱们有预训练和后训练之间的区别。让咱们逾越损失函数和训练机制实践出现的事件。从概念上退一步，预训练究竟发明了什么样的物品？后训练又在此基础上做了什么？
在预训练中，你基本上是在训练模拟互联网或网络上的一切内容，包括网站和代码等。所以你获取的模型可以生成看起来像互联网上随机网页的内容。模型还被训练以最大化或许性，它必需对一切启动概率估量。
目的基本上是预测下一个标志，给定之前的标志。标志就像单词，或许是单词的一局部。由于模型必需对它启动概率估量——咱们正在训练以最大化对数概率——它最终会变得十分校准。它不只可以生成一切网络内容，还可以对一切调配概率。
基础模型可以有效地承当一切这些不同的角色或生成一切不同种类的内容。当咱们启动后训练时，咱们通常针对的是更狭窄的行为范围，咱们宿愿模型表现得像一种聊天助手。这是一个更详细的人物设定，它试图变得有用。它不是试图模拟一团体。它在回答你的疑问或执行你的义务。咱们正在优化一个不同的目的，那就是更多地发生人类会青睐并发现有用的输入，而不是仅仅模拟来自网络的原始内容。
兴许我应该退一步，问这个疑问。如今咱们有这些模型，它们作为聊天机器人表现得相当不错。从这些环节的上班方式退一步来看，你以为到年底颁布的模型将能够做些什么？假设咱们将一切推向未来五年，你以为提高会是什么样子？
五年后，这些模型会好得多。
即使在一两年之内，咱们会发现模型能够执行比如今更复杂的义务。例如，你可以构想让模型执行整个编码名目，而不只仅是给你一个关于如何编写函数的倡导。你可以构想模型接纳上档次的编码指令，而后独立地编写任何文件，测试它，并检查输入。它甚至或许还会迭代一下。所以就是更复杂的义务。
基本上的解锁是它能够连接地执行足够长的时期来编写多个文件的代码？从如今到那时有什么变动？
我会说这未来自一些组合，训练模型执行像这样的更难义务。大局部训练数据更像是一次性执行一个步骤。我希冀咱们更多地训练模型来执行这些更长的名目。
这是任何类型的训练，比如做强化学习，学习如何执行这些义务。无论你是在最终输入时监视它，还是在每个步骤中监视它，任何执行这些常年名目的培训都将使模型变得更好。
由于整个畛域相当新，我会说在这个类型的培训中有很多容易摘取的果实。这是一件事。我还希冀随着模型的改良，它们会变得更长于从失误中复原或处置边缘状况。当出现疑问时，它们会知道如何从中复原。
模型将愈加样本高效。你不用搜集少量数据来教它们如何回到正规。只要求一点数据或许它们从其他才干中的泛化就足以让它们回到正规。的模型或许会堕入困境并迷失方向。
我想详细了解泛化是如何协助你回到正规的。你能多说一些吗？我不太确定这两个概念是如何咨询起来的。
对，它们不是间接咨询的。你通常有一些数据可以成功一切事件。假设你搜集了一个多样化的数据集，你就会在其中获取一切。假设你有泛化才干很强的模型——即使只要几个回到正规的例子，或许在预训练数据中有几个模型回到正规的例子——模型将能够从它所看到的其他事物泛化到状况。
假设你有较弱的模型，你或许可以经过足够的数据让它们做简直一切事件。但你或许必需在特定畛域或技艺上投入少量致力。
而对一个更强的模型来说，它或许不要求任何训练数据或任何致力就能做正确的事件。
如今这些模型可以连接地上班五分钟。咱们宿愿它们能够执行人类要求一个小时来成功的义务，而后是一周，一个月，等等。
要到达每一个这些基准，能否每个都要求10倍的计算量，相似于预训练的扩展规律？还是说这将是一个愈加简化的环节，你曾经愈加样本高效，你可以间接到达执行义务的年限？
从上档次上讲，我赞同常年义务将要求更多的模型智能才干做好。它们将更低廉地训练。我不确定我会希冀一个真正明晰的扩展规律，除非你以十分审慎的方式设置它，或许以某种方式设计试验。或许会有一些相变，一旦你到达某个水平，你就可以处置更常年的义务。
例如，当人们为不同的时期尺度做方案时，我不确定他们能否经常使用完全不同的机制。咱们或许经常使用相反的心智机制来思索一个月后、一年后或一百年后的事件。咱们实践上并不启动某种强化学习，要求担忧一个笼罩那个时期尺度的折扣因子等等。
经常使用言语，你可以形容一切这些不同的时期尺度，而后你可以做方案。在当下，你可以尝试朝着你的目的取得停顿，无论是一个月后还是10年后。我不知道这能否是一个相变，但我或许希冀模型也是如此，其中或许有一些才干在多个尺度上上班。
假设我说错了请纠正我。仿佛你在暗示，如今咱们有的模型在每个标志的基础上相当痴呆。它们或许在每个标志的基础上和最痴呆的人类一样痴呆。阻止它们像它们本可以的那样有用的事件是，五分钟后，它们不会以一种连接的方式继续编写你的代码，这与你对名目或相似事物的更宽泛目的坚持分歧。
假设一旦你开局这个常年RL训练机制，它立刻解锁了你长时期连接的才干，咱们应该预测一旦那个机制被解锁，就会出现人类水平的物品吗？假设不是，那么在咱们能够计参差年并执行那么长时期的名目之后，还有什么剩下的？
一旦咱们进入那个机制或提高的速度会如何，目前还不太清楚。这依然是不确定的。我不希冀经过做任何这样的训练就能立刻处置一切疑问。模型还会有其他一些缺点，造成它们堕入困境或做出比人类更蹩脚的决策。我不希冀这一个小小的物品会解锁一切才干。但是，常年义务才干的提高或许会有很大的提高。
你会说这是正当的吗？这看起来很有或许，还有其他要素或许造成瓶颈吗？我也很猎奇这些瓶颈的实质是什么。它曾经领有一切预训练的示意。如今，由于常年RL，它可以长时期连接地上班。还剩下什么？
兴许还有其他一些人类专家在执行不同义务时带来的阅历，比如领有品味或更好地处置含糊性。假设咱们想做钻研，我可以构想这些思索会施展作用。显然，模型的适用性限度和它能否经常使用UI、与物理环球互动或访问事物将会有一些理想的限度。所以或许会有很多理想的阻碍，这些阻碍或许不会继续很长时期，但最后会减缓停顿。
让咱们谈谈为这些AI设计的网页。一旦它们经过更多多模态数据的训练，它们会与咱们为人类设计的网页有什么不同吗？要求什么UI？它们将如何补偿它们的长处和劣势？这与咱们目前为人类设计的UI有什么不同？
这是一个幽默的疑问。我估量，一旦视觉才干有所提高，模型将能够经常使用为人类设计的网页，仅经过视觉。所以，没有必要立刻扭转它们。
另一方面，将会有很多网站从AI的经常使用中收获颇丰。咱们或许宿愿为AI设计更好的用户体验。我不确定确切的含意是什么。假定咱们的模型在文本形式上依然比从图像中读取文本更好，你或许宿愿为模型提供良好的基于文本的示意。
你也宿愿有一个很好的指示，说明一切可以交互的事物是什么。但我不希冀网络会完全从新设计，四处都是API。咱们可以让模型经常使用与人类相反的UI。
我猜这是言语模型的大经验，对吧？它们可以在与人类相似的条件下执行。
我想回到你之前提到的一个观念，即这个环节或许由于可以从预训练阅历中泛化而更样本高效，从而解脱不同场景中的困境。你看到过的这种泛化和转移的最有力证据是什么？
关于模型未来才干的大疑问仿佛是正在出现的泛化有多少。有什么对你来说觉得十分令人信服的物品吗？你有没有看到模型学会了一些你不宿愿它从泛化中学到的物品？
在后训练中，必需有一些幽默的泛化实例。
一个妇孺皆知的现象是，假设你用英语数据成功一切的微调，模型会智能在其他言语中表现良好。所以假设你用英语数据训练助手，它在西班牙语中也会做出正当的反响。有时你或许会在用英语回复还是用西班牙语回复方面获取失误的行为。通常你会获取正确的行为，象征着你让它用西班牙语回应西班牙语查问。这是模型正确、有协助的人物设定，而后智能在不同言语中做正确事件的一个幽默的泛化实例。
咱们在多模态数据上看到了一些这方面的版本，假设你只启动文本微调，你也会在图像上获取正当的行为。在ChatGPT早期，咱们试图处置模型了解自身局限性的疑问。早期版本的模型会以为它可以给你发电子邮件或给你叫优步什么的。模型会尝试表演助手，并说“哦，当然，我发了那封电子邮件”。显然它没有。
所以咱们开局搜集一些数据来处置这些疑问。咱们发现，即使是混合其他一切数据，一点点数据也能起到作用。我不记得确切有多少个例子，但像30个例子这样的物品。咱们有相当少的例子展现了这种普通行为，解释了模型没有这个才干。这很好地泛化到了咱们没有训练的各种才干上。
我依然想回到这个疑问，由于我不确定我了解了。假定你有一个模型，它被训练成能够长时期坚持连接性。抛开或许存在或不存在的其他瓶颈，明年你或许会领有潜在的人类水平的模型吗？我构想的是一个你与之互动就像与共事互动一样的模型，它和与人类共事互动一样好。你可以通知它们去做一些事件，它们就会去成功。你以为或许的这种才干有什么疑问？
很难确切地说缺点会是什么。当你当天与模型交谈时，除了常年连接性之外，它们还有各种弱点。它们也很难真正深化思索事件或关注你要求它们做的事件。我不以为仅仅提高连接性就足以到达通用人工智能（AGI）。我想我无法确切地表白出关键的弱点是什么，会阻止它们成为一个完全配置完全的共事。
那么看起来，你应该方案很快就领有通用人工智能的或许性。
所以假设没有其他瓶颈。在接上去的一年左右，你就领有了通用人工智能。方案是什么？
假设通用人工智能比预期来得早得多，咱们必要求小心。咱们或许想在训练和部署上稍微加快一点，直到咱们相当确定咱们知道咱们可以安保地处置它。咱们要求很好地把握它将做什么以及它能做什么。假设它比预期早得多出现，咱们必需十分小心。咱们在很多方面的了解依然是基础的。
小心象征着什么？假定你曾经很小心了，对吧？你在部署之行启动这些评价。
兴许这象征着不训练更痴呆的版本，或许在你训练时十分小心。你可以确保它被适外地隔离，等等。兴许这象征着不大规模部署它，或许小心肠思索你部署它的规模。
让咱们来玩一个场景。明年通用人工智能就成功了。你没有训练一个更痴呆的系统，但你以一种相对有度的方式部署它。假定开展并不特定于OpenAI。通用人工智能结果比咱们预期的要容易得多，这就是为什么它出现了。所以你稍等一下再部署。如今其他公司领有相似水平的才干。接上去会出现什么？当你等候部署时，你在等什么？在这个场景中，每家公司都在做什么？
博弈论有点难以思索。首先，我不以为这会在明年出现，但启动这样的对话依然是有用的。或许是在两到三年内。
依然相当快。你或许要求一些协调。每团体都要求赞同对部署或进一步训练设定一些正当的限度，这样才行得通。否则，你会有比赛灵活，每团体都总是试图坚持上游，这或许要求斗争安保。你或许要求在启动这种训练的较大实体之间启动一些协调。
你将协调暂停部署，直到什么确切的事件？直到你弄清楚模型中出现了什么？
咱们可以暂停进一步训练。咱们可以暂停部署。咱们可以防止一些或许更风险的训练类型。咱们将为每团体应该做什么来限度这些事件设定一些正当的规则。
限度到什么目的？在某个时刻，这种智能外部的潜在能量将被监禁。假定两年后咱们获取了通用人工智能。如今每团体都很恐慌。人工智能公司曾经暂停了。咱们方案等到什么时刻？
我没有方法很好地回答这个疑问。假设咱们能像那样启动协调，那将是一个相当好的情形。构建这些模型十分资本密集，有许多复杂的局部。这并不像每团体都要在家里从新发明这些物品。
鉴于能够训练最大模型的实体数量相对较少，启动协调仿佛是或许的。我不确定如何长时期维持这种平衡，但我以为假设咱们抵达那个境地，咱们将处于一个可以的位置。
咱们会吗？我依然很猎奇，由于我不确定接上去会出现什么。从基本上说，好处是你将其推送到主机，如今咱们有了一批智能，或许它们可以自己推送到主机。如今咱们曾经协调了每团体，但我不确定在这个新环球中咱们接上去要做什么。为什么这为咱们设定了一个好结果？
假设咱们能让每团体都正当协调，并且咱们觉得咱们能够很好地处置关于分歧性的技术疑问，那么咱们就可以部署。咱们将能够部署真正智能的人工智能，作为人们意志的加长，同时也防止它们被劫难性地滥用。那将是很棒的。咱们可以安保地部署这些系统，它将带来少量的兴盛和更极速的迷信提高阶段。这就是好情形的样子。
这很有情理。我对几年后的状况感到猎奇。在最好的状况下，一切这些介入者都赞同暂停，直到咱们弄清楚咱们正在构建的是对齐的系统，它们自身不会试图发起政变，也不会使他人这样做。那证实会是什么样子？那证据会是什么样子？
假设咱们能部署系统，这些系统是增量的，比之前的系统更痴呆，那会更安保。我宿愿事件开展的方式不是每团体都必需协调，锁定事物，并安保地监禁事物。这将造成潜在能量的渺小积攒。
我宁愿咱们一切人都继续不时地颁布比之前更好的物品。咱们将在确保咱们对每个差异都对安保和分歧性的改良有信念的同时这样做，这与才干的优化相对应。假设事件开局看起来有点可怕，那么咱们就能够加极速度。这就是我所宿愿的。
假设有更多的不延续腾跃，就会有一个“你怎样知道你要监禁的物品是安保的”的疑问。我无法给出一个通用的答案。但是，你或许想要做的事件类型，以使这更可接受，将是少量测试模拟部署，某种方式的红队。你宿愿以比你无理想环球中方案做的事件更有或许失败的方式去做。
你想要有一个十分好的监控系统，以便假设部署的系统开局出现疑问，你可以立刻检测到它。兴许你有物品在监视部署的人工智能，监视它们在做什么，并寻觅费事的迹象。
你想要一些深度进攻。你想要一些组合，“模型自身仿佛表现得十分好，对一切都有无可挑剔的品德信念”，并且“我相当有信念它极端抵制任何严重的滥用”。你也宿愿有十分好的监控在它上方，这样你就可以检测就任何无法预感的费事。
当你在做常年RL或许最终开局做的时刻，你在跟踪什么？你怎样能在你宽泛部署这些系统之前留意到这种不延续的腾跃？
你会宿愿在训练环节中启动少量的评价。
详细来说呢？在启动常年RL（强化学习）训练时，能否有必要知道这或许出现？或许这只是一个或许性很低的事件？你怎样看待这个疑问？
假设在启动这类训练时，你看到了许多或许令人担忧的才干，你会十分小心。我会说，如今咱们还不要求惧怕，由于如今让模型做出任何连接的事件都很艰巨。
假设它们开局变得十分好，咱们会仔细看待这些疑问。咱们会启动少量评价，测试它们能否有不当行为，关键是为了模型的分歧性。咱们想要审核它们不会推戴咱们或相似的事件。你或许还想寻觅才干上的不延续腾跃。你会宿愿对模型的才干启动少量评价。
你还要确保你训练的内容没有任何理由让模型推戴你。这仿佛不是最难做的事件。咱们用RLHF（强化学习中的人类反应）训练它们的方式，觉得很安保，虽然模型十分智能。模型只是试图发生一团体类会青睐的信息。它对环球上其他任何事件都不关心，只关心它发生的文天性否获取认可。
显然，假设模型要求执行一系列触及工具的常年举措，那么它或许有一些动机去做很多对人类来说没有意义的疯狂事件，以发生最终结果。但是，它不必定有动机去做除了在最后发生十分高品质的输入之外的任何事件。
有一些关于工具性收敛的旧观念，模型想要接收环球，这样它就可以在最后发生一些了不起的代码。假设你要求它为你编写一个Flask运行程序，它会说“哦，是的，首先我要求接收环球。在某种水平上，很难构想为什么关于像编写运行程序这样明白指定的义务，你会想先接收环球。当然，假设你调配了一个义务，比如“赚钱”，那么作为工具性目的，或许会造成一些恶意行为。
在咱们回到那个话题之前，让咱们退一步，谈谈当天的RLHF系统和一切。我确实想跟进那个观念，由于它很幽默。
以当天的RLHF及其影响这些模型的方式，你如何从人类心思学的角度来形容它？它是驱动力吗？是目的吗？是激动吗？在心思学上，它是什么样的事件？它在哪些方面正在扭转？
不只仅是聊天机器人的角色，还有“不要那样说，用另一种方式说”或“不要颁布那种类型的输入”。
或许有一些与人类中的驱动力或目的的类比。你试图疏导模型朝向特定形态集，而不是其他形态。我以为咱们对驱动力或目的的概念还有其他元素，比如你成功它时的满足感。这些物品更多地与学习算法无关，而不是模型在运转时所做的事件，那时你只要一个固定的模型。
或许有一些类比，虽然我不知道它有多凑近。从某种意义上说，模型确实以某种有意义的方式领有驱动力和目的。在RLHF的状况下，你试图最大化人类的认可，经过处罚模型来权衡，模型只是试图发生人们会青睐并判别为正确的物品。
我据说过两种关于经常使用外部独白来提高推理才干的想法。至少地下地，我曾经看到了两种想法，我很猎奇哪一个你以为更有宿愿。
一种是模型从它在许多或许的思想轨迹上的输入中学习，并学会遵照造成正确答案的那一个。而后在部署前对其启动训练。另一种是你在部署时经常使用少量计算启动推理。这种方法触及模型在部署时自言自语。
当模型真正长于推理时，你希冀哪一种更凑近模型的训练方式？是由于它只是做了少量推理云？还是仅仅由于你曾经训练它在这方面做得好？
你可以将推理定义为要求在测试时启动某种计算或某种归结的义务。依据定义，推理将是要求一些测试时计算和逐渐计算的义务。另一方面，我也希冀经过在训练时启动练习取得很多收获。所以我以为你经过结合这两件事会获取最好的结果。
如今，你有这两种模型学习方法。一种是在训练中，无论是预训练还是后训练。训练中的大局部计算都花在预训练上，略过数万亿个标志，阅读数万亿个标志的信息。假设一团体遭到这种看待，他们只会完全困惑。这不是一个十分有效的学习方式。
另一种方式是高低文学习。当然，这更有样本效率，但每个实例都被破坏了。
我很猎奇你能否以为在这两者之间有一条门路，它不会在每个实例中被破坏，但也不像只是看到数万亿个标志那样草率。更具看法和生动。
你的意思是模型有一些中期记忆？太多而不适宜高低文，但比预训练规模小得多？
这或许是记忆。我没有高低文。当然，当我试图为这次对话做预备时，我想到我应该了解什么，细心阅读它，兴许在阅读时思索它。我不确定它在模型方面人造对应什么。那会是什么样子？
我明白了。所以这不只仅是记忆，某种水平上也是专门针对某个义务或投入少量精神到某个特定名目。
我甚至不确定它是不是专门化。更像是“我不了解这局部，所以让我更深化地钻研。我曾经了解了这局部。”我猜这是专门化到你的现有常识库。
我明白了。所以这不只仅是关于在少量关系资源上训练并在某个不凡畛域启动微调。它还触及推理，并经过你自己的推理开展一些常识，经常使用某种内省或自我常识来弄清楚它要求学习什么？
这确实觉得是当今系统缺失的物品。人们还没有真正鼎力推进大规模训练和高低文学习之间的两边地带。
局部要素是咱们不时在参与高低文长度，以致于没有处罚它。假设你能到达十万或一百万的高低文，那实践上是相当多的。在很多状况下，它实践上并不是瓶颈。
我赞同你的观念，你或许还想用某种微调来补充它。微和谐高低文学习所取得的才干或许是互补的。我估量咱们会想要构建一些在线学习系统，并且领有一些认知技艺，比如对它们自己的常识启动内省，并寻觅填补空白的新常识。
这一切都是同时出现的吗？还是一个新训练机制，一切这些事件都可以同时出现，无论是常年还是这种训练？
它们是离开的还是不离开的？模型能否足够智能，既能内省又能在更长的时期范围内执行，以便你在常年义务上取得适当的报答？
假设你在做一些常年义务，你是在执行义务时学习的，对吧？
要做一些触及很多步骤的事件，惟一的方法是领有在义务时期降级的学习记忆。短期记忆和常年记忆之间有一个延续体。
我估量，当咱们开局更多地关注常年义务时，这种才干的需求将开局变得明晰。在某种水平上，将很多物品放入高低文会带你走得很远，由于咱们如今有很长的高低文。你或许还想要像微调这样的物品。
至于内省和被动学习的才干，这或许会智能从模型知道它们知道什么的才干中发生。模型确实对它们知道什么有一些校准。这就是为什么模型不会太幻觉。它们对自己的局限性有一些了解。雷同的那种才干可以用于像被动学习这样的物品。
幽默。我想退一步，问问你自己的历史，至少在OpenAI。你指导了ChatGPT的创立。你什么时刻看法到这些大型言语模型是要走的路？你什么时刻看法到聊天机器人或许某种指点它们的方式会是有用的？请带我走过整个谱系，从这成为你的关键关注点以及整个环节的样子。
在ChatGPT之前，OpenAI有这些遵照指令的模型。那里的想法是，咱们有基础模型，人们可以以复杂的方式揭示它们。但它们也很难揭示。它们基本上是智能成功，所以你必需用一些例子设置一个十分好的揭示。
OpenAI的人们正在钻研如何只拿基础模型并使它们更容易揭示。所以假设你只写一个疑问，它会回答疑问，而不是给你更多的疑问或相似的事件。所以咱们有这些遵照指令的模型，它们就像基础模型，但更易于经常使用一点。那些是最后部署在API中的。或许在GPT-3之后，那些是下一代模型。
同时，相对有很多人在思索聊天。谷歌有一些像LaMDA和早期的Meena
的论文。他们有这些聊天机器人。这更像是一个真正专门用于聊天义务的基础模型。它十分长于聊天。从论文的例子来看，它更多用于幽默的运行，模型会承当某种角色并伪装是那个角色。它不是那么配置性强，不能协助我重构我的代码。
所以相对有人在思索聊天。我之前在一个名为WebGPT
的名目上上班过，它更多的是在阅读和检索的协助下启动问答。当你启动问答时，它真的要求是一个聊天。你总是想问后续疑问，或许有时模型应该问一个廓清疑问，由于疑问是模棱两可的。
在咱们成功第一个版本后，很清楚下一个版本应该是会话式的。所以咱们开局钻研会话聊天助手。这是在GPT-3.5之上构建的，它在2022年终成功了训练。那个模型十分长于言语和代码。咱们很快看法到它实践上十分长于编码协助。这是咱们感到兴奋的一件事。
实践上，GPT-4在那一年的8月成功了训练。OpenAI的旗舰RL（强化学习）致力是遵照指令的致力，由于那些是正在部署到消费中的模型。GPT-4的第一批微调经常使用了整个堆栈。这些模型真的很棒，每团体在看到指令微调GPT-4后都十分兴奋。
它们真的很棒。它们偶然会给你惊人的输入，但模型显然也相当无法靠。有时它会少量幻觉。有时它会给出相当离谱的输入。所以它显然还没有完全预备好，但显然十分好。
在那之后，人们有一段时期遗记了聊天，这个代替分支。咱们进一步推进了它，咱们最终混合了一切数据集，指令和聊天数据，试图获取两个环球中最好的。聊天模型显然更易于经常使用。
它在模型知道自己的局限性方面智能具有更正当的行为。实践上，这是咱们在开发环节中感到兴奋的一件事。我看法到，很多人以为言语模型的缺点，比如悍然幻觉，或许无法完全修复，但经过相当间接的方法可以取得很大停顿。
关于聊天的另一件事是，当咱们有这些指令模型时。“以好或有协助的方式成功这段文本”的义务定义十分不明白。这个义务对模型和应该启动数据标志的人类来说都很凌乱。而关于聊天，人们有一种直观的觉得，知道一个有用的机器人应该是什么样子。所以人们更容易了解模型应该做什么。结果，模型有一个更连接的共性，更容易取得相当正当的持重行为。
幽默。任何人都可以经常使用你地下可用的微调API制造ChatGPT吗？
不完全是。我不记得哪些模型事先可以用于微调。假定咱们事先有3.5可用于微调，你可以做出相当凑近的物品。我不以为你只经常使用纯正的人类编写的数据启动一次性微调。
假设你不做RL（强化学习），咱们做了，你会想要某种迭代的监视微调，人类编辑模型生成的输入。假设你在人类生成的数据上训练，即使品质十分高，模型也很难完全顺应这些数据，由于它或许是模型能够输入的物品。你要求做一些迭代的事件，看起来更像RL。假设你这样做了，你可以十分凑近，但这将是非平庸的。
咱们还在ChatGPT之前颁布了另一个经常使用RL训练的指令模型。假设你给那个模型加上聊天包装器，你会相当凑近，但那个模型在长处上有一些差异。那个模型长于写作和诗歌，但它在知道自己的局限性、理想性等方面没有那么好。
从3.5退一步，我想我在哪里听到你说过你对GPT-2印象深入。与2019年的预期相比，AI的开展速度是比你预期的快还是慢？
自从GPT-2以来比我预期的快。我十分认同扩展规模和预训练是一个很好的主意。但当GPT-2成功时，我并没有完全信服它能彻底扭转一切。真正在GPT-3之后，我转变了我正在做的上班和我团队的上班重点。之后，咱们聚在一同说，“哦，是的，让咱们看看咱们能用这些言语模型做些什么。”但在GPT-2之后，我还不太确定。
假定咱们之前讨论的强化学习（RL）开局与这些更智能的模型更好地上班。未来在预训练和后训练之间调配的计算资源比例能否会清楚扭转，偏差于后训练？
有一些理由允许这一点。如今这个比例十分不平衡。你可以以为模型生成的输入比网络上的大局部内容品质更高。所以让模型自主思索比仅仅训练模拟网络上的内容更有意义。所以我以为这是一个首要准则的论点。
咱们经事先训练取得了很大的优化。所以我希冀咱们继续推进这种方法，并或许参与咱们投入其中的计算资源。
的GPT-4有一个Elo评分，比最后颁布的版本高出约100分。这全是由于你所议论的，由后训练带来的这些改良吗？
是的，大局部是后训练。有很多不同的改良方向。
咱们思索数据品质、数据数量。仅仅是启动更屡次的部署和搜集新数据的整个环节。还有扭转你正在搜集的注释类型。有很多要素沉积起来，但它们独特为你提供了相当可观的有效计算才干优化。
这是一个渺小的优化。很幽默的是，有这么多的改良空间来自后训练。
成为一名低劣的强化学习钻研员的要素
什么样的人才干在这种强化学习钻研中做得十分杰出？我据说这十分辣手。你领有什么样的直觉，使你能够找到这些方法来干预数据并设置这些环境？
到目前为止，我从堆栈的不同局部，从强化学习算法（这是我从钻研生时期就开局钻研的），到数据搜集、注释流程，以及愚弄言语模型，都积攒了相当多的阅历。
我想说我对这些事件有所涉猎，而且在这个钻研畛域做得好的人对整个堆栈有一些看法，并且对它的不同局部十分猎奇。你既要实证，让试验降级你的观念，但也要基于首要准则思索。假定学习有效，那么理想类型的数据搜集是什么样的？
由于没有一个模型自从GPT-4以来仿佛有清楚的提高，有一个假定是咱们或许正在到达某种平台期。这些模型实践上并没有很好地泛化，你将会遇到一个数据墙，在这个数据墙之外，经过记忆少量预训练数据集所解锁的才干不会协助你获取比GPT-4更智能的物品。
你以为这个假定是失误的吗？咱们曾经讨论了一些泛化的例子，比如从西班牙语到英语。我以为我想起的一个例子是代码到言语推理的迁徙。假设你在少量代码上训练，它会在言语推理方面变得更好吗？真的是这样吗？
你能否看到了不同模态之间的正向迁徙？假设你在少量视频和图像上训练，它会从分解数据中变得更痴呆吗？还是说，解锁的才干十分局限于你放入训练语料库确实切类型的标签和数据？
我会尝试回应一切这些。首先，咱们能否行将到达数据墙？我不会从GPT-4颁布以来的时期中得出太多论断，由于训练这些模型并为训练新一代模型做一切预备上班确实要求一段时期。
我不会从那个理想中得出太多论断。数据量有限确实存在一些应战，但我不以为咱们会立刻到达数据墙。但是，随着咱们凑近它，我估量预训练的性质会有所扭转。
关于不同类型的预训练数据的泛化，我会说，关于这类疑问启动迷信钻研相当艰巨，由于你无法创立那么多预训练模型。兴许你无法训练一个GPT-4大小的模型，并在那个规模上启动消融钻研。兴许你可以训练很多GPT-2大小的模型，甚至GPT-3大小的模型，经常使用不同的数据混合，看看你会获取什么。我不知道有任何地下的触及代码数据和推理性能的消融钻研的结果。我十分想知道这些结果。
我对某件事很猎奇。其中一个疑问是，随着模型变大，它变得更痴呆。在GPT-2级别的模型上启动消融试验，假设标明没有太多迁徙，能否可以为GPT-4级别模型在相似畛域中的迁徙水平提供证据？
对，你不能得出论断，假设迁徙在GPT-2大小上失败，那么在更高规模上也会失败。或许关于更大的模型，你学会了更好的共享示意，而较小的模型则过于依赖记忆。更大的模型可以学会启动正确的计算。我以为这在某种水平上是正确的。
这或许有一个十分便捷的答案。你在相反数量的数据上训练更大的模型，它们变得更痴呆。或许要到达雷同的智能水平，你只要求在较少的数据上训练它们。为什么会这样？它有更多的参数，看到的更少，如今它雷同痴呆。为什么会这样？
我以为没有人对参数数量的扩展规律有好的解释。我甚至不知道最好的心态模型是什么。显然，假设你有一个更大的模型，你就有更大的容量。所以你应该最终能够取得更低的损失。
为什么更大的模型更具有样本效率？我可以给你一个粗略的解释。你可以说这个模型是执行计算的不同电路的汇合。你可以构想它在并行启动计算，输入是它们的加权组合。假设你有更多的宽度……实践上宽度与深度有些相似，由于具有残差网络的深度在降级残差流中的内容方面可以相似地做宽度。
你正在并行学习一切这些不同的计算，并且你有一个更大的模型，你就领有更多的计算。所以你有更高的时机，其中一个是幸运的，最终猜想正确很多，并获取优化。
有一些算法是这样上班的，比如混合模型或乘法权重降级算法，你领有——我不想说专家的混合，由于它象征着不同的物品——基本上是专家的加权组合，有一些学习的门控。
我实践上说错了一点，但你或许会构想相似的物品。只是领有一个更大的模型，就给你更多的时机取得正确的配置。
当然，这不只仅是你正在采取线性组合的完全不相干的配置。更像是一个库，你或许以某种方式将这些函数链接在一同。有一些可组合性。所以我会说你更大的模型有更大的不同计算库，包括很多休眠的物品，只是有时会被经常使用，但它有更多的空间去寻觅电路来做一些有用的事件。
从的钻研疑问退一步，我想了解你对未来几年的模态情形的了解。在对话开局时，咱们谈到了停顿十分快的状况，但让咱们只思索模态情形。
你在某个时刻解锁了常年RL，但正如你所说，或许还有其他瓶颈。出现了什么？这些模型有多好？它们是如何部署的？它们还蕴含哪些模态，以及这些模态在什么阶段被解锁？我想了解你对未来几年更宽泛状况的看法。
我估量新模态将随着时期或相当快地被参与。我估量才干将经过预训练和后训练的结合而不时提高，并开明新的用例。
目前，AI在经济中依然不是一个渺小的局部。有相当小的一局部上班它基本帮不上忙。我估量随着时期的推移，这一比例会更高，不只是由于模型的改良，还由于人们弄清楚如何将它们集成到不同的环节中。所以即使咱们将模型固定在形态，你依然会看到它们被经常使用的方式有很大的增长。
我估量AI的经常使用将更宽泛，用于更技术性复杂的义务。我早些时刻给出了编程示例，启动更常年的名目，还协助启动各种钻研。我宿愿咱们可以经常使用AI以各种方式减速迷信，由于你或许有模型了解给定畛域中的一切文献，并能够挑选少量的数据。这超越了一团体的耐烦。
我宿愿方式要素是这样的，人们依然推进一切这些，你有协助的助手，你可以指点他们处置许多对你有用的不同疑问。每团体都将领有一切这些AI协助他们做得更多，成功更多。
显然，在某个时刻，它们将在它们想做的任何事件上比任何人都做得更好。这个环节会是什么样子？如今，它们显然只是协助你。在某个时刻，它们将能够为你做事，甚至或许为你运营整个公司。这会是一个平滑的环节吗？在这一点上，咱们能否宿愿咱们领有与用户对齐的系统，以致于它们可以指望公司以他们希冀的方式运转。
咱们或许不宿愿立刻让AI运转整个公司。咱们或许宿愿人们监视这些关键决策并颐指气使，即使模型足够好，能够自己成功运营业务。在某种水平上，或许存在选用。
我以为人们依然会有不同的兴味和想法，关于他们宿愿指点他们的AI启动什么样的幽默谋求。AI并不必定有某种固有的盼望，除非咱们将其放入系统中。所以即使AI变得十分有才干，我宿愿人们依然是AI最终要做的事件的驱动者。
我想知道经济平衡能否远离这一点，你在公司中领有相似阿姆达尔定律的物品。环节中最慢的局部将是瓶颈。
即使AI使公司的非人类局部效率提高10倍，公司依然受限于那个步骤。假设一家公司选择经过让人类介入你真正宿愿人类监视的一切事件，那么他们就会被没有人类的公司所逾越。假设一个国度选择走这条路，其他国度将击败它。我想知道坚持人类介入的方案能否可继续。
假设咱们想坚持人类介入，这仿佛是正当的，假设理想证实任何有人类介入的公司都被没有人类的公司所逾越，那么显然要求某种规则，制止没有人类介入运转整个公司。
但是任何一个国度都有很多公司，更不用说全环球了。我想知道能否最好对公司启动监管，说你必需在关键环节中坚持人类介入，但那样你必需定义什么是关键环节。
你必需监视每一家独自的公司，你还必需获取每一个有公司的国度的协作。假设这是一个疑问，能否应该在模型部署之前处置，以便假设你选择建设一个公司并依赖这些模型，它基本上会做你希冀它做的事件，你就不要求人类介入？
这个疑问有意义吗？我只是想知道，在这种状况下，咱们如何实践上监视每一家独自的公司，以确保有人类介入？假设中国选择不这样做怎样办？
你将不得不让每个国度都赞同这一监管制度，或许你要求一切的模型基础设备或模型提供商赞同这一要求。
这相对不容易。这是展望未来，所以在看到相似的物品之前很难构想这个环球。
例如，咱们真的置信AI运营的公司在各方面都更好吗？咱们能否以为它们大少数时刻更好，但偶然由于AI在某些方面依然不够样本效率而出现缺点？想想它们必需处置十分奇异状况的时刻。
AI运营的公司实践上或许有更高的尾部风险，由于它们更有或许以严重方式出现缺点。或许有一些实践疑问会选择事件的开展。兴许假设你只需求人们对各种责任担任，这也将稍微扭转处罚机制。
假定结果标明AI在运营一切方面都更杰出，而且它们也完全是善良的。假定咱们曾经完全处置了对齐疑问，它们比人类更能对人类担任。那么兴许让AI运营公司是可以的。但这还很悠远。
咱们更有或许处于这样一种状况：它们在短期内看起来更好，但它们依然存在一些严重疑问。实践上，是实践思索让你更偏差于让人类介入其中，至少在不久的未来是这样。
所以这是咱们当天必需处置的疑问，RLHF（强化学习中的人类反应）。你必需在许多不同的人类之间聚合偏好。随着未来更弱小的系统的出现，这种状况或许会愈加清楚。但当你说咱们宿愿最终完全取代公司中人类局部的AI系统要对齐时，这象征着什么？
这能否象征着它们基本上依照用户宿愿它们做的去做？这象征着它们必需发生某种咱们作为OpenAI的利益关系者满意的环球结果吗？详细来说，这象征着什么？
假设这些模型被用于更高风险的用例，那么咱们必需以与如今完全不同的方式思索RLHF。咱们还没有预备好，或许的方法或许不完全足够。咱们要求在触及的不同利益关系者的需求之间做出斗争。咱们颁布了一个名为模型规范（Model Spec）的文件。它讲述了咱们宿愿咱们的模型在API和ChatGPT中的行为方式。
咱们试图讨论这个疑问，触及不同的利益关系者，有时他们之间或许存在抵触。在咱们的状况下，咱们以为利益关系者是最终用户（坐在ChatGPT或其他运行程序前的人）、开发者（经常使用API的人，或许经常使用他们的运行程序为其他最终用户提供服务）、平台（OpenAI，咱们不宿愿模型使咱们面临法律风险）和其他的人类（包括不属于用户或客户的人）。
显然，用户或许会要求模型做一些咱们以为对其他人有害的事件。咱们或许必需拒绝。顺便说一下，这不必定是优先顺序。这些只是四类左右的利益关系者。实践上，你兴许还可以说，在未来，模型自身。咱们还没有到那一步。
无论如何，咱们有这些不同的利益关系者。有时他们的要求存在抵触。咱们必需对如何处置这些抵触做出一些选择。这并不总是显而易见的。咱们必需细心思索权衡，基本上大抵的启示式方法是咱们宿愿模型关键遵照你的指示，对用户和开发者有协助。
但是当这影响到其他人的幸福或生存方式时，这就成为一个疑问，咱们必需阻止某些类型的经常使用。咱们关键宿愿模型成为人们意志的加长，依照他们说的去做。咱们不想过于家长式。咱们宿愿坚持中立，不强加咱们的观念。咱们关键宿愿让人们用模型做他们想做的事件。
我无时机事前阅读了规范。这是关于它如何很好地转移到模型自身的行为的疑问。我对权衡的正当性印象深入。我置信实践的边缘案例被明白陈说，而不是那些显而易见的事件。在这种状况下，你真的是在谋求边缘案例。
咱们宿愿它十分可行，而不只仅是一些听起来不错的准则。每个例子都会通知你一些关于某种非显而易见状况的信息，并经过那种状况启动推理。
钻研现状、平台期和护城河
我有几个关于钻研自身的疑问。在社会迷信中，妇孺皆知，事件真的很难复制。有一个疑问是关于有多少迷信是实在的，以及有多少是制造的、定制的试验。当你看到平均的机器学习论文时，它觉得像是真正扎实的文学作品，还是经常觉得像是社会迷信中的p-hacking（一种数据开掘手法）？
大家对机器学习文献都有埋怨。总体而言，我以为这是一个相对肥壮的畛域，特意是与社会迷信等畛域相比。它关键基于适用性，让事件奏效。假设你宣布了一些不能随便复制的物品，人们就会遗记它。
人们普遍接受，你不只仅报告某人论文中的数字。你还尝试从新成功他们的方法，并将其与你的方法在同一训练数据集上启动比拟。假设你宣布的方法很难成功或许十分挑剔，它们往往会被遗忘。
因此，人们实践上会尝试开明他们的上班。还存在各种不利的处罚措施。人们被处罚使他们比拟的基线方法变得更糟。还有其他细微的病态，比如试图让你的方法在数学上看起来更复杂。
但总的来说，我以为这个畛域正在取得停顿。我宿愿看到更多的迷信和尝试了解事物，而不只仅是在基准测试上的爬山和提出新方法。最近曾经有了相当多的成绩。咱们可以有更多的成绩。我以为这对学者来说是一个值得钻研的好畛域。
另外，我真的很等候看到更多经常使用基础模型启动模拟社会迷信的钻研。这些模型对整个环球有概率模型，你可以设置模拟问卷或对话，并检查任何事物的关系性。任何你可以构想到的特质，你都可以看到它们如何与其他特质关系。
假设人们能够经过以不同方式揭示基础模型并检查关系性，来复制社会迷信中一些更值得留意的成绩，比如品德基础等，那将是十分酷的。
那个斯坦福的试验是什么？阿希从众试验？假设这也能用言语模型复制，那就幽默了。我想问一问大试验室出现的其他钻研。其中有多少是在参与或缩小取得特定结果所需的计算量，作为实践的计算乘数，以及有多少只是在使学习更稳固和构建基础设备？
我想问的更宽泛疑问是，自从GPT-4以来，能否觉得用相反的计算量，你可以训练一个更好的模型？还是觉得你曾经确保学习可以以更好、更可扩展的方式出现，用GPT-5，但如今咱们不能用GPT-3.5的估算训练GPT-4？
在提高效率方面必需不时在取得停顿。每当你有一个1D性能目的时，你会发现不同的改良可以相互代替。你或许发现后训练和预训练都提高了目的。它们在提高哪些目的方面有不同的特点。
但归根结底，假设你有一个繁多的数字，它们都会在某种水平上相互代替。关于像人类评价这样的事件，人类更青睐什么，咱们必需在预训练和后训练两方面都取得了很多停顿，以改善这一点。
关于RLHF（强化学习中的人类反应），我有几个极速的疑问。显然，RLHF关于使这些模型有用很关键。所以兴许“阉割”的形容是不准确的。
但是，一旦一切这些模型都以聊天机器人的方式出现，它们就有一种十分相似的说话方式。它们真的想“深化”到事件中去。它们想把事件变成名目符号。它们通常仿佛有一种正式和有趣的说话方式。
有人埋怨它们不够有发明力。就像咱们之前讨论的，它们只能做押韵诗而不是非押韵诗，直到最近。这是不是由于RLHF如今的不凡方式？假设是的话，是由于评价者是谁吗？是由于损失函数是什么吗？为什么一切聊天机器人看起来都这样？
我会说，在训练环节中确实有很大的变动空间。咱们正在踊跃尝试改良这一点，使写作愈加生动幽默。咱们在改良ChatGPT的共性方面取得了一些停顿。当你和它聊天时，它更幽默，不那么机械。
幽默的是，一些特点是如何发生的，比如“深化”这个词。我最近实践上发现自己在经常使用这个词。我不知道是不是从模型中耳濡目染地影响了我。
实践上，或许还有一些幽默的效果，即在言语模型和提供者之间出现了有意的蒸馏。假设你雇人去做标志义务，他们或许只是把它输入到模型中。他们或许正在经常使用他们最青睐的聊天机器人，输入它，让模型执行义务，而后复制并粘贴回来。这或许解释了其中的一些趋同。
咱们看到的一些事件只是人们所青睐的。人们确实青睐名目符号。他们青睐结构化的回答。人们通常确实青睐从模型那里获取的少量信息倾倒。
所以如今还不清楚有多少只是后训练环节中特定选用和设计的怪癖，以及多少实践上是人们真正想要的。
它确实仿佛比一些人想要的愈加啰嗦。兴许只是由于在标志阶段，评价者更青睐愈加啰嗦的答案。我想知道这能否是由于预训练的方式而固有的，中止序列并不经常出现，它真的想继续启动。
评价中或许存在一些造成啰嗦的成见。咱们偏差于一次性训练一条信息，而不是整个交互。假设你只看到一条信息，那么只要一个廓清疑问，或许或许是一个冗长的回答，约请后续跟进，看起来就不那么完整，而那些涵盖一切或许性的内容看起来更完整。
还有一个疑问，就是人们能否更青睐模型即时输入的文本。显然，假设你坐在那里等候标志出现，你会宿愿它间接进入重点。但假设它立刻给你一堆文本，兴许你并不在意能否有很多模板化的内容，或许有很多你将极速阅读的内容。你宁愿领有一切这些。
处罚模型是一个十分幽默的工件，由于它是最凑近咱们领有的关于人们想要什么以及他们有什么偏好的物品。我在想更痴呆的模型。一个宿愿是，你可以只给它一个咱们想要的不琐碎和清楚的清单，比如联结国人权宣言。
另一方面，我想我听到你的观念，咱们的许多偏好和价值观十分巧妙，所以它们或许最好经过成对偏好来示意。当你想到GPT-6或GPT-7级别的模型时，咱们是给它更多的书面指示，还是咱们依然在做这些潜看法的偏好？
这是个好疑问。这些偏好模型确实学到了人们偏好的许多巧妙之处，这些在说明书中很难表述。显然，你可以编写一个有很多比拟例子的说明书。这就是模型规范所领有的。它有很多例子和一些解释。目前还不清楚形容偏好的最佳格局是什么。
我猜想，无论你能从一个大的数据集中获取什么含糊的偏好，你都可以将其蒸馏成一个更短的文档，关键捕捉到这些观念。更大的模型确实智能学到了很多这些概念，人们或许觉得有用和有协助。它们将有一些复杂的品德实践可以依托。当然，还有很多空间可以依托不同的格调或不同的品德观。
所以假设咱们写一个文档，假设咱们想要对齐这些模型，咱们正在做的是依托一种特定的格调，一种特定的品德观。你依然要求一个相当长的文档来准确捕捉你想要什么。
更好的后训练有多少护城河？公司目前经过它们的模型有多大来辨别自己。这将是一个大护城河，关于曾经弄清楚你之前谈到的一切这些细节的人来说，关于一切这些数据？
它有必定的护城河，由于它只是一个十分复杂的操作，要求很多有技艺的人来做。要求少量的默示常识和组织常识。
有了后训练，要创立一个实践上具有人们关心的一切配置，这是相当复杂的。它要求相当复杂的致力和少量的研发积攒。这让它有必定的护城河。它不是立刻就能启动的。看起来，雷同仔细启动预训练的公司也在仔细启动后训练。
在某种水平上，复制或启动更多的这些致力是或许的。还有一种力气让它不那么成为护城河。你可以蒸馏模型，或许你可以驳回他人的模型并克隆输入。你可以经常使用他人的模型作为评委启动比拟。
更大的联盟或许不会这样做，由于这违犯了服务条款政策。这也会打击他们的自尊。但我估量一些较小的介入者会这样做来起步。这在很大水平上可以赶上。
我想这有助于肃清护城河。中位数评价者是什么样的？他们在哪里？他们的政治观念是什么？他们的常识水平如何？
这有很大的不同。咱们相对雇佣了不同技艺的评价者来成功不同类型的义务或名目。一个不错的心智模型就是看看在Upwork等平台上的人。看看那些从事远程上班的零工的人。
这是一个相当国内化的个体。在美国有相当多的人。咱们为不同类型的标志雇佣不同的人群，比如咱们能否更专一于写作或STEM义务。从事STEM义务的人更有或许在印度或其他中低支出国度。从事更多英语写作和写作的人更偏差于在美国。
有时咱们要求为一些优惠雇佣不同的专家。有些人十分有才气，咱们甚至发现他们在执行这些义务上至少和咱们这些钻研人员一样好，他们比咱们更细心。我会说咱们如今的人十分熟练和仔细。
关于平台期的叙说，我据说其中之一是这些模型协助您处置特定事件的许多才干与在监视式微调数据集中具有十分凑近的标签无关。这是真的吗？
它能教我如何正确经常使用FFmpeg吗？就像有人看到输入，看到您要求参与的标志，并且有人计算出并婚配那个。你要求雇佣一切这些在各个畛域具有畛域专业常识的标签评价者吗？假设是这样的话，看起来要让这些模型随着时期的推移变得越来越痴呆将是一个更大的应战。
你并不确切要求那样。你可以从泛化中获取很多。基础模型曾经在少量文档、代码、shell脚本等上接受过训练。它曾经看过一切的FFmpeg手册页，很多Bash脚本等。
即使只是给基础模型一个好的大指示例揭示，你也能让它回答这样的疑问。即使没有在任何STEM上训练，仅训练一个偏好模型以协助性，也会在必定水平上泛化到STEM。所以不只你不要求FFmpeg的经常使用示例，你甚至或许不要求任何编程关系的物品就能在编程畛域获取一些正当的行为。
兴许是最后一个疑问。咱们曾经以不同的方式提到了这一点，但让咱们把它整合起来。你说你正在训练更多的多模态数据。可以预感，这些物品将了解屏幕的外观，并将能够以更连接的方式与它们交互。而且你还将启动这种常年RL，所以它们将能够作为代理在系统中上班，并以更集成的方式成为你上班流程的一局部。
你希冀它看起来像什么？从那里的下一步是什么？假定在年底或明年，你有一个可以与你在屏幕上上班的助手。希冀这样的事物仿佛是正当的吗？从那里开局，它会去哪里？
我相对希冀事件朝那个方向开展。目前还不清楚什么是最好的方式要素。它或许是像Clippy在你的电脑上协助你，或许它更像是云中的一个有协助的共事。咱们将看看哪种方式要素最有效。我希冀人们尝试一切这些。
我希冀一个有益的助手或有益的共事的心思模型变得愈加实在。它将是你可以分享更多日常上班的物品。而不只仅是给它一次性性查问，你将有一个你不时在做的整个名目，它知道到目前为止你在那个名目上所做的一切。
它甚至可以被动提出倡导。兴许你可以通知它记得问我这个，假设我在这方面取得了任何停顿。被动性是不时缺失的物品之一。我宿愿能从一次性性查问、像搜查引擎一样经常使用模型，转向与模型协作启动整个名目。在这种状况下，它知道我所做的一切。它被动倡导我尝试的事件，或许它在后盾启动上班。
这真的很有意思。这是最后一个疑问。你被取代上班的中位数时期表是什么时刻？
哦，它取代我的上班？兴许五年。
相当快。幽默。John，这次说话十分幽默。十分感谢你抽出时期。这仿佛是人工智能环节中十分关键的一局部，而人们对此不太了解。深化讨论并听取你的想法十分幽默。
谢谢你约请我参与播客。议论这些事件很幽默。
本文转载自，作者：
