AGI使命无比艰巨 又一OpenAI钻研员离任！不置信OpenAI能造福环球

就在刚刚，OpenAI控制钻研员Richard Ngo宣布离任。

Ngo示意，他对过去一年里出现的事情有很多未解的疑问，这使得他更难置信自己的上班能在常年内造福环球。他逐渐看法到，想要成功OpenAI的使命——让AGI良好开展，是如许艰巨。

Ngo自2021年起添加OpenAI，之前曾在Google DeepMind担任AI安保钻研员。

近来，OpenAI中专一于AI安保的员工接连出奔，Ngo是最新的一位。

OpenAI钻研迷信家、德扑之父Noam Brown送上了祝愿。

前OpenAI员工（往年8月离任）回想道，自己是经过Ngo「AGI安保基础」课程才接触到AI安保的，并祝他未来一切顺利。

离任信全文

在过去的三年里，我不时在Miles的指导下上班，因此在他分开之后，很人造，我仿佛也该分开了。没有一个繁多的关键要素促使我做出这个选择。

关于过去一年出现的事情，我依然有很多未解的疑问，这让我更难以置信我的上班能常年为环球带来侧面影响。我也不时觉得自己更偏差于地下地启动更多的迭代，并与更多协作者一同讨论多种钻研方向。

接上去的几个月里，我计划关键启动独立钻研，内容包含AI控制和通常性AI对齐疑问的联合，而后再看看未来的方向如何。

虽然教训了许多挫折，我真的很享用在OpenAI的光阴。我无时机介入许多令人着迷的议题，包含预测、要挟建模、模型规格和AI控制，并与一群不时发明历史的、出色的人一同上班。

当我面对那些新添加公司的成员时，我很难向他们传递OpenAI最后的雄心壮志：设定了让AGI良好开展的使命。

虽然「开展AGI」这一局部的义务仿佛已在正确轨道上，我（和其他人）却逐渐看法到，想要对「良好开展」这一局部的义务作出踊跃奉献，远比预期的要艰巨得多，特意是须要预防它对人类生活的要挟。

局部是由于预测未来自身就很艰巨，同时由于AGI前景的渺小规模，容易放小孩儿们的成见、正当化和部落主义偏差（包含我自己）。

无论好坏，我估量危险将会继续加大，因此我宿愿你们都能以正直、深思熟虑的态度，以及明晰的判别，来应答你们（以及OpenAI）在这些危险中的角色，明白何时以及如何做出的选择才干真正服务于咱们的使命。

常年深耕AI安保

继许多专一于AI安保的员工离任OpenAI后，Richard Ngo的离任特意具无心味意义。

要知道，他是AI安保社区中一个有影响力的声响，自2018年以来不时努力于AI安保钻研——而ChatGPT是在2022年底才开局风行环球。

他是论文《The Alignment Problem from a Deep Learning Perspective》的独特作者，该论文已在ICLR上宣布。

他还搜集了很多网络上的学习资料，编成了一系列「AI Alignment」的课程。

Ngo还是一个十分具有人文气息的科技从业者。这也不难解释他对OpenAI初心的据守，以及对AI安保未来的担心。

他在剑桥大学取得了机器学习哲学的哲学博士学位（2020–2021），并在同校取得了计算机迷信的哲学硕士学位（2017–2018）。此外，他还在牛津大学取得了计算机迷信与哲学的文学学士学位（2014–2017）。

他还在博客里撰写「AI Autofiction」（AI自传小说），在其中形容了从未来AI的角度来看环球或者是什么样子。

AI安保员工出奔潮

近来，许多专一于AI安保的员工都先后离任OpenAI。

OpenAI七年元老、安保副总裁Lilian Weng，于上周宣布离任。

OpenAI六年元老、钻研主管Miles Brundage，同时也是Ngo的下属，于上个月离任。

再往前追溯，往年早些时刻，OpenAI的超级对齐独特担任人Ilya Sutskever和Jan Leike也分开了公司。

Leike曾示意，「OpenAI的安保文明和流程已被夺目的产品所取代」。

许多其余专一于安保的员工，包含William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等，也都相继离任。