顶穿天花板！AI编程初创公司应战1亿高低文窗口 编码才干超级加倍！
编辑 | 言征
超长高低文窗口的天花板来了！
刚刚发表新一轮3.2亿美元融资的AI编码初翻新星Magic刚刚放出了一个重磅炸弹：
推出首个1亿高低文窗口的模型 LTM-2-mini！
想一下，1亿高低文窗口，相当于你可以在prompt中间接丢给大模型1000万行代码或许750本英文小说，而后通知大模型一次性性消化这些内容，并从这些内容中获取你想要的答案，而不用再须要来一次性微调、SFT，就可以极低老本的让大模型秒变成一个定制版的。
1.AI辅佐编程的新角逐点：超长高低文窗口
AI辅佐编程赛道十分卷，巨头投入的产品也不少，包括微软很早就投入的GitHub Copilot。但 Magic 的翻新之一在于其模型的超长高低文窗口。
Magic 宣称其最新型号 LTM-2-mini 领有 1 亿个 token 高低文窗口。（token 是原始数据的细分位，例如单词“fantastic”中的音节“fan”、“tas”和“tic”。）1 亿个 token 相当于大概 1000 万行代码或 750 本小说。它是迄今为止一切商业型号中最大的高低文窗口；第二大是Google 的 Gemini 旗舰型号，领有 200 万个 token。
PS：国际上一次性掀起长文本窗口热潮的还是Kimi，可以处置200万字高低文。
Magic 将自己模型的架构称为“常年记忆网络”（Long-term Memory Network），简称“LTM”。
“咱们的LTM模型不依赖于含糊记忆，而是经过训练，可以对推理环节中给予的多达1亿个高低文标志启动推理。……可以构想，假设模型中蕴含了代码、文档和库（公共互联网上不存在的内容），代码分解的品质将会有如许好。”
此外，Magic还披露了关于超长高低文方面的停顿，经过思想链式哈希训练，LTM-2-mini的序列维度算法比Llama3.1 405B中的留意力机制还要廉价，是后者的1/1000。而在内存须要方面，LTM只要要每个用户单个HB100的一小局部。
Magic 示意，得益于其久远背景，LTM-2-mini 能够为一个开源名目成功一个明码强度计，并简直自主地经常使用自定义 UI 框架创立一个计算器。
可以仅经过代码库和聊天，在无需关上文件、编辑记载或其余批示符的状况下就能成功自定义高低文框架
该公司目前正在训练该模型的更大版本。
2.Magic的野心：智能编程仅是开局，AGI才是终极
Magic 的团队规模很小，只要二十几团体，而且没有什么支出，但Magic的野心很足，商业幅员中，智能编程也仅是刚刚开局。
当然，首选编程赛道是一个理智的选用。据 Polaris Research 预计，到 2032 年，Magic 瞄准的市场价值或许到达 271.7 亿美元，投资者以为这是一项值得的、而且或许十分无利可图的尝试。
虽然人们对人工智能辅佐编码工具的安保性、版权和牢靠性存在担心，但开发人员对它们体现出了激情， GitHub 最新民心考查中的绝大少数受访者示意，他们曾经以某种方式驳回了人工智能工具。微软 4 月份报告称，Copilot 领有 超越 130 万付费用户和超越 50,000 个商业客户。
但是，Magic 的野心远不止于成功惯例软件开发义务的智能化。该公司在网站上谈到了通往 AGI 的路线——即比人类更牢靠地处置对齐等疑问的人工智能。
他们不仅是说说而已，而是有了自己坚信的成功门路，他们宿愿结合前沿的预训练、特定畛域的强化学习、超长高低文、测试期间计算这些技术来成功这一指标。
为了成功此类人工智能，总部位于旧金山的 Magic 最近延聘了 OpenAI 超级计算团队前担任人 Ben Chess，并方案扩展其网络安保、工程、钻研和系统工程团队。
3.狂揽近5亿美金
Magic是一家人工智能初创公司，努力于创立模型来生成代码并智能口头一系列软件开发义务，该公司已从包括前谷歌首席口头官Eric Schmidt在内的投资者那里顺利筹集了巨额资金。
周四，Magic在一篇博客文章中示意，它成功了一轮 3.2 亿美元的融资，投资者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。这笔融资使该公司的总融资额到达近 5 亿美元（4.65 亿美元），使其跻身资金雄厚的 AI 编码初创公司行列，其成员包括Codeium、Cognition、Poolside、Anysphere和Augment。（幽默的是，施密特也允许 Augment。）
7 月份，路透社报道称，Magic 正寻求以 15 亿美元的估值筹集超越 2 亿美元。显然，这轮融资超出了预期，虽然这家初创公司目前的估值不可确定；Magic 在 2 月份的估值为 5 亿美元。
4.牵手巨头，与谷歌、英伟达启动协作
Magic 本周四还发表与 Google Cloud协作，在 Google Cloud Platform 上构建两台“超级计算机”。Magic-G4 将由 Nvidia H100 GPU 组成，而 Magic G5 将经常使用 Nvidia 方案于明年上线的下一代 Blackwell 芯片 Nvidia GB200。
Magic 示意，其指标是将后者集群扩展到“数万个” GPU，并且这些集群一同将能够成功 160 百亿亿次浮点运算，其中 1 百亿亿次浮点运算相当于每秒一千万亿次计算机运算。
Magic 联结开创人兼首席口头官 Eric Steinberger 在一份申明中示意：“咱们很快乐与谷歌和 Nvidia 协作，在谷歌云上打造咱们的下一代人工智能超级计算机。Nvidia 的 [Blackwell] 系统将大大提高咱们模型的推理和训练效率，而谷歌云为咱们提供了最快的扩展期间表和丰盛的云服务生态系统。”
5.开创人：从高中开局的极客生涯
Eric Steinberger和Sebastian De Ro于 2022 年独特创立了 Magic。在此前的采访中，Steinberger通知 TechCrunch，他从小就被人工智能的后劲所启示；高中时，他和好友们把学校的电脑衔接起来，启动机器学习算法训练。
这段教训为Steinberger进入剑桥大学攻读计算机迷信学士学位埋下了伏笔（一年后他退学了），起初他进入 Meta 担任人工智能钻研员。De Ro来自德国业务流程治理公司 FireStart，在那里他一路升职为首席技术官。Steinberger和De Ro在前者独特创立的环境志愿者组织 ClimateScience.org 相识，一拍即合开办了Magic。
Magic 开发了AI驱动的软件开发工具，旨在协助软件工程师编写、审查、调试和布局代码更改。这些工具的运作方式相似于智能配对程序员，试图了解并始终学习各种编码名目的背景。
目前这些工具并不不要钱，但经常使用须要填写waitlist：
6.写在最后：“小团队，高融资”不足为奇
AI时代的守业，仿佛有一个“小团队，高融资”的现象：一个几人、十几人的小团队就可以融到上亿美元的融资（OpenAI掌舵人Altman的观念）。
雷同Magic也是如此，目前该公司一共23名员工。不过硬实例也没得说：Infra方面，十分豪横，8000台H100；Magic团队此轮更是拿到了3.2亿美融资的融资，谷歌和和英伟达的允许；人才密度上，前OpenAI成员的添加更是锦上添花。
回到AI产品畛域，咱们看到大模型的钻研前沿，正在悄悄出现变动，之前开展得重点是在训练层面的参数规模、数据多模态，而如今咱们看到的是推理才干的退化：超长文本、推理期间计算、强化学习、对齐等。
可以看到，AI辅佐赛道的角逐，曾经成为了这波AI守业浪潮中的一个风向标。
本文转载自 技术栈 ，作者：言征
