干流AI算力框架破绽要挟世界数千大模型

近日，出名网络安保公司Oligo Security发现人工默认行业干流算力框架Ray的一个未修复安保破绽正被黑客野外大规模应用，攻打AI上班负载并窃取敏感（消费）数据和算力。

包括亚马逊、字节跳动、Uber、OpenAI等数以千计的人工默认企业遭到影响，数百个集群曾经遭到攻打，超越10亿美元算力遭到“劫持”。

干流算力框架遭逢七个月野外攻打

像ChatGPT和GPT-4，以及国际的月之暗面（Kimi）等超大模型曾经展现了惊人的内容生成才干和裁减才干，而允许这些模型“横蛮成长”的基础技术除了数以万计的上流GPU算力卡，还包括治理和编排这样大规模GPU集群来提供足够并行计算才干的AI算力框架，其中最盛行也最关键的，非Ray框架莫属。

Ray是由Berkeley加州大学计算机传授Ion Stoica开办的Anyscale公司开发的开创性散布式AI框架，被数以千计运转AI基础设备的公司驳回。包括OpenAI、亚马逊、Shopify、Uber、字节跳动在内的数以千计的公司经常使用Ray框架允许ChatGPT这样动辄超越千亿参数的超大模型训练所须要的大规模底层基础算力资源提升和调度。

此外，很多干流大模型名目还依赖Ray来允许SaaS、数据和AI上班负载，充沛应用Ray的高可裁减性、速度和效率长处。

依据Oligo Security的报告，Ray框架曝出的破绽编号为CVE-2023-48022，在过去7个月中不时被踊跃应用，触及教育、加密货币、动物制药等多个行业。一切经常使用Ray框架的企业和机构都应审核其基础设备环境，确保没有破绽暴露，并剖析任何可疑优惠。

AI算力基础设备破绽野外应用第一案

2023年底，AI上班负载干流开源框架Ray曝出五个破绽，这些破绽由Bishop Fox、BryceBearchell和Protect AI团队区分披露（局部同时披露）。破绽披露后，Ray的开发者和保养者Anyscale发布了一篇博文启动回应，廓清事情始末并具体引见了每个破绽的修复打算。

只管报告的五个破绽中有四个曾经在Ray 2.8.1版本中获取修复，但CVE-2023-48022破绽仍存在争议。Anyscale并未将其视为安保危险，因此没有提供即时修复打算。

由于存在争议，许多开发团队（以及大少数静态扫描工具）都没无看法到CVE-2023-48022的潜在危害。一些团队或者错过了Ray的关系文档，另一些则基本不知道此破绽的存在。

OligoSecurity的钻研人员观察到，CVE-2023-48022破绽正被踊跃应用，这使得原本争议的破绽变成了“影子破绽”——此类破绽不会在静态扫描中浮现，却能造成安保破绽和严重损失。

Oligo的钻研团队将此破绽命名为ShadowRay，是首个已知人工默认基础设备破绽被用于攻打人工默认上班负载的案例。

钻研发现，世界范畴内已有数千台部署在公共网络上的Ray主机因该破绽被攻陷，有些主机甚至曾经失陷至少7个月。其中许多主机蕴含了历史命令记载，这使得攻打者更容易了解主机上的内容，并或者暴露消费环境中之前经常使用过的敏感秘密消息。

受Ray破绽影响，数百家公司曾经暴露于远程代码口头(RCE)危险之中，其中一些公司至今仍未修复破绽。（文末链接的报告提供了完整的IoCs列表）。

AI算力基础设备损失超10亿美元

截至目前，Oligo已发现数百个受感化的AI算力集群。每个集群由许多节点组成，这些节点是经过网络衔接到集群的机器。大少数节点都有GPU，攻打者经过装置不同类型的挖矿软件应用GPU启动加密货币挖矿优惠。

换而言之，攻打者选用攻打AI算力集群不只是由于他们可以取得有价值的敏感消息，而且由于GPU算力资源十分低廉且难以取得。

GPU机器的按需多少钱关键取决于GPU类型和内存。截至发稿，AWS上的GPU按需多少钱每台机器的年老本可高达85.8万美元。

依据Oligo过去几周的监测，或者已遭到攻打的机器和算力总估值近10亿美元。