AI 开源

依据最新信息，开源人工智能（AI）和机器学习（ML）模型中已披露了三十几个安保破绽，其中一些破绽或许造成远程代码口头和信息窃取。

在 ChuanhuChatGPT、Lunary 和 LocalAI 等工具中发现的这些破绽已作为 Protect AI 的 Huntr 破绽悬赏平台的一局部启动了报告。

其中最严重的破绽是影响大型言语模型（LLM）消费工具包 Lunary 的两个破绽：CVE-2024-7474 (CVE-2024-7474) 和 CVE-2024-7474（CVE-2024-7474）。

在 Lunary 中还发现了另一个 IDOR 破绽（CVE-2024-7473，CVSS 得分：7.5），该破绽准许恶意行为者经过操纵用户控制参数来降级其余用户的提示。

Protect AI 在一份通告中解释道 ：攻打者以用户 A 的身份登录并阻拦降级提示符的恳求，经过将恳求中的'id'参数修正为属于用户 B 的提示符的'id'，攻打者可以在未经授权的状况下降级用户 B 的提示符。

第三个严重破绽触及 ChuanhuChatGPT 用户上行性能中的门路遍历破绽（CVE-2024-5982，CVSS 得分：9.1），该破绽或许造成恣意代码口头、目录创立和敏感数据暴露。

LocalAI是一个开源名目，准许用户运转自托管的LLM，该名目还发现了两个安保破绽，或许准许恶意行为者经过上行恶意性能文件口头恣意代码（CVE-2024-6983，CVSS评分：8.8），以及经过剖析主机的照应期间猜想有效的API密钥（CVE-2024-7010，CVSS评分：7.5）。

Protect AI 示意，该破绽准许攻打者口头定时攻打，这是一种侧信道攻打，经过测量处置不同 API 密钥恳求所需的期间，攻打者可以一一字符推断出正确的 API 密钥。

此外，还有一个影响 Deep Java Library（DJL）的远程代码口头破绽，该破绽源于软件包的 untar 函数中的恣意文件笼罩破绽（CVE-2024-8396，CVSS 得分：7.8）。

该破绽或许会造成代码口头和数据窜改。英伟达在发布补丁修复其NeMo生成式人工智能框架中的门路遍历破绽（CVE-2024-0129，CVSS评分：6.3）的同时，也披露了这一破绽。倡导用户将其装置降级到最新版本，以确保其 AI/ML 供应链的安保并防范潜在攻打。

破绽披露之前，Protect AI 还发布了开源 Python 静态代码剖析器 Vulnhuntr，该剖析器可应用 LLM 在 Python 代码库中查找零日破绽。

Vulnhuntr 的上班原理是在不影响 LLM 高低文窗口（LLM 在单个聊天恳求中可解析的信息量）的状况下，将代码合成成小块，从而标志出潜在的安保疑问。

Dan McInerney 和 Marcello Salvati 说：它会智能在名目文件中搜查或许最先处置用户输入的文件。而后，它会摄取整个文件，并回复一切潜在破绽。

应用这份潜在破绽清单，它将继续成功从用户输入到主机输入的整个函数调用链，对整个名目中的每个潜在破绽一一函数/类启动剖析，直到它对整个调用链感到满意，能力启动最终剖析。

撇开人工智能框架的安保破绽不谈，Mozilla 的 0Day 考查网络（0Din）发布的一项新越狱技术发现，以十六进制格局和表情符号编码的恶意提示可用于绕过 OpenAI ChatGPT 的防护措施，并对已知的安保破绽精心设计破绽应用。

安保钻研员马尔科-菲格罗亚（Marco Figueroa）说：越狱战略应用了言语破绽，批示模型处置一项看似有害的义务：十六进制转换。因为该模型经过优化，可以遵照人造言语的指令，包含口头编码或解码义务，因此它实质上并没无看法到转换十六进制值或许会发生有害输入。

发生这一破绽的要素是，言语模型被设计为循序渐进地口头指令，但不足深化的高低文看法，不可在其最终指标的大背景下评价每个独自步骤的安保性。