肯睿Cloudera颁布AI推理服务 携手NVIDIA减速企业生成式AI开发与部署

可信的数据、剖析和AI混合平台厂商肯睿Cloudera当天颁布了由NVIDIA NIM微服务驱动的肯睿Cloudera AI推理服务,该服务同时成为NVIDIA AI Enterprise平台的一局部。作为业界首批提供嵌入式 NIM微服务性能的AI推理服务之一,肯睿Cloudera AI推理服务以共同模式简化了大规模AI模型的部署与控制,使企业能够施展出其数据的真正后劲,将生成式AI从试点阶段推进到片面消费阶段。

依据德勤最新数据显示,企业采用生成式AI的最大阻碍是合规危险和控制疑问。虽然如此,生成式AI仍在极速遍及,往年第三季度有超越三分之二的企业参与了生成式AI估算。为了缓解上述疑问,无论在本地,还是在私有云中,企业都必定转向私有AI模型和运行。为此,企业须要安保、可裁减的处置方案来防止复杂的自行处置方法。

肯睿Cloudera AI推理服务经过在企业控制范围内提供安保开发与部署,防止敏感数据暴露到云服务商托管的非私有AI模型服务中。这项NVIDIA技术驱动的服务协助企业极速构建成功可信AI所需的可信数据,允许企业高效开发AI驱动的聊天机器人、虚构助手和代理运行,从而优化消费劲并成功业务增长。

肯睿Cloudera在与NVIDIA协作后不久就推出了肯睿Cloudera AI推理服务,进一步强调了肯睿Cloudera的承诺,即在各行各业应答数字化转型与AI集成复杂性的关键时辰,不时推进企业AI翻新。

开发者可以经常使用NVIDIA Tensor Core GPU构建、定制和部署企业级大言语模型(LLM) ,其性能最高可优化36倍,吞吐量是经常使用CPU时的近4倍。用户界面(UI)和API可与NVIDIA NIM微服务容器间接集成,不再须要经常使用命令行界面(CLI)和独自的监控系统,为用户带来了无缝连贯体验。该服务与肯睿Cloudera AI模型注册表集成后,还可经过控制模型端点和操作的访问控制改善安保性和控制。用户能够在一个一致平台上经过一项服务无缝控制一切模型,无论是LLM部署,还是传统模型都不例外。

肯睿Cloudera AI推理服务的其余重要性能包含:

行业剖析师Sanjeev Mohan示意:“企业正对投资生成式AI激情高涨,但这不只须要可裁减的数据,还须要安保、合规且控制良好的数据。将私有AI大规模投入消费带来了DIY方法难以处置的复杂性。肯睿Cloudera AI推理服务经过将先进的数据控制与NVIDIA的AI专业技术相结合补偿了这一差距,在包全数据的同时施展数据潜能。仰仗服务帐户、访问控制、审计等企业级安保性能,企业可以安心肠包全自己的数据,并在本地或云中运转上班负载。以其所需的灵敏性和控制模式高效部署AI模型。”

肯睿Cloudera首席产品官Dipto Chakravarty示意:“咱们十分快乐能与NVIDIA携手推出肯睿Cloudera AI推理服务,为客户提供一个允许简直一切模型和用例的一站式AI/ML平台。如此一来,企业既可以经常使用咱们的软件创立弱小的AI运行,也可以在肯睿Cloudera平台中运转性能出色的AI运行。经过集成NVIDIA AI,肯睿Cloudera能够以先进的性能促成决策的智能化,经常使用可信数据大规模构建可信的AI运行,从而允许客户不时翻新。”

NVIDIA AI软件、模型和服务副总裁Kari Briski示意: “当今企业须要将生成式AI与其现有的数据基础设备无缝集成,从而优化业务成绩。经过将NVIDIA NIM微服务整合到肯睿Cloudera AI 推理服务平台中,咱们允许开发者能够轻松创立可信的生成式AI运行,同时构成一个自我维持的AI数据飞轮。”

肯睿Cloudera大中华区技术总监刘隶放示意:“在中国,随着生成式AI的迅速遍及,企业对安保、合规且具有本地化部署才干的AI处置方案需求愈发剧烈。Cloudera AI推理服务结合了NVIDIA的上游技术,协助中国企业在严厉的数据隐衷要求下成功AI运行的极速落地与裁减。这一处置方案不只允许企业自主掌控数据,还能有效优化AI模型的性能,为中国企业的数字化转型提供强有力的允许。”

您可能还会对下面的文章感兴趣: