生成式 Foundry 模型 赋能环球企业打造自定义 3.1 NVIDIA Llama AI 全新颁布 AI

无须置疑，生成式 AI曾经成为驱动千行百业翻新与开展的关键技术。在 AIGC的加持下，企业正在踊跃探求新的商业形式，提高消费效率，为用户带来愈加优质的服务体验。为了推进大模型运行的开展，进一步减速生成式AI在千行百业的落地，NIVIDA 于近日正式推出了全新 NVIDIA AI Foundry 服务和 NVIDIA NIM™ 推理微服务，与雷同刚推出的 Llama 3.1 系列开源模型一同，为环球企业的生成式 AI 提供强力允许。

作为 NVIDIA 提供的一项服务，NVIDIAAI Foundry 旨在协助企业构建、优化和部署人工默认（AI）模型。这项服务是 NVIDIA 在推进 AI 翻新和遍及方面的一局部，它为企业提供了一系列工具敌对台，以便更极速、更高效地开发和实施 AI 处置方案。

赋能企业应用 Llama 3.1 构建“超级模型”

刚刚颁布不久的Llama 3.1系列大模型，性能有了很大的优化。依据官网数据显示，在150多个基准测试集中，405B版本的体现追平甚至逾越了现有SOTA模型GPT-4o和Claude3.5 Sonnet。作为允许开源AI的模型，Llama3.1提供初级性能，并优化训练栈和推理才干，并允许开源和宽泛生态协作。

马克·扎克伯格示意，除了领有更高的性能和更初级性能之外，全新的 Llama 3.1 模型是开源 AI 迈出极端关键的一步。

咱们知道，NVIDIA AI Foundry 是由 NVIDIA DGX™ Cloud AI 平台驱动。该平台由 NVIDIA 与环球私有云独特设计，旨在为企业提供少量计算资源，所提供的计算资源可随着 AI 需求的变动轻松裁减。此次颁布会的NVIDIA AI Foundry，旨在提供对刚刚颁布的Llama 3.1系列大模型提供更好地允许。

全新颁布的 NVIDIA AI Foundry 提供了从数据策管、分解数据生成、微调、检索、防护到评价的全方位生成式 AI 模型服务，以便部署自定义 Llama 3.1 NVIDIA NIM 微服务和新的 NVIDIA NeMo Retriever 微服务，以成功准确照应。

借助 NVIDIA AI Foundry，企业和各国如今能够经常使用 Llama 3.1 以及 NVIDIA 软件、计算和专业常识，为其特定畛域的行业用例创立自定义“超级模型”。企业可以经常使用自有数据以及由 Llama 3.1 405B 和 NVIDIA Nemotron™ Reward 模型生成的分解数据，来训练这些超级模型。

“Meta 的 Llama 3.1 开源模型标记着环球企业采用生成式 AI 的关键时辰曾经来到。Llama 3.1 将掀起各个企业与行业创立先进生成式 AI 运行的浪潮。” NVIDIA 黄仁勋示意：NVIDIA AI Foundry 曾经在整个环节中集成了 Llama 3.1，并能够协助企业构建和部署自定义 Llama 超级模型。

马克·扎克伯格示意，借助 NVIDIA AI Foundry，企业可以轻松创立和定制大家想要的先进的 AI 服务，并经过 NVIDIA NIM 启动部署。

应用NVIDIA NIM 微服务为 RAG 提供检索准确性

NVIDIA NIM™推理微服务是NVIDIA 提供的一种基于云的 AI 推理服务，旨在简化和减速企业在各种运行中部署 AI 模型的环节。NIM 推理微服务经过提供一个高效、可裁减和易于治理的平台，协助企业成功 AI 模型的极速集成和部署。

全新的 NVIDIA NeMo Retriever NIM 推理微服务虚现了检索增强生成（RAG），企业可以将自定义 Llama 超级模型和 Llama NIM 微服务部署到消费中，以提高照应准确性。此外，当与实用于 Llama3.1 405B 的 NVIDIA NIM 推理微服务结合经常使用时，NeMo Retriever NIM 微服务可认为 RAG 上班流中的放开和商业文本问答带来极高的检索准确性。

借助 NVIDIA AI Foundry，企业能够经常使用 Llama 3.1 模型和 NVIDIA NeMo 平台上的 NVIDIA Nemotron-4 340B Reward 模型创立自定义模型。之后，企业就可以构建 NVIDIA NIM 推理微服务，以便在其选用的云平台和环球主机制作商提供的NVIDIA 认证系统™上，经常使用自己选用的机器学习运维（MLOps）和人工默认运维（AIOps）平台在消费中运转这些模型。

假设企业须要更多训练数据来创立特定畛域的模型，可以在创立自定义 Llama 超级模型同时经常使用 Llama 3.1 405B 和 Nemotron-4 340B 生成分解数据，以提高模型的准确性。另外，领有自己的训练数据的客户可以经常使用 NVIDIA NeMo 对 Llama 3.1 模型启动自定义，经过畛域自顺应预训练（DAPT）进一步提高模型的准确性。

为协作同伴部署Llama 提供强力允许

Llama 3.1 多语种大言语模型（LLM）汇合是一个具备 8B、70B 和 405B 三种参数规模的生成式 AI 模型汇合。该汇合中的模型在超越 16,000 个 NVIDIA Tensor Core GPU 上训练而成，并针对 NVIDIA 减速计算和软件（无论是在数据中心、云以及装备 NVIDIA RTX™ GPU 的本地上班站或装备 GeForce RTX GPU 的 PC 上）启动了优化。

目前，医疗、动力、金融服务、批发、交通、电信等行业的企业已在经常使用实用于 Llama 的 NVIDIA NIM 微服务构建大模型。Aramco、AT&T 和优步则成为首批经常使用面向 Llama 3.1 全新 NIM 微服务的公司。

据了解，埃森哲外部 AI 运行不时在经常使用 NVIDIA NIM 推理微服务。如今，借助 NVIDIA AI Foundry，埃森哲能够协助客户极速创立和部署自定义 Llama 3.1 模型，为他们的优先业务事项提供改革性的 AI 运行。

除此之外，数百家提供企业、数据和基础设备平台的 NVIDIA NIM 协作同伴如今能够将这些新的微服务集成到其 AI 处置方案中，从而为 NVIDIA 社区 500 多万开发者和 1.9 万家初创公司的生成式 AI 提供超强助力。

目前，企业可以经过 NVIDIA AI Enterprise 取得 Llama 3.1 NIM 和 NeMo Retriever NIM 微服务的消费允许。NVIDIA 开发者方案会员将很快能够收费访问 NIM 微服务，以在他们选用的基础设备上启动钻研、开发和测试。