K8s和大模型真的搭吗

编译 | 言征

出品 | 技术栈（微信号：blog51cto）

K8s和大模型真的搭吗？本文抛出了一个疑问，但答案仍有待验证。

1.K8s迎来了新的受众个体

假定一位机器学习钻研人员浏览了一篇钻研论文，并想在PyTorch环境中经常使用基于Python的GPU启动测试。她要求她的工程团队访问一个带有两个GPU的Jupyter笔记本和她的一切库。

“这正是DevOps 10年前所教训的，”独立剖析师Janakiram 3月在KubeCon+CloudNativeCon Europe的一次性对话中示意。

“因此，如今的整个想法是，咱们如何放慢这一进程，并使企业IT能够将基础施带到ML钻研人员、工程师和开发人员可以随时经常使用的水平，以便他们能够极速将自己的想法转化为代码？”

新的人物角色反映了大型言语模型（LLM）对云原生社区的影响，并提出了关于身份和Kubernetes角色的疑问。数据迷信家甚至须要Kubernetes来将他们的模型投入消费吗？

独立剖析师Sanjeev Mohan以为NVIDIA推出的推理微服务Nim就是为Kubernetes精心筹划的Docker容器。

应战性就在于：Kubernetes将转变为深度以数据为中心，这是数据的形态性及频繁变动的特点所形成的。数据在Kubernetes社区中从未施展过如此关键的作用。Kubernetes社区从未须要以这样的形式顺应生成人工智能、模型开发、集成、部署和控制带来的新需求。

假设没有在Kubernetes上部署数据模型的规范方法，未来的上班将须要社区经过新的配件集成和名目来顺应新的“数据角色”。

2.AI如何让K8s变得更弱小？

Kubernetes服务LLMs，那LLM能为K8s做哪些？

但实践上，Kubernetes在人工智能中的作用是什么？数据角色疑问把这件事带到了最前沿。Kubernetes是一个控制平面——是的，这是有情理的。自2014年以来，它不时是DevOps的运行程序架构。

因此，Mohan提出的一个疑问变得愈加关系：终究K8s是服务AI，还是AI服务于K8s？

在KubeCon，咱们看到了很多Kubernetes如何作为人工智能的控制平面。NVIDIA在主题演讲中，他们讨论了调配局部GPU的灵活资源调配。这样可以节俭老本。这就是人工智能的Kubernetes。一切这些开展都启动得很顺利，Mohan说，咱们将看到越来越多的Kubernet成为通用人工智能的控制平面。

但令一方面，LLM怎么能力让K8s愈增弱小呢？Mohan提出了一个十分有想象力的疑问。

他说：“我还没有看到太多这方面的状况，兴许到之后的某一届KubeCon上，咱们将开局看到更高的集成度。”

OpenAI无疑是Kubernetes的盟友，该公司正在经常使用Kubernete来启动和扩展试验规模。

作为当红的人工智能钻研试验室，OpenAI须要深度学习的基础设备，使试验能够在云中或自己的数据中心中运转，并易于扩展。便携性、速度和老本是关键驱动要素。

Oracle在KubeCon的初级副总裁Sudha Raghavan问道，假设没有数据迷信家和数据工程师思索如何性能它，以最有效地经常使用任何配件GPU，Kubernetes将如何成为一切人工智能上班负载的自动选项？

Raghavan也在KubeCon的一个小组讨论会上谈到了这样一种想象，想象中，人们基于每个上班负载的上班变得更容易了，工程师可以性能开箱即用的模板，并了解这些是尚未产生的人工智能上班负载形式，并且有预约义的模板。

因此，任何想做试验的数据迷信家都不用自己学习，而是可以了解云原生计算基金会在其生态系统中为人工智能和ML社区提供的内容。

英特尔放开生态系统副总裁兼总经理Arun Gupta在一个小组讨论会上示意，云原生社区的责任是弥合这一差距。“必定跟客户共情，客户就是数据迷信家。他说，一篇新的云原生人工智能论文处置了这些应战。

微软首席产品经理拉克伦•埃文森（Lachlan Evenson）与古普塔（Gupta）在同一小组中示意，Kubernetes社区中的一个新角色还包含人工智能工程师，他们位于数据迷信家和基础设备工程师或平台工程师之间。

Evenson在小组讨论中指出，人工智能工程师不只须要了解人工智能环球的一切术语，还须要了解如何大规模经常使用这些散布式系统并构建这些新平台。

3.K8s承诺：可扩展、安保

Kubernetes的开创人将Kubernete设计成了有形态的，起初又构建了有形态的技术来与其散布式平台集成。

Evenson说：“这不只限于这个社区，也间接培育了咱们经过K8s社区在该平台上构建的可扩展性。”

“咱们须要提供开源代替品和开源平台，这样那些宿愿开局投资并了解人工智能如何影响其业务的公司，就可以驳回模型，而不用担忧数据控制或安保疑问，并开局在本地环境中对其启动修正和相熟。”

参考链接：

想了解更多AIGC的内容，请访问：

AI.x社区