集群上部署 在 Open Kubernetes Llama3​​ WebUI 经常使用

从往年开局,人们对大型言语模型 (LLM) 及其在 GPU 基础设备上的部署的兴味显着参与。这种不时增长的激情是由人工智能和机器学习的提高推进的,这须要 GPU 能够有效提供少量的计算才干。GPU 上游制造商 Nvidia 的股价也因这一趋向而飙升。雷同降生了少量的大模型,关于这些模型的部署和治理也变得越来越关键,在这方面Ollama和OpenUI是一个不错的选用。

Ollama 是一个开源的机器学习模型部署工具,它可以协助您将模型部署到消费环境中,简化大型言语模型 (LLM) 的治理和交互。Ollama 领有各种一流的开源模型,例如Llama 3、Phi 3、Mistral等等,咱们可以将 Ollama 看成是 Docker,然而专一于机器学习模型。

经常使用Ollama部署模型十分便捷,就相似于经常使用 Docker 部署运行程序一样。然而,假设你对 CLI 不相熟,那么经常使用Ollama会有点痛苦。为了处置这个疑问,咱们可以经常使用一个 open-webui 的名目,它提供了一个美丽的界面,可以让您更轻松地部署模型。

为了更好地治理 Ollama,咱们可以将 Ollama 部署到 Kubernetes 集群中。这样,咱们就可以更好地治理 Ollama,而不须要担忧 Ollama 的高可用性、裁减性等疑问。

当然首先须要一个 Kubernetes 集群,最好带有 GPU,但即使没有 GPU,llama3模型在仅经常使用 CPU 的状况下也能体现得相对较好。

$ kubectl versionClient Version: v1.28.11Kustomize Version: v5.0.4-0.20230601165947-6ce0bf390ce3Server Version: v1.28.7

要部署 Ollama 和 Open-WebUI 到 Kubernetes 很便捷,由于 Open-WebUI 名目提供了一个 Helm Chart,可以让咱们更轻松地部署 Ollama 和 Open-WebUI。这个 charts 包被托管在,咱们可以经常使用 Helm 参与这个 repo:

helm repo add open-webuirepo update

open-webui这个 charts 包自动状况下会部署Ollama,咱们可以依据自己的需求启动性能,例如咱们可以性能Ollama能否经常使用 GPU,能否开启数据耐久化等等,咱们可以笼罩自动的性能来启动性能,如下:

# myvalues.yamlollama:enabled: true # 智能装置 Ollama Helm Chartollama: # 性能 Ollamagpu:enabled: false # 能否经常使用 GPU#type: 'nvidia'#number: 1# models:# 容器启动的时刻加载的模型#- llama3#- mistralpersistentVolume: # 性能耐久化存储enabled: truestorageClass: nfs-client # 指定 storageClass# existingClaim: ""# 也可以经常使用曾经存在的 PVC# ========== Pipelines 性能 ==========pipelines: # OpenAI API 插件框架enabled: truepersistence:enabled: truestorageClass: "nfs-client"service:type: NodePort# ========== open-webui 性能 ==========# ingress: # 性能 Ingress#enabled: false#host: "open-webui.example.com"# 性能耐久化存储persistence:enabled: true#existingClaim: ""# 也可以经常使用曾经存在的 PVCstorageClass: "nfs-client" # 指定 storageClassservice:type: NodePort # 设置 Service 类型# 指定 OpenAI API URL,假设不指定,自动经常使用 Pipelines 服务的端点openaiBaseApiUrl: ""# 性能额外的环境变量extraEnvVars:- name: HF_ENDPOINTvalue:- name: OPENAI_API_KEY # 指定 OpenAI API Key#value: "0p3n-w3bu!"

在下面的性能中,咱们可以性能Ollama能否经常使用 GPU,能否开启数据耐久化等等,关于open-webui局部,咱们性能的是一个NodePort类型的 Service,这样咱们就可以经过 Node 的 IP 和 NodePort 来访问 Open-WebUI 名目,当然你也可以性能 Ingress 来访问。

而后咱们可以经常使用 Helm 装置这个 charts 包:

helm upgrade --install ollama open-webui/open-webui -f myvalues.yaml --create-namespace --namespace kube-ai

部署成功后,会在kube-ai这个命名空间下运转几个 Pod,咱们可以检查 Pod 的形态:

$ kubectl get pods -n kube-aiNAMEREADYSTATUSRESTARTSAGEopen-webui-01/1Running02m11sopen-webui-ollama-944dd68fc-wxsjf1/1Running024hopen-webui-pipelines-557f6f95cd-dfgh81/1Running025h

由于下面咱们性能的是NodePort类型的 Service,所以咱们可以经过 Node 的 IP 和 NodePort 来访问 Open-WebUI 名目:

$ kubectl get svc -n kube-aiNAMETYPECLUSTER-IPEXTERNAL-IPPORT(S)AGEopen-webuiNodePort10.96.1.212<none>80:31009/TCP25hopen-webui-ollamaClusterIP10.96.2.112<none>11434/TCP25hopen-webui-pipelinesNodePort10.96.2.170<none>9099:32322/TCP25h

如今咱们就可以经过来访问 Open-WebUI 名目了。

第一次性经常使用的时刻须要注册一个账号,而后咱们就可以登录到 Open-WebUI 名目主页了。

假设你有Ollama在其余中央运转,咱们可以将其参与为另一个衔接。

首先须要性能衔接Ollama的地址,而后咱们就可以衔接到Ollama了,衔接成功后,咱们就可以看到Ollama的模型列表了。

点击左下角的用户头像,而后选用治理员面板,在治理员面板页面选用设置标签页,而后切换到外部衔接性能项,咱们可以设置Ollama API地址,咱们这里经常使用的是 Helm 部署的Ollama,自动曾经为咱们性能好了Ollama API地址。

接上去切换到模型标签页,咱们就可以从Ollama的模型仓库中拉取模型了,可以下载的模型可以从检查。比如咱们这里选用llama3模型,输入llama3而后点击右侧的拉取下载按钮,就会开局下载这个模型了,在页面中也可以看到下载的进展。

模型拉取成功后,切回到,咱们就可以选用切换到Llama3模型了。

接上去咱们就可以经常使用Llama3模型为咱们服务了。

在本文中,咱们讨论了经常使用 Open WebUI 在 Kubernetes 集群上部署Llama3的环节。经过容器化和编排技术,咱们成功地将 AI powered 的聊天机器人部署到了可裁减和保养的环境中。Open WebUI 的繁复界面和 Kubernetes 的弱小智能化才干,让咱们简化了部署环节,缩小了手动干预。随着环球对 AI 驱动处置打算的不时依赖,这种技术组合将表演关键角色,极速地率领翻新运行程序 Llama3 通知市场。AI Powered 的聊天机器人的未来看起来十分黑暗,Open WebUI 和 Kubernetes 将继续上游,等候着下一个令人兴奋的开展!(这一段就来自Llama3模型生成)

您可能还会对下面的文章感兴趣: