在2GB DAYU200上本地部署大言语模型

移植轻量级LLM模型推理框架InferLLM到OpenHarmony规范系统,编译出能在OpenHarmony运转的二进制产物。(InferLLM 是一个便捷高效的 LLM CPU 推理框架,可以本地部署 LLM 中的量化模型)

您可能还会对下面的文章感兴趣: