在2GB DAYU200上本地部署大言语模型
移植轻量级LLM模型推理框架InferLLM到OpenHarmony规范系统,编译出能在OpenHarmony运转的二进制产物。(InferLLM 是一个便捷高效的 LLM CPU 推理框架,可以本地部署 LLM 中的量化模型)
移植轻量级LLM模型推理框架InferLLM到OpenHarmony规范系统,编译出能在OpenHarmony运转的二进制产物。(InferLLM 是一个便捷高效的 LLM CPU 推理框架,可以本地部署 LLM 中的量化模型)