Llama3.1系列模型正式开源 最大405B 闭源模型的统治时代将迎来完结

Meta开源了Llama3.1系列模型,最大参数规模为405B,开源也是好起来了,榜单目的直逼GPT4-o。

开源追上闭源模型不再是梦!Llama系列模型确实是开源界的头部,真金白银砸进去的就是不一样。

不过如今大家也都知道,榜单成果和实在经常使用成果也不是齐全正比的,前面看看对lmsys战榜单,还有大家的实测成果吧!

HF:

Llama3.1系列模型细节

Llama3.1系列模型成果

Llama3.1系列的8B和70B模型的成果,广泛好于Llama3系列模型。尤其是Instruct模型优化较高,特意是通用、代码、数学和工具经常使用四个方面,大幅提高;额外减少的分解数据,应该是主要。

模型经常使用

Llama3-405B模型全体结构没有变动,一切间接transformers走起。

import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},]outputs = pipeline(messages,max_new_tokens=256,)print(outputs[0]["generated_text"][-1])

当然为了减速或许节俭显存,也可以vllm、ollama、llamacpp等框架来加载量化模型,这里就不具体引见了。

写在最后

不过405B模型太大了,部署老本太高了,即使成果很棒,但有多少企业有资历玩一把呢?

团体玩家就更不用说了,光模型大小就820G,别说有没有显卡,兴许都没有820G磁盘空间下载都没资历,太难了!

不过前面各大平台(阿里、百度、SiliconFlow)应该会有调用API,到时刻体验成果也不麻烦儿。

又有新上班可做了,应该很快会有Chinese-Llama-3.1上班进去,没资源的小同伴,等就完事儿了。

最后,Qwen系列是不是也要加把劲了,都给我卷起来!​

本文转载自​​,作者:

您可能还会对下面的文章感兴趣: