当你钻研过了900个开源大模型名目后 你能学到什么
国外一美女程序员,在Github上经过检索gpt, llm, 和generative ai等主要字,从数十万检索结果中获取900个500+ star大模型开源名目。
她将统计结果放到了网站上,并活期降级star数等消息,同时提供了排序,分组,过滤等工具,咱们也可以拿她的统计结果来启动剖析。
接上去让咱们看看她经过剖析这些开源名目学到了什么。
新的AI堆栈
基础设备包含训练大模型的配件资源,训练大模型须要少量的显卡,一些企业思索到数据安保,以及从久远老本思索,选用搭建自己的计算核心。NVIDIA这几年靠着卖显卡堪称赚的盆满钵满,显卡多少钱一路飙升,即使这样仍是一卡难求。
模型开发工具包含像TensorFlow、PyTorch等AI框架,框架自身是开源收费的,但可以经过附加的云服务和配件资源来赚钱。
运行软件指的是基于大模型的工具,普统统过闭源大模型有偿向用户提供访问接口,例如,openAI每个月都会向Plus用户收取会员费以及API调用费用。
随期间变动
图表显示,当chatGPT颁布后,大模型的相关名目数量开局呈指数级增长。
这说明当一项推翻性技术产生后,围绕此技术的各项发明会迅速参与。
就像当年的电力。
但大家会有不懂,大模型也就能画个图,写写小作文,说它是推翻性技术,有点过了吧?
当年电力取代蒸汽机时,一开局人们关于电机也是持疑心态度,由于它并没有提高消费效率。
起初人们才发现,是经常使用方法不当。
在传统工厂的两边会有一个蒸汽机,而后经过传动装置驱动各个模块,有了电机后只是便捷的将蒸汽机交流成了电机。
实质上还是个集中式系统,依据木桶原理,全体效率依然受限于最差的那个。
起初,工厂将电机运行于各个模块,这就是现代工厂流水线的雏形,这样的散布式系统大大优化了效率
电开局遍及开来。
在运行层畛域,名目最多的是code和bots。
code:当大模型在天然言语上取得功效后,人们开局将大模型运行于天然言语上,代码就是其中之一。
bots:相对主动式的一问一答,人们宿愿大模型能够自主思索,会经常使用工具,并且嫩启动决策。
information aggregation:科技的提高只是将人类从惨重的体力休息中束缚进去,人们要学的物品日益增多,大模型的概括才干让人具备一目十行的超才干。
专一Prompt工程的人,我以为是最痴呆的人,由于它是性价比最高的优化大模型功能的方法。
前面我也经过两个例子证实了Prompt工程的超才干,仅仅经过在Prompt前面加个think step by step,就让大模型答对了9.11和9.3哪个大的疑问,以及strawberry有多少个r的疑问。
原文链接: