华为颁布大模型时代AI存储新品

[中国,深圳,2023年7月14日] 今天,华为颁布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,监禁AI新动能。

企业在开发及实施大模型运行环节中,面临四大应战:

首先,数据预备期间长,数据起源扩散,归集慢,预处置百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,海量小文件的加载速度无余100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳固,平均约2天产生一次性训练终止,须要Checkpoint机制复原训练,缺点复原耗时超越一天;最后,大模型实施门槛高,系统搭建冗杂,资源调度难,GPU资源应用率通常不到40%。

华为适应大模型时代AI开展趋向,针对不同行业、不同场景大模型运行,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

华为数据存储产品线总裁 周跃峰

OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,成功从数据归集、预处置到模型训练、推理运行的AI全流程海量数据治理。OceanStor A310单框5U允许业界最高的GB/s带宽以及1200万IOPS的最高功能,可线性裁减至4096节点,成功多协定无损互通。全局文件系统GFS成功跨地区默认数据编织,简化数据归集流程;经过近存计算成功近数据预处置,缩小数据搬移,预处置效率优化30 %。

FusionCube A3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型运行,集成OceanStor A300高功能存储节点、训/推节点、替换设备、AI平台软件与治理运维软件,为大模型同伴提供拎包入住式的部署体验,成功一站式交付。开箱即用,2小时内即可成功部署。训/推节点与存储节点均可独立水平裁减,以婚配不同规模的模型需求。同时FusionCube A3000经过高功能容器成功多个模型训练推理义务共享GPU,将资源应用率从40%优化到70%以上。FusionCubeA3000允许两种灵敏的商业形式,包含华为昇腾一站式打算,以及放开计算、网络、AI平台软件的第三方同伴一站式打算。

华为数据存储产品线总裁周跃峰示意:“大模型时代,数据选择AI默认的高度。作为数据的载体,数据存储成为AI大模型的主要基础设备。华为数据存储未来将继续翻新,面向AI大模型时代提供多样化的打算与产品,携手同伴独特推动AI赋能千行百业。”

您可能还会对下面的文章感兴趣: