深圳7月14日电(记者 郑小红 陈文)14日在深圳举行的“大模型时代华为AI存储新品发布会”上,华为公司副总裁、数据存储产品线总裁周跃峰表示,企业在开发及实施大模型应用过程中,面临四大挑战。
首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。
OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体 华为 供图目前全球高端存储的主要玩家包括华为、美国的EMC、日本的日立等。当天,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。这为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。
华为分布式存储领域副总裁韩振兴表示,无论在大的计算中心、大的模型里,目前还存在对算力的建设过多、存力的建设过少的问题,这会导致数据归集、预处理到训练/推理的全流程的过程中,算力会闲置,存力不上去的时候,算力只能等待,这样就造成资源的浪费。(完)
【编辑:孙静波】“可能致癌”后,“0阿斯巴甜”成饮料新卖点?
一个季度卖10亿!小城造汉服“出圈”的背后
中国小说《捎话》在中东火“出圈”有何“绝活”?
你知道越王勾践剑考古发现的那些事儿吗?
女子接力反超日本队夺冠 田径亚锦赛中国队两日取三金
中新真探:杨梅和海鲜同食会中毒吗?
3:1力克劲敌巴西队,中国女排晋级世联赛四强
暑假去哪玩?14地发超5亿元文旅券,多景区凭证免票
北约峰会过后,普京谈到这些……
AI眼中的中国|湘见,这就是长沙味
三伏天里的京味儿饮食:吃饺子 炸酱面有讲究
养老金开始上涨!你的养老金涨了多少钱?
“龙狮运动”为何会风靡印尼?
为什么说《仪礼》简“简”述华夏交流往事?
他被查后,上海连夜开会!
提中国10余次!北约峰会老调重弹,中方坚决拒绝!
青年旅社拒接“35岁以上中年人”,合理吗?
高温下的北京夜生活:游客流连至凌晨,有摊主日入上千
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:http://www.shanxidayuan.com/zcjh/caijing/73605.html