马斯克抢先一步后，国产大模型纷纷发力十万卡集群

APP下载

扫一扫

下载观察者APP

马斯克抢先一步后，国产大模型纷纷发力十万卡集群
- 张广凯13764468101
分享到：

2024-09-25 20:34:56 字号：A- A A+ 来源：观察者网

国内大模型企业的十万卡时代，真的要来了吗？

9月25日，百度发布了全面升级的百舸AI异构计算平台4.0，百度智能云事业群总裁沈抖直言，百舸4.0就是部署十万卡大规模集群而设计的。

百度集团执行副总裁、百度智能云事业群总裁沈抖观察者网

而就在几天前，阿里云宣布其灵骏单网络集群已拓展至10万卡级别。此前，腾讯也发布了支持十万卡集群的星脉网络2.0。

一度还停留在设想层面的十万卡集群，突然成为舆论焦点是在9月初。马斯克突然宣布在短短122天内建成10万张英伟达H100显卡的Colossus集群，意味着其算力可能已经超过OpenAI。

由显卡规模撑起的算力水平，是决定大模型性能的最重要指标之一。一般认为，1万枚英伟达A100芯片，是做好AI大模型的算力门槛。

建一个万卡集群，单是GPU的采购成本就高达几十亿，因此国内能够部署万卡规模集群的，原本就只有阿里、百度等寥寥几家大厂。而想要部署十万卡集群，其“烧钱”程度可想而知。

除了资金成本，十万卡集群同样面临巨大的技术挑战。沈抖指出，GPU是一种很敏感的硬件，连一天之内气温的波动，都会影响到GPU的故障率，而且规模越大，出故障的概率就越高。“Meta训练llama3的时候，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。”

此外，区别于传统CPU集群的串行特点，大模型训练过程需要全部显卡同时参与并行计算，对网络传输能力也提出了更大的挑战。

相比于美国同行，中国大模型企业还面临一重特殊的困难，无法像马斯克那样全部采用英伟达方案，而是需要使用包括国产GPU在内的异构芯片。这也意味着，即使同样十万张显卡，国内企业在算力规模上也很难同美国企业匹敌。

在上述三重挑战之下，国内大模型企业的进步速度也有目共睹。

据沈抖介绍，百舸4.0在万卡集群上实现了有效训练时长占比99.5%以上，业界领先，并通过在集群设计、任务调度、并行策略、显存优化等一系列创新，大幅提升了集群的模型训练效率，整体性能相比业界平均水平提升高达30%。

而阿里云CTO周靖人此前也透露，目前阿里云的万卡算力集群可以实现大于99%以上连续训练有效时长，模型算力利用率可提升20%以上。

但随着性能提升，大模型成本问题只会越来越引人注目。单从能耗来看，沈抖透露，十万卡集群每天就要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。

一位开发者向观察者网直言，尽管在过去一年中大模型厂商的降价幅度确实可观，但这更多是平台补贴开发者的结果，并非根本解决之道。

对此，阿里云方面强调，AI发展仍然处在一个非常早期的阶段，必须要靠降价带动应用爆发，而阿里云搞AI大基建，并不会只算眼前账。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签大模型
- 责任编辑: 张广凯
- 上海投入5亿元发消费券！首批本周六申领，涵盖餐饮、住宿、电影等
  
  2024-09-25 16:39 观网财经-消费
- 小米要求印度撤回反垄断报告：包含商业机密
  
  2024-09-25 15:33 观网财经-科创
- 上证指数收复2900点
  
  2024-09-25 13:15 观网财经-金融
- 三星18亿美元投资越南，加工OLED面板模组
  
  2024-09-25 12:06 观网财经-科创
- 亚行预计亚太地区今年经济增长5%，中国4.8%
  
  2024-09-25 11:33 观网财经-宏观
- OpenAI全面发布类人ChatGPT语音助手，支持中文等50多种语言
  
  2024-09-25 11:29 观网财经-互联网
- 在美中概股昨夜集体大涨，华尔街称涨势将持续
  
  2024-09-25 11:20 观网财经-金融
- 读懂央行新政：为居民减负才是精准药方
  
  2024-09-25 08:52 观网财经-宏观
- 离岸人民币兑美元收复7.0关口
  
  2024-09-25 08:15 观网财经-海外
- 金融资产投资公司股权投资试点范围扩大至18个城市
  
  2024-09-24 21:25 金融观察
- 证监会发布《关于深化上市公司并购重组市场改革的意见》
  
  2024-09-24 20:30 政策风向标
- 中国粮食75年增产5倍，海外友人：中国大米比日本和泰国米更好吃
  
  2024-09-24 20:10
- 智能终端操作系统国家标准研讨会：华为、vivo、小米等参加
  
  2024-09-24 20:02 观网财经-科创
- “纯血鸿蒙”即将公测，鸿蒙PC可能也快来了
  
  2024-09-24 18:22 观网财经-科创
- 3年超越西方30年？
  
  2024-09-24 17:35 观察者头条
- 商务部：对美国PVH集团启动不可靠实体清单调查
  
  2024-09-24 16:30
- 专家解读：房价触底、缓解提前偿债压力、刺激内需、对冲通缩
  
  2024-09-24 16:19
- 沪指创4年多最大单日涨幅，两市成交额超9700亿
  
  2024-09-24 15:34
- 印度电信巨头签36亿美元大单，提升4G覆盖、引入5G
  
  2024-09-24 14:22 观网财经-海外
- 大促免佣、店播免佣、解绑运费险！今年双11淘宝商家获“大红包”！
  
  2024-09-24 13:50 双11节
搜索

   观察者头条查看全部

东南亚多国表态，“缅甸措辞最严，坚定站队中方” 评论 9

呵呵，“‘民主国家’看不上中国技术”？评论 261

普京访印：美国都在买，印度凭啥不能买？评论 82

日本开发稀土担心中国干扰？日防相放话评论 136

“美欧抢矿，遭殃的却是他们” 评论 16

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

马斯克抢先一步后，国产大模型纷纷发力十万卡集群

上海投入5亿元发消费券！首批本周六申领，涵盖餐饮、住宿、电影等

小米要求印度撤回反垄断报告：包含商业机密

上证指数收复2900点

三星18亿美元投资越南，加工OLED面板模组

亚行预计亚太地区今年经济增长5%，中国4.8%

OpenAI全面发布类人ChatGPT语音助手，支持中文等50多种语言

在美中概股昨夜集体大涨，华尔街称涨势将持续

读懂央行新政：为居民减负才是精准药方

离岸人民币兑美元收复7.0关口

金融资产投资公司股权投资试点范围扩大至18个城市

证监会发布《关于深化上市公司并购重组市场改革的意见》

中国粮食75年增产5倍，海外友人：中国大米比日本和泰国米更好吃

智能终端操作系统国家标准研讨会：华为、vivo、小米等参加

“纯血鸿蒙”即将公测，鸿蒙PC可能也快来了

3年超越西方30年？

商务部：对美国PVH集团启动不可靠实体清单调查

专家解读：房价触底、缓解提前偿债压力、刺激内需、对冲通缩

沪指创4年多最大单日涨幅，两市成交额超9700亿

印度电信巨头签36亿美元大单，提升4G覆盖、引入5G

大促免佣、店播免佣、解绑运费险！今年双11淘宝商家获“大红包”！

东南亚多国表态，“缅甸措辞最严，坚定站队中方”

呵呵，“‘民主国家’看不上中国技术”？

普京访印：美国都在买，印度凭啥不能买？

“白宫‘慌乱应对’，想赢中国，支持得到位啊”

国安战略报告迟迟未出，“美财长要求软化对华措辞”

自民党“黑金”丑闻“吹哨人”再出手，这次是高市

“彻底反转了，中国是发达国家，我们才是新兴国家”

“华德858”轮触礁断裂

机密通话曝光！“美国恐将背叛，你要小心”

“云冈石窟大佛冻得流鼻涕”，官方：将暂时封闭、处置渗水

“高市早苗更加不安了”

高善文离职后，又有分析师集体出走国投证券

台军又出意外，这次是炮弹砸了民宅

“中产、富裕阶层也去1元店”，特朗普还嘴硬

日本开发稀土担心中国干扰？日防相放话

“按下葫芦浮起瓢”，英伟达想重返中国市场又难了…