马斯克抢先一步后，国产大模型纷纷发力十万卡集群

APP下载

扫一扫

下载观察者APP

马斯克抢先一步后，国产大模型纷纷发力十万卡集群
- 张广凯13764468101
分享到：

2024-09-25 20:34:56 字号：A- A A+ 来源：观察者网

国内大模型企业的十万卡时代，真的要来了吗？

9月25日，百度发布了全面升级的百舸AI异构计算平台4.0，百度智能云事业群总裁沈抖直言，百舸4.0就是部署十万卡大规模集群而设计的。

百度集团执行副总裁、百度智能云事业群总裁沈抖观察者网

而就在几天前，阿里云宣布其灵骏单网络集群已拓展至10万卡级别。此前，腾讯也发布了支持十万卡集群的星脉网络2.0。

一度还停留在设想层面的十万卡集群，突然成为舆论焦点是在9月初。马斯克突然宣布在短短122天内建成10万张英伟达H100显卡的Colossus集群，意味着其算力可能已经超过OpenAI。

由显卡规模撑起的算力水平，是决定大模型性能的最重要指标之一。一般认为，1万枚英伟达A100芯片，是做好AI大模型的算力门槛。

建一个万卡集群，单是GPU的采购成本就高达几十亿，因此国内能够部署万卡规模集群的，原本就只有阿里、百度等寥寥几家大厂。而想要部署十万卡集群，其“烧钱”程度可想而知。

除了资金成本，十万卡集群同样面临巨大的技术挑战。沈抖指出，GPU是一种很敏感的硬件，连一天之内气温的波动，都会影响到GPU的故障率，而且规模越大，出故障的概率就越高。“Meta训练llama3的时候，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。”

此外，区别于传统CPU集群的串行特点，大模型训练过程需要全部显卡同时参与并行计算，对网络传输能力也提出了更大的挑战。

相比于美国同行，中国大模型企业还面临一重特殊的困难，无法像马斯克那样全部采用英伟达方案，而是需要使用包括国产GPU在内的异构芯片。这也意味着，即使同样十万张显卡，国内企业在算力规模上也很难同美国企业匹敌。

在上述三重挑战之下，国内大模型企业的进步速度也有目共睹。

据沈抖介绍，百舸4.0在万卡集群上实现了有效训练时长占比99.5%以上，业界领先，并通过在集群设计、任务调度、并行策略、显存优化等一系列创新，大幅提升了集群的模型训练效率，整体性能相比业界平均水平提升高达30%。

而阿里云CTO周靖人此前也透露，目前阿里云的万卡算力集群可以实现大于99%以上连续训练有效时长，模型算力利用率可提升20%以上。

但随着性能提升，大模型成本问题只会越来越引人注目。单从能耗来看，沈抖透露，十万卡集群每天就要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。

一位开发者向观察者网直言，尽管在过去一年中大模型厂商的降价幅度确实可观，但这更多是平台补贴开发者的结果，并非根本解决之道。

对此，阿里云方面强调，AI发展仍然处在一个非常早期的阶段，必须要靠降价带动应用爆发，而阿里云搞AI大基建，并不会只算眼前账。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签大模型
- 责任编辑: 张广凯
- 上海投入5亿元发消费券！首批本周六申领，涵盖餐饮、住宿、电影等
  
  2024-09-25 16:39 观网财经-消费
- 小米要求印度撤回反垄断报告：包含商业机密
  
  2024-09-25 15:33 观网财经-科创
- 上证指数收复2900点
  
  2024-09-25 13:15 观网财经-金融
- 三星18亿美元投资越南，加工OLED面板模组
  
  2024-09-25 12:06 观网财经-科创
- 亚行预计亚太地区今年经济增长5%，中国4.8%
  
  2024-09-25 11:33 观网财经-宏观
- OpenAI全面发布类人ChatGPT语音助手，支持中文等50多种语言
  
  2024-09-25 11:29 观网财经-互联网
- 在美中概股昨夜集体大涨，华尔街称涨势将持续
  
  2024-09-25 11:20 观网财经-金融
- 读懂央行新政：为居民减负才是精准药方
  
  2024-09-25 08:52 观网财经-宏观
- 离岸人民币兑美元收复7.0关口
  
  2024-09-25 08:15 观网财经-海外
- 金融资产投资公司股权投资试点范围扩大至18个城市
  
  2024-09-24 21:25 金融观察
- 证监会发布《关于深化上市公司并购重组市场改革的意见》
  
  2024-09-24 20:30 政策风向标
- 中国粮食75年增产5倍，海外友人：中国大米比日本和泰国米更好吃
  
  2024-09-24 20:10
- 智能终端操作系统国家标准研讨会：华为、vivo、小米等参加
  
  2024-09-24 20:02 观网财经-科创
- “纯血鸿蒙”即将公测，鸿蒙PC可能也快来了
  
  2024-09-24 18:22 观网财经-科创
- 3年超越西方30年？
  
  2024-09-24 17:35 观察者头条
- 商务部：对美国PVH集团启动不可靠实体清单调查
  
  2024-09-24 16:30
- 专家解读：房价触底、缓解提前偿债压力、刺激内需、对冲通缩
  
  2024-09-24 16:19
- 沪指创4年多最大单日涨幅，两市成交额超9700亿
  
  2024-09-24 15:34
- 印度电信巨头签36亿美元大单，提升4G覆盖、引入5G
  
  2024-09-24 14:22 观网财经-海外
- 大促免佣、店播免佣、解绑运费险！今年双11淘宝商家获“大红包”！
  
  2024-09-24 13:50 双11节
搜索

   观察者头条查看全部

首次拉清单，“中方忍不了欧盟了” 评论 31

鲸鱼回来了！“差距再缩小，中国芯片的关键里程碑” 评论 75

“西班牙的北约资格，英国的马岛主权声索，都要敲打” 评论 111

“美军打伊朗掏空家底，万一解放军突然…” 评论 256

特朗普越反复，他儿子持股的博彩平台越赚钱评论 126

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

马斯克抢先一步后，国产大模型纷纷发力十万卡集群

上海投入5亿元发消费券！首批本周六申领，涵盖餐饮、住宿、电影等

小米要求印度撤回反垄断报告：包含商业机密

上证指数收复2900点

三星18亿美元投资越南，加工OLED面板模组

亚行预计亚太地区今年经济增长5%，中国4.8%

OpenAI全面发布类人ChatGPT语音助手，支持中文等50多种语言

在美中概股昨夜集体大涨，华尔街称涨势将持续

读懂央行新政：为居民减负才是精准药方

离岸人民币兑美元收复7.0关口

金融资产投资公司股权投资试点范围扩大至18个城市

证监会发布《关于深化上市公司并购重组市场改革的意见》

中国粮食75年增产5倍，海外友人：中国大米比日本和泰国米更好吃

智能终端操作系统国家标准研讨会：华为、vivo、小米等参加

“纯血鸿蒙”即将公测，鸿蒙PC可能也快来了

3年超越西方30年？

商务部：对美国PVH集团启动不可靠实体清单调查

专家解读：房价触底、缓解提前偿债压力、刺激内需、对冲通缩

沪指创4年多最大单日涨幅，两市成交额超9700亿

印度电信巨头签36亿美元大单，提升4G覆盖、引入5G

大促免佣、店播免佣、解绑运费险！今年双11淘宝商家获“大红包”！

首次拉清单，“中方忍不了欧盟了”

美第三艘航母也到了，“20年来空前兵力”

欧盟撤销对中国两家金融机构制裁，中方取消反制措施

鲸鱼回来了！“差距再缩小，中国芯片的关键里程碑”

“高度赞赏中方的领导作用，投入了真金白银”

“如果美伊谈判破裂，美军准备打击霍尔木兹海峡”

以色列总理证实自己患癌：治好了

太好用…民进党当局被大陆APP吓坏了，郑丽文发声

美专家想搞波狠的，“中国只落后7个月”

“西班牙的北约资格，英国的马岛主权声索，都要敲打”

“中印之类的人间地狱”？印度谴责：低俗！

美士兵赌“马杜罗下台”赚40万美元被捕，特朗普乐了

“伊朗已在霍尔木兹海峡布设更多水雷”

特朗普：原以为股市会下跌25%，油价会涨到每桶200美元

日本解禁军售，媚日韩媒狂吹：世界一流，韩国要完了…

“美军打伊朗掏空家底，万一解放军突然…”