观察员
-
华为揭秘：国产昇腾训出世界一流大模型
最后更新: 2025-06-02 21:41:09
近日，华为在MoE模型训练领域再进一步，重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节，充分体现了昇腾在超大规模MoE训练性能上的跨越。
训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型的全流程训练。
在模型架构上，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。此外，他们还提出了 EP loss 负载优化方法，这一设计不仅保证了各个专家之间的能保持较好的负载均衡，也提升了专家的领域特化能力。同时，盘古Ultra MoE使用了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。
在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上，高效打通大稀疏比MoE强化学习（RL）后训练框架的关键技术，使RL后训练进入超节点集群时代。同时，在5月初发布的预训练系统加速技术基础上，在不到一个月的时间内，华为团队又完成了一轮迭代升级，包括：适配昇腾硬件的自适应流水掩盖策略，进一步优化算子执行序，进一步降低Host-Bound以及提升EP通信的掩盖；自适应管理内存优化策略的开发；数据重排实现DP间Attention负载均衡；以及昇腾亲和的算子优化，这些技术实现万卡集群预训练MFU由30%大幅提升至41%。
此外，近期发布的盘古Pro MoE大模型，在参数量仅为720亿，激活160亿参数量的情况下，通过动态激活专家网络的创新设计，实现了以小打大的优异性能，甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上，位居千亿参数量以内大模型排行并列国内第一。
华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践，同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证，为中国人工智能产业的发展提供了一颗“定心丸”。
本文系观察者网独家稿件，未经授权，不得转载。
- 责任编辑: 杨依婷
-
新消费走不出长沙？费大厨已经瞄准美国
2025-06-01 16:57 观网财经-消费 -
雷军、卢伟冰疑回应余承东
2025-06-01 14:40 观网财经-科创 -
年轻人中爆火的“捏捏乐”，是解压神器还是玩具“毒器”？
2025-05-31 19:18 观网财经-消费 -
三星、京东方在美国激烈互诉
2025-05-31 08:59 观网财经-科创 -
永辉超市及其董事长张轩松，被限制高消费！
2025-05-30 20:22 观网财经-消费 -
内部推广自家AI编程工具Trae引关注，字节内部再发补充说明
2025-05-30 18:47 观网财经-互联网 -
欧洲高端手机需求强劲，三星+苹果份额超60%
2025-05-30 15:52 观网财经-科创 -
工信部印发《算力互联互通行动计划》
2025-05-30 14:15 观网财经-科创 -
老外黄牛为抢Labubu当街混战！泡泡玛特饥饿营销隐忧浮现
2025-05-30 13:45 观网财经-消费 -
增收不增利的名创优品，一季报后市值蒸发超过80亿元
2025-05-30 11:49 观网财经-消费 -
黄仁勋减持600万股；大疆23亿深圳拿地；宇树科技回应更名
2025-05-30 08:34 观网财经-科创 -
宇树科技改名，公司回应
2025-05-29 23:14 大公司 -
国产EDA概念股大涨
2025-05-29 22:28 观网财经-科创 -
新茶饮4月开店1857家，同比减少34%
2025-05-29 20:40 观网财经-消费 -
字节跳动放宽博士招聘条件，薪酬不设上限
2025-05-29 19:51 观网财经-互联网 -
西门子EDA断供中国将如何冲击国内芯片产业？
2025-05-29 18:30 -
水艺新生 定制未来 德国高仪携重磅新品亮相2025中国国际厨卫展
2025-05-29 17:51 产业万象 -
目标中国前三，李健誓言带荣耀重生
2025-05-29 16:00 观网财经-科创 -
黄仁勋：无论有没有美国芯片，中国AI发展都会继续
2025-05-29 15:52 观网财经-科创 -
马斯克宣布即将离开美政府；大模型用隐私威胁人类；比亚迪回应经销商暴雷
2025-05-29 08:49 观网财经-科创
相关推荐 -
美学者喊话特朗普：跟中国合作吧，早说美国赢不了 评论 110
日韩忙着“找米下锅”，中国凭啥稳住阵脚？ 评论 64
“北方之王”今日将入主唐宁街，誓言“重塑英国” 评论 173
新首相更“酷”，未来中英关系会变吗？ 评论 91
美国对付印度这招，却给中国埋雷？ 评论 108最新闻 Hot-
“毫无疑问，特朗普是美国历史上最腐败的总统”
-
我驻俄使馆：在无人机袭击中受伤的中国公民无生命危险
-
匈牙利国际象棋大师波尔加尔：已谢绝毛焦尔邀请，不会出任总统
-
特朗普：伊朗将付出数倍的代价
-
美学者喊话特朗普：跟中国合作吧，早说美国赢不了
-
特朗普：内塔尼亚胡在美不会被捕
-
“中国拿下全球近八成市场，进一步巩固主导地位”
-
国际足联：启动纪律调查
-
美国宣布对加拿大部分产品加征50%关税
-
“中国15年前还以仿制药为主，现在变了”
-
女子商场遛狗不拴绳惊扰他人被打耳光？少数人爱好不能凌驾多数人的感受
-
卖中国大豆，巴西把美国甩得更远了
-
卢浮宫遭劫展厅即将重新开放，不会再放置珠宝展品
-
中国AI放大招后，美政府要下死手了？
-
日韩忙着“找米下锅”，中国凭啥稳住阵脚？
-
“北方之王”今日将入主唐宁街，誓言“重塑英国”
-
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
