科大讯飞携手华为，实现基于国产算力的MoE模型推理方案

APP下载

扫一扫

下载观察者APP

科大讯飞携手华为，实现基于国产算力的MoE模型推理方案

分享到：

2025-03-11 16:12:56 字号：A- A A+ 来源：观察者网

3月11日，据“科大讯飞研究院”公众号，近日，科大讯飞携手华为在国产算力领域取得重大进展，双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理，这是继DeepSeek公布其MoE模型训练推理方案后，业界首个基于国产算力的全新解决方案。

科大讯飞介绍，联合团队通过软硬件的深度协同创新，在多个关键技术层面深挖硬件潜力，完成昇腾集群上的验证和部署。在算子融合方面，团队在MLA预处理阶段通过Vector与Cube异构计算单元并行流水，并将多个小算子融合重构为原子级计算单元，消除小算子下发开销，MLA前处理时延降低50%+，实现性能的显著提升。

在混合并行策略和通信计算并行优化方面，团队构建了TP（张量并行）+EP（专家并行）混合范式：对MLA计算层采用机内TP并行，发挥机内高速互联优势，降低跨机通信损耗；创新MoE专家分层调度，64卡均衡分配专家计算节点，定制AllToAll通信协议，专家数据交换效率提升40%，构建跨机/机内双层通信架构，通过分层优化降低跨机流量60%；同时研发路由专家负载均衡算法，实现卡间负载差异小于10%，集群吞吐提升30%。

通过分布式架构创新与算法协同优化，联合团队在国产算力上实现了显著的性能提升。单卡静态内存占用缩减至双机部署的1/4，效率提升75%，专家计算密度增加4倍，推理吞吐提升3.2倍，端到端时延降低50%。

科大讯飞称，这一突破性的解决方案也将应用于讯飞星火深度推理模型的训练加速，预期训练时推理效率将提升200%。同时，基于该方案的推理引擎也实现了国产算力上DeepSeek V3和R1的高效推理。

近期，科大讯飞深度推理大模型星火X1也完成升级，在模型参数量比业界同行少一个数量级的情况下，星火X1的数学能力全面对标DeepSeek R1和OpenAI o1，在中文数学各项任务中均实现领先。科大讯飞始终坚定走国产化道路，星火X1也是当前唯一采用全国产算力训练的深度推理大模型。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签
- 责任编辑: 连政
- 《哪吒2》将在欧洲37个国家上映
  
  2025-03-11 16:02
- 两个月吸金20亿，中国机器人创企为何成资本新宠？
  
  2025-03-11 15:17 观网财经-科创
- 国补首次覆盖新能源汽车用品，京东养车再提速
  
  2025-03-11 14:10 观网财经-互联网
- “高贵的”昂跑和lululemon，也有了高贵的烦恼
  
  2025-03-11 14:03 观网财经-消费
- 稚晖君发布灵犀X2机器人：毫秒级交互反应能力
  
  2025-03-11 13:14
- 国产CPU生态突围需要“竞合”，而非“内耗”
  
  2025-03-11 11:14 观网财经-科创
- 美股大幅低开，特斯拉大跌9%较历史最高位“腰斩”
  
  2025-03-10 23:06
- 方便面“老二”地位动摇，统一靠饮料撑起业绩
  
  2025-03-10 21:49 观网财经-消费
- 出海！宇树在速卖通开设官方店铺
  
  2025-03-10 21:15 观网财经-互联网
- 这些年轻的面孔，都是中国科创的功臣
  
  2025-03-10 21:06 观察者头条
- 17岁男孩“在海底捞”醉酒撒尿，卖酒的人该担责吗？
  
  2025-03-10 19:35 观网财经-消费
- 马来西亚运营商与华为中兴签约，将在5G与AI方面合作
  
  2025-03-10 18:12 观网财经-科创
- 东茅街茶馆会成为下一个文和友吗？
  
  2025-03-10 18:11 观网财经-消费
- 层高至少3米！住建部将从这三个方向落实“好房子”标准
  
  2025-03-10 18:11 2025两会
- 到海外买矿！坐拥7座金矿的赤峰黄金港股再上市
  
  2025-03-10 18:02 观网财经-消费
- 茶咖日报｜奈雪的茶被调出港股通标的名单；瑞幸咖啡泰国商标案胜诉
  
  2025-03-10 17:56 观网财经-消费
- 网易回应“将关闭公有云”
  
  2025-03-10 16:10 观网财经-科创
- 苹果折叠屏被曝将搭载硅碳负极电池，宁德新能源独供
  
  2025-03-10 15:46 观网财经-科创
- 登顶热搜，美的被曝强制18点20下班？官方回应，网友吵翻
  
  2025-03-10 14:24 大公司
- 国家机器人创新中心与华为开展具身智能领域合作交流
  
  2025-03-10 10:45 观网财经-科创
搜索

   观察者头条查看全部

会还没开就吵起来了，“欧洲的忍耐已逼近极限” 评论 27

高市借“饭圈化”上位，中日关系将何去何从？评论 346

曾公开叫嚣“为美国而战”，黎智英被判20年评论 301

对抗中国，美媒急拱火：若高市废掉和平宪法就太好了评论 443

高市“奇袭”赌赢了，但能躲开“特拉斯式暴死”吗？评论 422

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001 网登网视备（沪）02020000041-1号互联网宗教信息服务许可证：沪（2024）0000009 广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571

沪公网安备 31010502000027号中国互联网举报中心上海市互联网违法与不良信息举报中心

返回顶部