观察员
-
DeepSeek“开源周”，连续掏出两大核心武器
-
张广凯13764468101
今天是DeepSeek“开源周”第二日，DeepSeek宣布开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。
昨天，DeepSeek则开源了代码库Flash MLA，这是针对Hopper GPU优化的高效MLA解码内核，针对可变长度序列作了优化。
MoE（混合专家架构）和MLA（多头潜在注意力机制）被认为是DeepSeek以低成本实现杰出表现的核心原因。
简单理解，MoE架构是由多个专注于垂直技能的专家模型分工协作来实现最终输出结果，训练成本和推理成本更低。有消息称，GPT-4就使用了MoE架构，由8个220B模型组成。但MoE架构的缺点之一是会增加通信成本。
DeepEP通信库就是针对通信环节的优化，其特点包括：高效、优化的全员沟通；节点内和节点间均支持 NVLink 和 RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生 FP8 调度支持；灵活的 GPU 资源控制，实现计算-通信重叠。
MLA则是让模型预测更远位置的token，从而增强语义理解能力。DeepSeek的Flash MLA专为英伟达Hopper GPU打造了高效MLA解码内核，特别针对变长序列进行了优化。
本文系观察者网独家稿件，未经授权，不得转载。
- 责任编辑: 张广凯
-
DeepSeek带动英伟达在华订单大增？
2025-02-25 11:11 观网财经-科创 -
经济数据引发美国科技股再跳水，热门中概股大幅回落
2025-02-25 11:07 观网财经-互联网 -
国产GPU厂商被曝考虑赴港IPO，拟募资3亿美元
2025-02-25 10:12 观网财经-科创 -
今日头条2024年拦截不实信息超500万条，处置不友善内容3亿条
2025-02-24 22:12 观网财经-互联网 -
京东：外卖骑手五险一金的所有成本，全部由京东承担
2025-02-24 18:39 观网财经-互联网 -
苹果推出超低配iPhone16e的原因找到了？
2025-02-24 18:26 手机 -
公开指责字节旗下红果短剧垄断，爱奇艺因何焦虑？
2025-02-24 18:21 观网财经-互联网 -
茶咖日报｜霸王茶姬发起青年艺术共创计划；喜茶携手Adyen加速全球支付布局
2025-02-24 18:05 观网财经-消费 -
首款为原生鸿蒙而生的手机3月发布，腾讯回应余承东
2025-02-24 16:27 观网财经-科创 -
喜茶海外首家LAB店落地纽约，美国门店已超20家
2025-02-24 16:15 观网财经-消费 -
工信部副部长熊继军：加快完善我国开源生态体系建设
2025-02-24 14:20 观网财经-科创 -
超百亿加码+深度创新，SHEIN链深耕服装产业升级
2025-02-24 13:47 -
事关AI，阿里宣布：将投3800亿
2025-02-24 10:46 人工智能 -
全球开发者先锋大会在上海开幕，有哪些看点？
2025-02-22 22:55 观网财经-科创 -
黄仁勋首度回应DeepSeek冲击
2025-02-22 20:49 人工智能 -
沈向洋谈DeepSeek：开源和闭源不是对立的商业模式
2025-02-22 19:32 观网财经-科创 -
元宝下载量仅次于DeepSeek！腾讯股价创近4年来新高
2025-02-22 18:27 观网财经-互联网 -
道指跌超700点，中概股逆势上涨
2025-02-22 11:41 -
全球折叠屏出货罕见大跌18%：华为超三星成第一，荣耀联想进前五
2025-02-21 21:58 观网财经-科创 -
仅仅10年前，中国游客还在东京秋叶原抢马桶盖
2025-02-21 21:10 中国经济
相关推荐 -
-
向美以索赔！伊朗新任最高领袖首份声明，全文公布 评论 137
又是情报太旧，美方“误炸”这回还要怪AI？ 评论 112
低空经济加速出海，中国标准是“飞”出来的 评论 38
十四届全国人大四次会议闭幕会 评论 0
愿望落空，美以评估：伊朗政府依然稳固 评论 115最新闻 Hot-
向美以索赔！伊朗新任最高领袖首份声明，全文公布
-
“美国又虚张声势，中国早已看透”
-
“全世界都看到了美军的表现，中国大有可为”
-
在这些领域，“各国不得不接受事实：跟中国竞争不了”
-
伊媒发声：中俄绝非“背后捅刀”
-
“愚蠢！欧盟领导人对特朗普太卑微了”
-
“美以的目标是医院、学校、体育场和红新月会”
-
又是情报太旧，美方“误炸”这回还要怪AI？
-
“特朗普向多个盟友求援，仅一国考虑帮忙”
-
升级！伊朗2天内袭击6艘船，“美军拒绝所有护航请求”
-
“保障国内供应，中方下令暂停出口”
-
伊朗“开绿灯”，允许印度通过海峡？伊朗人士否认
-
IEA紧急放油4亿桶，伊朗：等着迎接200美元的油价吧
-
美大使道歉
-
“脚骨折了、左眼淤青，都是轻伤”
-
卫星图像：B-2扔下钻地弹，又炸了伊朗核设施？
-
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
