-
HBM价格暴涨之际,华为开源AI推理加速关键技术
-
吕栋lvdong@guancha.cn
(文/观察者网 吕栋 编辑/张广凯)
高带宽内存(HBM)的价格又要大涨了。
当地时间11月5日,熟悉韩国存储巨头SK海力士的人士确认,该公司明年向英伟达供应的HBM4单价约为560美元(约合人民币3991元),比目前供应的HBM3E(约合370美元)价格高出50%以上。
高端的HBM这么贵,并且中国还遭受出口管制,有没有办法减轻对这种产品的依赖?
华为刚开源的技术或许能成为其中一个解决之道。11月5日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
这种技术的关键之处在于,可以根据记忆热度,在不同存储介质中分级缓存数据。比如在HBM中存储“实时记忆数据”,在DRAM中存储“短期记忆数据”,在SSD中存储“长期记忆数据与外部知识”。
这么做的好处是,可以分级管理推理过程中产生的KV Cache记忆数据(优化计算效率、减少重复运算),充分利用不同存储介质的特性,提高HBM的利用率,还能平衡成本。
华为透露,UCM架构包含了多个协同工作的关键功能模块,比如UCM稀疏化模块(UcmSparseBase)、稀疏化KV管理器(SparseKVManager)、KV Cache存储组件 (UcmKVStoreBase)和UCM连接器(UC Connector)等。基于该架构,UCM目前具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载和异构PD解耦,可实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。
图源:华为数据存储
配合UCM技术,华为今年8月曾经推出多款高性能AI SSD。比如,Huawei OceanDisk EX 560的随机写性能最高可达1500K IOPS,适用于AI一体机训练场景;Huawei OceanDisk LC 560最大单盘物理容量245TB,读带宽可达14.7GB/s,适用于集群训练场景等。
“AI SSD聚焦提升训练效率和推理体验, 存储器领域不会仅有HBM一枝独秀,有望形成百花齐放的竞争态势。华为计划与一体机厂商合作,改变现有局面,为AI存储器市场注入新活力,带来更多可能性。”有知情人士对观察者网说道。
当下,国外厂商在HBM领域仍然拥有技术和价格的主导权。Counterpoint Research的报告显示,SK海力士在二季度的全球HBM市场上以62%的出货量占据首位,美光科技(21%)和三星电子(17%)紧随其后。按照SK海力士的产品计划表,HBM4已于9月完成开发并投入量产,将于今年第四季度开始出货,并计划于明年全面扩大销售。
HBM4是HBM第六代产品,其2048位接口和最高16层的堆叠将带来带宽和容量的巨大提升,带宽目标超过2 TB/s,容量可达64GB。业界特别是三星和SK海力士正在探索将HBM堆栈更直接地连接到处理器(如GPU)芯片上,甚至研究在中间层使用光子技术以追求极致的传输速度和能效。这种深度融合可能会模糊逻辑芯片和存储芯片之间的界限,让两者更紧密地集成在一起。
在出口管制和技术追赶下,中国企业难以获得充足的高端HBM。而UCM作为一种记忆数据分级管理技术,开源的关键意义,在于能让更多开发者和企业通过记忆数据分级管理,降低对高端HBM的依赖。但它不是为了取代,也无法取代HBM,而更像是华为的另一种“系统补单点”,把HBM的优势发挥在更合适的地方,实现降本增效。
除了推出UCM,华为在今年的全连接大会上还公布了自研HBM。
华为轮值董事长徐直军当时表示,华为自研了两种HBM,分别是:HiBL 1.0和HiZQ 2.0。不同的自研HBM与Ascend 950 Die合封,分别构成芯片Ascend 950PR:面向Prefill和推荐场景,以及Ascend 950DT:面向Decode和训练场景。其中Ascend 950PR采用了华为自研的低成本HBM,HiBL 1.0,相比高性能、高价格的HBM3e/4e,能够大大降低推理Prefill阶段和推荐业务的投资。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 吕栋 
-
智能早报丨黄仁勋称中国将赢得AI竞赛;天问一号首次观测到星际天体
2025-11-06 09:59 产经 热点关注 -
智元搭台,租赁能破解机器人散点化困局?
2025-11-05 21:21 产经 科创 -
30分钟送万物:闪电仓进入2.0时代与中国电商的新里程碑
2025-11-05 21:12 观网财经-互联网 -
五款百万级CAR-T药闯关商保谈判,自费负担有望降至4万/针
2025-11-05 18:21 观网财经-健康 -
航天宏图:被暂停军队采购资格3年
2025-11-05 17:58 -
高德联合小鹏入局无人驾驶赛道,打造最大Robotaxi聚合平台
2025-11-05 17:42 观网财经-互联网 -
卖鱼子酱净利率堪比茅台!刚从新三板摘牌的鲟龙科技又冲向港股IPO
2025-11-05 17:31 产经 A股/港股/美股 -
市占率从92%降至49%?影石回应与大疆“价格战”
2025-11-05 16:26 产经 科创 -
机器狗用作物流?康迪科技加码“最后一公里”
2025-11-05 15:15 产经 A股/港股/美股 -
发力人形具身机器人?字节高薪招人
2025-11-05 15:08 产经 科创 -
-
京喜自营发布成绩单:一年引入1.5亿新用户、交易额增长10倍
2025-11-05 14:36 观网财经-互联网 -
利润近乎腰斩,韵达“行业老三”地位告急
2025-11-05 14:25 观网财经-消费 -
小米总监警告存储涨价:明年成本预估“有点惊悚”
2025-11-05 14:05 观网财经-科创 -
中国夫妇把纸尿裤卖成“非洲顶流”,年赚近7亿
2025-11-05 11:39 观网财经-消费 -
“大空头”原型做空英伟达与Palantir,美股科技股集体收跌
2025-11-05 11:20 观网财经-科创 -
智能早报丨“大空头”做空英伟达与Palantir;苹果中国严控线下经销商线上销售
2025-11-05 09:54 今日财经 -
解读十五五规划:发挥科技在产业发展中的引领作用
2025-11-05 09:20 观网财经-科创 -
腾讯元宝接入微信支付
2025-11-04 22:44 观网财经-互联网 -
首届AI实盘投资大赛:阿里夺冠,美国四大模型均亏损
2025-11-04 22:44 产经 科创
相关推荐 -
-
中方出手,“法国受伤最重” 评论 71
太讽刺!“荷兰高管一边告公司,一边给自己加薪” 评论 88
欧盟自认“退无可退”,美国仍不买账 评论 52
美国人发愁:明摆着抢钱,但一个愿打一个愿挨 评论 71
德铁下单200辆中国巴士,德财长跳脚:十分恼火 评论 163最新闻 Hot-
万科20亿债券展期方案再次被否,短暂延期至明年1月28日
-
广东最新大动作:500亿战略新兴产业基金成立
-
“英伟达想春节前对华出货,还得看中方意思”
-
中方出手,“法国受伤最重”
-
“若美国封死委内瑞拉石油,这国将走向彻底崩溃”
-
“祥源系”爆雷后,“浙商大佬”俞发祥涉犯罪被抓
-
俄苏-57换装第五代发动机,首飞成功
-
官方披露:华夏银行原董事长李民吉严重违纪违法
-
沪银期货突破16000元/千克关口,上期所再出手:限仓、提高手续费
-
太讽刺!“荷兰高管一边告公司,一边给自己加薪”
-
欧盟自认“退无可退”,美国仍不买账
-
丹麦怒了!“这一决定令我深感愤慨”
-
韩国四大集团“掌门”拟集体访华
-
俄副外长:保证不进攻欧盟北约,准备以法律形式确认
-
美国人发愁:明摆着抢钱,但一个愿打一个愿挨
-
已爆单!外媒叹:这波中国又赶上了
-

观察员
上海市互联网违法与不良信息举报中心