-
HBM价格暴涨之际,华为开源AI推理加速关键技术
-
吕栋lvdong@guancha.cn
(文/观察者网 吕栋 编辑/张广凯)
高带宽内存(HBM)的价格又要大涨了。
当地时间11月5日,熟悉韩国存储巨头SK海力士的人士确认,该公司明年向英伟达供应的HBM4单价约为560美元(约合人民币3991元),比目前供应的HBM3E(约合370美元)价格高出50%以上。
高端的HBM这么贵,并且中国还遭受出口管制,有没有办法减轻对这种产品的依赖?
华为刚开源的技术或许能成为其中一个解决之道。11月5日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
这种技术的关键之处在于,可以根据记忆热度,在不同存储介质中分级缓存数据。比如在HBM中存储“实时记忆数据”,在DRAM中存储“短期记忆数据”,在SSD中存储“长期记忆数据与外部知识”。
这么做的好处是,可以分级管理推理过程中产生的KV Cache记忆数据(优化计算效率、减少重复运算),充分利用不同存储介质的特性,提高HBM的利用率,还能平衡成本。
华为透露,UCM架构包含了多个协同工作的关键功能模块,比如UCM稀疏化模块(UcmSparseBase)、稀疏化KV管理器(SparseKVManager)、KV Cache存储组件 (UcmKVStoreBase)和UCM连接器(UC Connector)等。基于该架构,UCM目前具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载和异构PD解耦,可实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。
图源:华为数据存储
配合UCM技术,华为今年8月曾经推出多款高性能AI SSD。比如,Huawei OceanDisk EX 560的随机写性能最高可达1500K IOPS,适用于AI一体机训练场景;Huawei OceanDisk LC 560最大单盘物理容量245TB,读带宽可达14.7GB/s,适用于集群训练场景等。
“AI SSD聚焦提升训练效率和推理体验, 存储器领域不会仅有HBM一枝独秀,有望形成百花齐放的竞争态势。华为计划与一体机厂商合作,改变现有局面,为AI存储器市场注入新活力,带来更多可能性。”有知情人士对观察者网说道。
当下,国外厂商在HBM领域仍然拥有技术和价格的主导权。Counterpoint Research的报告显示,SK海力士在二季度的全球HBM市场上以62%的出货量占据首位,美光科技(21%)和三星电子(17%)紧随其后。按照SK海力士的产品计划表,HBM4已于9月完成开发并投入量产,将于今年第四季度开始出货,并计划于明年全面扩大销售。
HBM4是HBM第六代产品,其2048位接口和最高16层的堆叠将带来带宽和容量的巨大提升,带宽目标超过2 TB/s,容量可达64GB。业界特别是三星和SK海力士正在探索将HBM堆栈更直接地连接到处理器(如GPU)芯片上,甚至研究在中间层使用光子技术以追求极致的传输速度和能效。这种深度融合可能会模糊逻辑芯片和存储芯片之间的界限,让两者更紧密地集成在一起。
在出口管制和技术追赶下,中国企业难以获得充足的高端HBM。而UCM作为一种记忆数据分级管理技术,开源的关键意义,在于能让更多开发者和企业通过记忆数据分级管理,降低对高端HBM的依赖。但它不是为了取代,也无法取代HBM,而更像是华为的另一种“系统补单点”,把HBM的优势发挥在更合适的地方,实现降本增效。
除了推出UCM,华为在今年的全连接大会上还公布了自研HBM。
华为轮值董事长徐直军当时表示,华为自研了两种HBM,分别是:HiBL 1.0和HiZQ 2.0。不同的自研HBM与Ascend 950 Die合封,分别构成芯片Ascend 950PR:面向Prefill和推荐场景,以及Ascend 950DT:面向Decode和训练场景。其中Ascend 950PR采用了华为自研的低成本HBM,HiBL 1.0,相比高性能、高价格的HBM3e/4e,能够大大降低推理Prefill阶段和推荐业务的投资。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 吕栋 
-
智能早报丨黄仁勋称中国将赢得AI竞赛;天问一号首次观测到星际天体
2025-11-06 09:59 产经 热点关注 -
智元搭台,租赁能破解机器人散点化困局?
2025-11-05 21:21 产经 科创 -
30分钟送万物:闪电仓进入2.0时代与中国电商的新里程碑
2025-11-05 21:12 观网财经-互联网 -
五款百万级CAR-T药闯关商保谈判,自费负担有望降至4万/针
2025-11-05 18:21 观网财经-健康 -
航天宏图:被暂停军队采购资格3年
2025-11-05 17:58 -
高德联合小鹏入局无人驾驶赛道,打造最大Robotaxi聚合平台
2025-11-05 17:42 观网财经-互联网 -
卖鱼子酱净利率堪比茅台!刚从新三板摘牌的鲟龙科技又冲向港股IPO
2025-11-05 17:31 产经 A股/港股/美股 -
市占率从92%降至49%?影石回应与大疆“价格战”
2025-11-05 16:26 产经 科创 -
机器狗用作物流?康迪科技加码“最后一公里”
2025-11-05 15:15 产经 A股/港股/美股 -
发力人形具身机器人?字节高薪招人
2025-11-05 15:08 产经 科创 -
-
京喜自营发布成绩单:一年引入1.5亿新用户、交易额增长10倍
2025-11-05 14:36 观网财经-互联网 -
利润近乎腰斩,韵达“行业老三”地位告急
2025-11-05 14:25 观网财经-消费 -
小米总监警告存储涨价:明年成本预估“有点惊悚”
2025-11-05 14:05 观网财经-科创 -
中国夫妇把纸尿裤卖成“非洲顶流”,年赚近7亿
2025-11-05 11:39 观网财经-消费 -
“大空头”原型做空英伟达与Palantir,美股科技股集体收跌
2025-11-05 11:20 观网财经-科创 -
智能早报丨“大空头”做空英伟达与Palantir;苹果中国严控线下经销商线上销售
2025-11-05 09:54 今日财经 -
解读十五五规划:发挥科技在产业发展中的引领作用
2025-11-05 09:20 观网财经-科创 -
腾讯元宝接入微信支付
2025-11-04 22:44 观网财经-互联网 -
首届AI实盘投资大赛:阿里夺冠,美国四大模型均亏损
2025-11-04 22:44 产经 科创
相关推荐 -
-
“自己菜”不说,竟怪中方打压… 评论 94
真掰了?一纸禁令后,美欧圣诞“开撕” 评论 101
泽连斯基又扯中国,这次是卫星 评论 270
泽连斯基公布美乌“20点和平计划”,俄方回应 评论 158
对话张军:中国经济下一程,钱会更多投向这些领域 评论 50最新闻 Hot-
“这一年里,欧盟到底受了多少窝囊气?”
-
“假新闻!彭博社根本没有熟悉克宫的‘消息人士’”
-
“开始准备了!”韩企跟美国表忠心,但许可都没拿到
-
“自己菜”不说,竟怪中方打压…
-
真掰了?一纸禁令后,美欧圣诞“开撕”
-
“2025年,或是欧洲和平最后一年”
-
警惕!高市又放话,这次涉核潜艇
-
特朗普支持的候选人胜选,美国督促洪都拉斯各方接受选举结果
-
“史无前例”,民主党又急了:特朗普快收手,别让中俄钻空子
-
泽连斯基又扯中国,这次是卫星
-
当美国人被一条“斩杀线”击中...
-
泽连斯基公布美乌“20点和平计划”,俄方回应
-
“麦卡锡式的政治迫害又回来了吗?”法国怒了
-
“向中国看齐,西方车企开始文化转型”
-
中美安理会激烈交锋,委内瑞拉:撕破美国假面
-
美军大批特战部队进驻加勒比,“只剩下一个问题...”
-

观察员
上海市互联网违法与不良信息举报中心