AI落地的关键堵点，华为用“黑科技”打通了

APP下载

扫一扫

下载观察者APP

AI落地的关键堵点，华为用“黑科技”打通了
- 吕栋lvdong@guancha.cn
分享到：

2025-08-15 11:52:03 字号：A- A A+ 来源：观察者网

为什么会率先选择金融场景？

华为技术专家告诉观察者网，金融行业大模型推理有三个核心难题。首先是 “推不动”，无论生产环境的投研分析，还是舆情分析，都会涉及非常多的长序列输入，像一份投研报告可能就是上兆级别的，精准营销需要输入的上下文基本也是长序列，容易出现关键信息丢失；其次是“推得慢”，核心是并发上不去，上去之后每token时延特别长；最后“推得贵”，原因是需要耗费大量的算力，做KV Cache的重复计算。

“难题是长序列推理，我们与客户的对话时长非常长，转化成文字之后会形成大量历史对话和内容，通过KV Cache的方式会挤占我们的显存，瓶颈就变成了显存，因为我们要缓存大量的KV Cache，但是我们显存有限。”中国银联相关负责人说道。

于是，华为和中国银联开展了 UCM技术联合创新。一方面是将计算过的KV Cache数据，从显存分片卸载到内存和存储，缓解显存的压力，使其能处理更长序列的数据；另一方面是使用注意力稀疏技术，让大模型可以区分KV Cache缓存中，有哪些数据是和这次推理相关度最高的，只要把关键的向量获取出来，就可以降低推理时间，提高吞吐量。

就是在这种联合创新技术试点中， UCM的技术价值得到了充分验证。

在中国银联 “客户之声”业务场景下，借助UCM技术及工程化手段，大模型推理速度提升125倍，仅需10秒即可精准识别客户高频问题。在“营销策划”场景中，过去需要数分钟才能生成一份的营销策划案，现在缩短至10秒以内，且单台服务器可支持超过5名营销人员同时在线协作。而在“办公助手”场景中，对于超过17万Token的超长会议语音进行转写和纪要生成，借助UCM也能轻松应对，摆脱了“推不动”的困境。

那 UCM未来能否应用到其他场景，助推AI落地千行百业？华为技术专家给出肯定答复。

“ 随着 Agentic AI时代到来，信息量爆炸，体现在模型侧是显存不足以及推理 Token成本的问题。 UCM方案是去解决这一类的问题，不是一个单点，只是在金融行业首先应用起来，未来在各行各业一旦 AI发挥真正的价值，都会走向这个领域。 ”他对观察者网说道。

填补生态短板，华为再度开源

随着推理性能的重要性不断提升，业界其实也都在探索 KV Cache分级缓存管理技术。比如英伟达今年5月就推出了分布式推理服务框架Dynamo，支持将KV Cache缓存从GPU内存卸载到CPU、SSD甚至网络存储，解决大模型显存瓶颈，避免重复计算。

首页上一页 1 2 3 4 下一页余下全文
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签华为存储
- 责任编辑: 吕栋
- 前7月全国固投同比增1.6%，房地产开发投资降12%
  
  2025-08-15 10:26 宏观经济
- 全球追索的恒大“二号人物”浮出水面！夏海钧藏身美国加州尔湾
  
  2025-08-15 10:07 观网财经-消费
- 哈根达斯与星巴克踏入同一条河流
  
  2025-08-15 10:02 观网财经-消费
- 腾讯称有足够芯片做AI训练；美考虑国家持股英特尔；抖音回应快递服务
  
  2025-08-15 08:59 观网财经-互联网
- 唯品会Q2财报：净营收258亿元，SVIP活跃用户数同比增15%
  
  2025-08-14 20:08 观网财经-互联网
- 淘天集团“更名”，与饿了么、飞猪为并行关系
  
  2025-08-14 20:07 观网财经-互联网
- 稳定币第一股不稳定：Q2营收增53%，但净亏损4.82亿美元
  
  2025-08-14 20:06 金融观察
- 传复星集团在港申请稳定币牌照，此前提交“星币”商标注册
  
  2025-08-14 20:05 金融观察
- 同比少卖了7亿元，康师傅上半年饮料业务失速
  
  2025-08-14 19:31 观网财经-消费
- 22.4%！京东集团2025年Q2收入同比增速再创近三年新高
  
  2025-08-14 17:53 观网财经-互联网
- 腾讯Q2收入利润双增长，AI立大功
  
  2025-08-14 17:50 观网财经-互联网
- 联想季度营收1362亿，杨元庆：中国制造成本优于任何地方
  
  2025-08-14 16:10 观网财经-科创
- 非洲市场出现多个人事变动，小米称是正常调整
  
  2025-08-14 15:58 观网财经-科创
- 时隔六年再现！平安举牌太保，保险巨头互买点燃行情
  
  2025-08-14 13:10 金融观察
- 人形机器人今年产量仅2台，天链机器人IPO可能要被“劝退”
  
  2025-08-14 09:39 科技前沿
- DeepSeek-R2在8月无发布计划；苹果计划推出安全摄像头等AI产品
  
  2025-08-14 08:43 观网财经-互联网
- 瓜子和豌豆卖不动了，甘源食品净利润腰斩
  
  2025-08-13 19:30 观网财经-消费
- 女律师“单挑”王者荣耀，“中国游戏算法诉讼第一案”开庭
  
  2025-08-13 19:26 观网财经-互联网
- 7月DAU过2000万，《三角洲行动》Q2实现用户、收入双线高速增长
  
  2025-08-13 17:38 观网财经-互联网
- “中国人几百年来都不精于消费”，怎么理解？
  
  2025-08-13 17:11 观网财经-消费
搜索

   观察者头条查看全部

“轻松的一天”，随行高管们非常期待… 评论 15

东南亚多国表态，“缅甸措辞最严，坚定站队中方” 评论 131

呵呵，“‘民主国家’看不上中国技术”？评论 313

普京访印：美国都在买，印度凭啥不能买？评论 90

日本开发稀土担心中国干扰？日防相放话评论 138

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

AI落地的关键堵点，华为用“黑科技”打通了

前7月全国固投同比增1.6%，房地产开发投资降12%

全球追索的恒大“二号人物”浮出水面！夏海钧藏身美国加州尔湾

哈根达斯与星巴克踏入同一条河流

腾讯称有足够芯片做AI训练；美考虑国家持股英特尔；抖音回应快递服务

唯品会Q2财报：净营收258亿元，SVIP活跃用户数同比增15%

淘天集团“更名”，与饿了么、飞猪为并行关系

稳定币第一股不稳定：Q2营收增53%，但净亏损4.82亿美元

传复星集团在港申请稳定币牌照，此前提交“星币”商标注册

同比少卖了7亿元，康师傅上半年饮料业务失速

22.4%！京东集团2025年Q2收入同比增速再创近三年新高

腾讯Q2收入利润双增长，AI立大功

联想季度营收1362亿，杨元庆：中国制造成本优于任何地方

非洲市场出现多个人事变动，小米称是正常调整

时隔六年再现！平安举牌太保，保险巨头互买点燃行情

人形机器人今年产量仅2台，天链机器人IPO可能要被“劝退”

DeepSeek-R2在8月无发布计划；苹果计划推出安全摄像头等AI产品

瓜子和豌豆卖不动了，甘源食品净利润腰斩

女律师“单挑”王者荣耀，“中国游戏算法诉讼第一案”开庭

7月DAU过2000万，《三角洲行动》Q2实现用户、收入双线高速增长

“中国人几百年来都不精于消费”，怎么理解？

“轻松的一天”，随行高管们非常期待…

“特朗普对高市早苗措辞非常严厉，甚至还说了……”

扎心了！美新版国安战略，辣评欧洲

东南亚多国表态，“缅甸措辞最严，坚定站队中方”

打造美版深圳！他给特朗普画饼，被曝“近乎科幻”

无视美国，莫迪宣布：印俄已同意…

“二次打击”还没解释清，美军袭击又致4死

欧盟，“罚酒三杯”？

呵呵，“‘民主国家’看不上中国技术”？

普京访印：美国都在买，印度凭啥不能买？

“白宫‘慌乱应对’，想赢中国，支持得到位啊”

国安战略报告迟迟未出，“美财长要求软化对华措辞”

自民党“黑金”丑闻“吹哨人”再出手，这次是高市

“彻底反转了，中国是发达国家，我们才是新兴国家”

“华德858”轮触礁断裂

机密通话曝光！“美国恐将背叛，你要小心”