观察员
-
华为昇腾推出高性能保精度量化方案，更好适配DeepSeek
-
万肇生Guanchazhewanxgun
（文/万肇生 编辑/张广凯）
近日，华为公开了昇腾服务器上部署DeepSeek V3/R1推理的最佳实践，并介绍了一系列创新技术。
其中，华为在降低计算资源需求方面，创新提出了昇腾亲和的低比特量化解决方案OptiQuant，最终实现了INT8量化模式与FP8的模型推理精度持平。
由于DeepSeek V3/R1模型是基于英伟达生态训练，并推荐使用FP8精度推理，而国产芯片普遍没有原生支持FP8精度，导致国产芯片对DeepSeek的适配不佳。华为昇腾的上述研究应该就是为了解决这一问题。
通常情况下，在模型推理阶段，进行量化（如FP8量化为INT8）可以显著降低模型对硬件的存储需求和计算复杂度，但也会造成模型推理精度的损失以及逻辑错误等问题。因此如何保持推理精度，是低比特量化满足不同平台部署需求时的前提。
据华为介绍，基于BF16的DeepSeek需要1.3TB的显存空间，同时导致极大的算力和跨机通信开销。而校准集的泛化性缺失导致了在很多任务上难以达到与原有模型相近的精度水平，甚至在某些场景下精度下降十分严重。同时，还要考虑如何设计昇腾亲和的量化算法，以发挥硬件性能。
针对上述问题，华为提出了OptiQuant量化框架，一种高性能保精度量化方案，设计了层间自动混精、自动混合校准、离群值抑制、可学习的截断和SSZW参数量化算法。除了支持业界主流量化算法功能之外，它还新增支持三个功能：接入自定义量化算法和数值类型，可以将多种量化算法的自由组合搭配使用；支持业内主流评测数据集和用户自定义的数据校准集；支持数据并行和流水并行，针对不同大小的大语言模型实现精度验证性能加速。
OptiQuant框架主要由以下几个模块组成：
量化类型和数值类型：OptiQuant支持了Int2/4/8和FP8/HiFloat8等数据类型，支持业界的Qserve，HQQ，LUT等量化方法，在此基础上提出了可学习截断和量化参数优化等算法，进一步减少了量化误差。
多样化测试数据集和用户自定义校准集：多样化测试数据集和用户自定义校准集：OptiQuant支持了判断题，问答题，代码题和数学题等多种测试类别，语种上支持了十种常见语言。此外，OptiQuant支持用户自定义校准集，提升模型量化过程中的泛化性。
量化权重生成：OptiQuant提出了自适应层间混精算法，并且根据对应的量化配置生成对应的权重参数，通过去冗余技术减少参数保存的参数量；OptiQuant进一步提出了FlexSQ等算法，在数据校准过程中，对大模型激活异常值进行了平滑处理，有助于对激活做低比特量化。
最终，基于Atlas 800I A2服务器的精度测试实验结果显示，对于DeepSeek-V3-0324模型，W8A8C16和W4A8C16均采用Per-channel量化，实现了推理精度与FP8-GPU持平。
华为表示，在DeepSeek R1/V3大模型推理场景中，实现了INT8量化模式与FP8的模型推理精度持平，而且进一步发挥了华为Atlas 800I A2和CloudMatrix384集群推理硬件性能。而相关代码也将逐步开源。
本文系观察者网独家稿件，未经授权，不得转载。
- 责任编辑: 万肇生
-
“去耐克化”，滔搏想做运动品牌的“MCN”
2025-05-24 16:53 观网财经-消费 -
茶咖日报｜霸王茶姬计划内地新增1000家门店
2025-05-23 20:06 观网财经-消费 -
饿了么上线“国补”，下单最高可享2000元补贴
2025-05-23 20:05 观网财经-互联网 -
加速出海！天猫618淘宝包邮区将扩容至全球12站
2025-05-23 20:05 观网财经-互联网 -
京东工业发布Joy industrial，系首个以供应链为核心的工业大模型
2025-05-23 20:03 观网财经-互联网 -
BOSS直聘一季报：营收19.23亿元，净利润5.12亿元
2025-05-23 20:03 观网财经-互联网 -
美团外卖“神抢手”日订单量突破1000万单
2025-05-23 17:19 观网财经-互联网 -
“投资中国就是投资未来！”，多位国际品牌高管财报季密集发声
2025-05-23 17:06 观网财经-消费 -
特朗普想换鲍威尔？美最高法院出手：美联储是“独特”实体
2025-05-23 15:00 -
观网调查：为什么在招聘平台找不到工作？寒门子弟更难
2025-05-23 14:24 观网财经-互联网 -
联想杨元庆：坚持中国作为大本营，全球化没有终结
2025-05-23 13:20 观网财经-科创 -
近40万台Windows电脑被感染，微软起诉
2025-05-23 10:33 观网财经-科创 -
黑芝麻智能华山A1000芯片助力东风奕派2025款eπ007智雅领航，型动上市！
2025-05-23 10:15 -
净利率连年走低的“燕麦第一股”，寄希望于老龄化市场突围
2025-05-23 10:05 观网财经-消费 -
相比3纳米SoC，小米自研4G基带更值得关注
2025-05-23 09:43 观网财经-科创 -
小米发布玄戒和YU7；三款iPhone被过时；OpenAI计划推出1亿台AI伴侣
2025-05-23 08:50 观网财经-消费 -
老铺黄金港股狂飙，潮宏基能否复制“黄金股神话”？
2025-05-22 21:11 观网财经-消费 -
雷军：小米芯片跑分超300万，不可能上来就吊打苹果
2025-05-22 20:51 观网财经-科创 -
内部人士回应快手强制员工刷短视频：“并不属实”
2025-05-22 20:22 观网财经-互联网 -
传快手要求员工每天刷1小时短视频，内部人士回应
2025-05-22 19:15 观网财经-互联网
相关推荐 -
-
“环保少女”在伦敦被捕 评论 69
“他俩各唱各的调”还抢功内斗，美国务院急灭火 评论 23
“极其鲁莽！特朗普开了一个非常糟糕的先例” 评论 70
美国“飞手”怒了：我爱国货，但无人机就得是中国 评论 115
全面禁售，还污蔑“中方会测绘美国每一寸土地” 评论 163最新闻 Hot-
“环保少女”在伦敦被捕
-
“他俩各唱各的调”还抢功内斗，美国务院急灭火
-
最新公开！他自杀前给性侵犯写信：我们的总统也喜欢......
-
英媒有点急：挑战来了，中国又一领域跻身高端市场
-
“极其鲁莽！特朗普开了一个非常糟糕的先例”
-
泰国感谢中方：赞赏中方秉持客观公正立场
-
美国“飞手”怒了：我爱国货，但无人机就得是中国
-
笑岔气了，所谓“中国代理人”案核心证物竟是盐水鸭…
-
泰方：上次停火谈判太仓促，就为了给特朗普面子
-
全面禁售，还污蔑“中方会测绘美国每一寸土地”
-
特朗普又想起这茬了，“必须拿下，沿海全是中俄船只…”
-
中植集团原董事局主席高某某等涉嫌非法吸收公众存款罪案，一审宣判
-
中国父子偷渡美国，6岁儿子“失踪”？结局是……
-
气象预报事关国安，“中国要打破欧洲依赖”
-
日本死命折腾，“谁让特朗普不搭理我，还老提G2”
-
万科20亿债券展期方案再次被否，短暂延期至明年1月28日
-
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
