【文/观察者网 熊超然】上个月，全球计算机存储领域的顶级学术会议——第23届USENIX文件与存储技术会议（USENIX Conference on File and Storage Technologies，简称FAST），在美国加利福尼亚州圣克拉拉举行。

本届大会上，来自中国的人工智能（AI）初创公司月之暗面（Moonshot AI）和清华大学团队合作发表论文并在其中提出一个名为Mooncake的系统，因而获得埃里克·里德尔最佳论文奖（Erik Riedel Best Paper Award）。

香港《南华早报》3月14日报道认为，Mooncake这一款大语言模型系统的效率比之前的基准提高了五倍，从而帮助降低了对计算资源的需求。在美国长期就中国获取先进AI芯片进行围堵打压的背景下，这一成果还有助于对抗美国芯片禁令、减少对英伟达等企业出产的图形处理单元（GPU）的依赖。

而在本月，无问芯穹（Infinigence AI）和上海交通大学、清华大学共同提出的视频生成大模型推理IP工作——FlightVGM，也在国际顶级会议上获奖。他们首次在可重构逻辑集成电路（FPGA）上实现了视频生成模型（VGMs）的高效推理，在美国半导体公司AMD广泛可用的V80 FPGA芯片上，该系统在性能上提升了30%，能效比英伟达旗舰产品RTX 3090 GPU高出4.5倍。

《南华早报》称，中国AI科研团队用工业芯片取代英伟达高端GPU而获全球大奖，这预示着全球优化AI硬件的竞赛也出现了重大转变。

埃里克·里德尔最佳论文奖 清华大学网站新闻图

据报道，这篇获奖论文由清华大学计算机系教师章明星、武永卫、郑纬民团队和月之暗面公司合作发表，名为“以键值缓存为中心的以存换算大语言模型推理架构”（Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot）。论文的第一作者为计算机系博士生秦若愚，导师为助理教授章明星。

根据清华大学方面的介绍，该论文提出的系统Mooncake，是月之暗面推出的大语言模型服务Kimi的底层推理服务平台。Mooncake采用了一种以键值缓存（KVCache）为中心的分离架构，不仅将预填充和解码集群分离，还高效利用了推理集群中未充分利用的CPU、DRAM、SSD和NIC资源，构建了一个独立的KVCache缓存池。其核心创新在于以KVCache为中心的全局缓存和调度器，旨在严格延迟相关服务级别目标（SLOs）下最大化吞吐量。

实验结果显示，Mooncake在处理长上下文输入的场景中表现出色。在使用真实数据进行的测试中，与基线方法相比，Mooncake在符合SLOs的情况下，将有效请求处理能力提升了59%至498%。目前，Mooncake已在数千个节点上运行，每日处理超过1000亿个token。在实际部署中，Mooncake的创新架构使Kimi在NVIDIA A800和H800集群上分别比以前的系统多处理115%和107%的请求。

《南华早报》指出，一段时间以来，美国政府已对向中国出口先进AI芯片实施了一系列限制措施，包括对英伟达高端芯片的多项禁令。

英伟达的AI芯片在全球范围内广泛部署。 《华尔街日报》

早在2022年10月，美国政府就已实施了一系列AI芯片出口限制措施，英伟达由于无法向中国市场提供A100和H100这两款AI处理器，专门为中国市场特供符合美方规定的A800和H800芯片，以绕开美国政府的管制。

2023年10月，美国商务部又发布了一系列新的芯片出口限制，扩大了对高级AI芯片的定义，并对运往40多个国家的芯片产品提出额外的许可要求，以避免转售给中国。这一新的限制措施出台，意味着A800和H800芯片也被列入禁售名单。

美方想方设法围堵打压，就是意图限制中国在AI领域的计算能力，进而压制AI模型的训练和开发。然而，这些限制反而促使中方研究人员和企业寻求通过软件优化和创新数据结构来挖掘现有芯片潜力的方法。

据报道，清华大学MADSys实验室已在软件源代码托管服务平台GitHub上启动了Mooncake项目，旨在加速该技术的采用和传播。与此同时，该项目已被包括阿里巴巴和蚂蚁集团在内的多家公司内部采用，并已融入开源社区。