Meta开源“记忆层”，重塑Transformer架构大模型

APP下载

扫一扫

下载观察者APP

Meta开源“记忆层”，重塑Transformer架构大模型
- 朱道义
分享到：

2025-01-03 14:29:32 字号：A- A A+ 来源：观察者网

最后更新: 2025-01-03 14:29:37

11月3日凌晨三点，全球社交巨头Meta分享了一个创新研究——Memory layers（记忆层）。

目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”则提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。

换言之，可以在不增加算力的情况下显著增加大模型的参数。在传统的键值查找中，每个查询都需要与记忆层中的每个键进行比较，以找到最匹配的值。该方法在键的数量较少时是可行的，但随着记忆层规模的增长，这种暴力搜索的方式变得非常低效，需要消耗巨大算力和时间。

Product - Key Lookup是“记忆层”的核心算法之一，使用了一种分而治之的策略，将传统的单一键集合分解为两个较小的键集合，通过两个阶段的查找来减少必要的比较次数，从而提高查找效率。

除了计算效率之外，Product-Key Lookup模块还优化了内存和带宽的使用。由于每个GPU只需要处理一半的键，因此内存的使用量减少了一半。由于每个GPU只需要返回与自己处理的键相关的值，所以内存带宽的需求也得到了优化。

Product-Key Lookup算法不仅提高了记忆层的查询效率，还为记忆层的应用开辟了新的可能性，使得记忆层可以被应用于更大规模的数据集和更复杂的任务中，包括大规模知识图谱的查询、长文本的语义检索等。

并行记忆层则主要是用于对硬件GPU的优化。在传统的Transformer架构模型中，随着模型规模的增加，计算和内存需求也随之增长。特别是在处理大规模数据集时，单一的计算单元很难满足这种需求。并行记忆层通过在多个GPU之间分配任务，有效解决这一难题。在并行记忆层的设计中，每个计算单元只负责处理一部分数据，这样可以减少单个计算单元的负担，同时提高整体的处理速度。

共享记忆参数则是另外一个重要优化方法，允许不同层的记忆层共享同一个参数集合。这种设计的优势在于，它减少了模型的总参数数量，同时提高了参数的利用率。

为了应对训练期间可能出现的变化，研究人员开发了一套动态调整策略。每当有新的键加入或旧有的键被更新时，系统会自动调整相应的子集，而无需对整个记忆池进行全面改造。这样的设计既简化了维护流程，又提高了系统的灵活性和适应性。
本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签 Memory layers Meta
- 责任编辑: 朱道义
- 中国10年期国债收益率跌破1.6%
  
  2025-01-03 10:05 金融观察
- 茅台原董事长丁雄军被查
  
  2025-01-02 20:55 观网财经-消费
- 上海医药收购和黄药业10%股权，中药板块加速布局
  
  2025-01-02 17:30 观网财经-健康
- 新规后首家！黄光裕旗下公司触发市值退市
  
  2025-01-02 17:30
- “医疗大模型第一股”港交所上市：资本簇拥，科大讯飞 “血缘” 深厚
  
  2025-01-02 16:44 观网财经-健康
- “癌症早筛第一股”停牌第九个月，CEO辞职
  
  2025-01-02 15:38 观网财经-健康
- 培育钻石行业掀起涨价潮，市场迎来新动向
  
  2025-01-02 14:29
- 台积电设立2nm试产线，或将在今年量产
  
  2025-01-02 13:35
- 债市开门红！国债期现货全线大涨
  
  2025-01-02 11:38 金融观察
- 中国结算推出减半优惠措施，助力SFISF业务蓬勃发展
  
  2025-01-02 11:03
- 重大人事调整，五粮液“85后”副总走马上任
  
  2024-12-31 17:11 观网财经-消费
- 中核科技重组停牌标的公司曾谋求上市未果
  
  2024-12-31 13:04
- 央行首开债市罚单：三家机构共罚超7000万
  
  2024-12-30 22:51 金融观察
- 贵阳银行拟任“85后”副行长辞职
  
  2024-12-30 22:51 金融观察
- “今年以来大量资金涌向债券市场，市场利率过快下行”
  
  2024-12-30 21:42 金融观察
- 1766亿“红包雨”来了，四大行股价年内创新高
  
  2024-12-30 21:32 金融观察
- 金融观察员｜12月24日-12月30日银行周报
  
  2024-12-30 19:09 金融观察
- 沪上阿姨冲刺港交所，门店数已达8980家
  
  2024-12-30 15:36 观网财经-消费
- 好丽友第三代继承人上位，在华高层也有新任命
  
  2024-12-27 19:09 观网财经-消费
- 滨江集团戚金兴：明年销售目标约1000亿元
  
  2024-12-27 16:27 观网财经-消费
搜索

   观察者头条查看全部

普京访印：美国都在买，印度凭啥不能买？评论 56

日本开发稀土担心中国干扰？日防相放话评论 127

“美欧抢矿，遭殃的却是他们” 评论 13

美国又开炮欧盟：你们在“霸凌”美国军工！评论 72

时代变了，“欧洲人迫切想要中国技术” 评论 205

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

Meta开源“记忆层”，重塑Transformer架构大模型

中国10年期国债收益率跌破1.6%

茅台原董事长丁雄军被查

上海医药收购和黄药业10%股权，中药板块加速布局

新规后首家！黄光裕旗下公司触发市值退市

“医疗大模型第一股”港交所上市：资本簇拥，科大讯飞 “血缘” 深厚

“癌症早筛第一股”停牌第九个月，CEO辞职

培育钻石行业掀起涨价潮，市场迎来新动向

台积电设立2nm试产线，或将在今年量产

债市开门红！国债期现货全线大涨

中国结算推出减半优惠措施，助力SFISF业务蓬勃发展

重大人事调整，五粮液“85后”副总走马上任

中核科技重组停牌标的公司曾谋求上市未果

央行首开债市罚单：三家机构共罚超7000万

贵阳银行拟任“85后”副行长辞职

“今年以来大量资金涌向债券市场，市场利率过快下行”

1766亿“红包雨”来了，四大行股价年内创新高

金融观察员｜12月24日-12月30日银行周报

沪上阿姨冲刺港交所，门店数已达8980家

好丽友第三代继承人上位，在华高层也有新任命

滨江集团戚金兴：明年销售目标约1000亿元

呵呵，“‘民主国家’看不上中国技术”？

普京访印：美国都在买，印度凭啥不能买？

“白宫‘慌乱应对’，想赢中国，支持得到位啊”

国安战略报告迟迟未出，“美财长要求软化对华措辞”

自民党“黑金”丑闻“吹哨人”再出手，这次是高市

“彻底反转了，中国是发达国家，我们才是新兴国家”

“华德858”轮触礁断裂

机密通话曝光！“美国恐将背叛，你要小心”

“云冈石窟大佛冻得流鼻涕”，官方：将暂时封闭、处置渗水

“高市早苗更加不安了”

高善文离职后，又有分析师集体出走国投证券

台军又出意外，这次是炮弹砸了民宅

“中产、富裕阶层也去1元店”，特朗普还嘴硬

日本开发稀土担心中国干扰？日防相放话

“按下葫芦浮起瓢”，英伟达想重返中国市场又难了…