观察员
-
Meta开源“记忆层”，重塑Transformer架构大模型
最后更新: 2025-01-03 14:29:3711月3日凌晨三点，全球社交巨头Meta分享了一个创新研究——Memory layers（记忆层）。
目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”则提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。
换言之，可以在不增加算力的情况下显著增加大模型的参数。在传统的键值查找中，每个查询都需要与记忆层中的每个键进行比较，以找到最匹配的值。该方法在键的数量较少时是可行的，但随着记忆层规模的增长，这种暴力搜索的方式变得非常低效，需要消耗巨大算力和时间。
Product - Key Lookup是“记忆层”的核心算法之一，使用了一种分而治之的策略，将传统的单一键集合分解为两个较小的键集合，通过两个阶段的查找来减少必要的比较次数，从而提高查找效率。
除了计算效率之外，Product-Key Lookup模块还优化了内存和带宽的使用。由于每个GPU只需要处理一半的键，因此内存的使用量减少了一半。由于每个GPU只需要返回与自己处理的键相关的值，所以内存带宽的需求也得到了优化。
Product-Key Lookup算法不仅提高了记忆层的查询效率，还为记忆层的应用开辟了新的可能性，使得记忆层可以被应用于更大规模的数据集和更复杂的任务中，包括大规模知识图谱的查询、长文本的语义检索等。
并行记忆层则主要是用于对硬件GPU的优化。在传统的Transformer架构模型中，随着模型规模的增加，计算和内存需求也随之增长。特别是在处理大规模数据集时，单一的计算单元很难满足这种需求。并行记忆层通过在多个GPU之间分配任务，有效解决这一难题。在并行记忆层的设计中，每个计算单元只负责处理一部分数据，这样可以减少单个计算单元的负担，同时提高整体的处理速度。
共享记忆参数则是另外一个重要优化方法，允许不同层的记忆层共享同一个参数集合。这种设计的优势在于，它减少了模型的总参数数量，同时提高了参数的利用率。
为了应对训练期间可能出现的变化，研究人员开发了一套动态调整策略。每当有新的键加入或旧有的键被更新时，系统会自动调整相应的子集，而无需对整个记忆池进行全面改造。这样的设计既简化了维护流程，又提高了系统的灵活性和适应性。
本文系观察者网独家稿件，未经授权，不得转载。
- 责任编辑: 朱道义
-
中国10年期国债收益率跌破1.6%
2025-01-03 10:05 金融观察 -
茅台原董事长丁雄军被查
2025-01-02 20:55 观网财经-消费 -
上海医药收购和黄药业10%股权，中药板块加速布局
2025-01-02 17:30 观网财经-健康 -
新规后首家！黄光裕旗下公司触发市值退市
2025-01-02 17:30 -
“医疗大模型第一股”港交所上市：资本簇拥，科大讯飞 “血缘” 深厚
2025-01-02 16:44 观网财经-健康 -
“癌症早筛第一股”停牌第九个月，CEO辞职
2025-01-02 15:38 观网财经-健康 -
培育钻石行业掀起涨价潮，市场迎来新动向
2025-01-02 14:29 -
台积电设立2nm试产线，或将在今年量产
2025-01-02 13:35 -
债市开门红！国债期现货全线大涨
2025-01-02 11:38 金融观察 -
中国结算推出减半优惠措施，助力SFISF业务蓬勃发展
2025-01-02 11:03 -
重大人事调整，五粮液“85后”副总走马上任
2024-12-31 17:11 观网财经-消费 -
中核科技重组停牌 标的公司曾谋求上市未果
2024-12-31 13:04 -
央行首开债市罚单：三家机构共罚超7000万
2024-12-30 22:51 金融观察 -
贵阳银行拟任“85后”副行长辞职
2024-12-30 22:51 金融观察 -
“今年以来大量资金涌向债券市场，市场利率过快下行”
2024-12-30 21:42 金融观察 -
1766亿“红包雨”来了，四大行股价年内创新高
2024-12-30 21:32 金融观察 -
金融观察员｜12月24日-12月30日银行周报
2024-12-30 19:09 金融观察 -
沪上阿姨冲刺港交所，门店数已达8980家
2024-12-30 15:36 观网财经-消费 -
好丽友第三代继承人上位，在华高层也有新任命
2024-12-27 19:09 观网财经-消费 -
滨江集团戚金兴：明年销售目标约1000亿元
2024-12-27 16:27 观网财经-消费
相关推荐 -
亚美尼亚下周大选，俄方突然召回大使：只能二选一 评论 28
一场基础元件的翻身仗该是什么样子 评论 30
奔驰要被美国禁了，全怪中国？！ 评论 118
美防长在香会对华“降调”，对欧“施压” 评论 72
美财长尬吹：面对中国，特朗普“叫醒”了美国 评论 88最新闻 Hot
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
