当大模子试图处理一段包含 100 万 token 的超长文档时，会发生什么？谜底是：内存爆炸，筹谋崩溃。

无论是分析通盘代码库、处理万字研报，也曾进行超长多轮对话，LLM 的"长文本才略"王人是其走向更高阶智能的关节。接洽词，Transformer 架构的固有瓶颈──与高下文长度成过去接洽的筹谋复杂度和线性增长的 KV Cache，使其在濒临超长序列时力不从心，造成了一个既"算不动"也"存不下"的"吞金巨兽"。

为了"续命"，现存决策要么选择高下文压缩，但这骨子上是有损的，信息丢失不行幸免；要么给与轮回机制，但这类模子又相同"忘记"，难以保留连络全文的关节信息，也记不清刚刚发生的细节。

来自阿里巴巴翌日糊话柄验室的接头团队瞻念察出问题的中枢在于：模子阑珊一套能同期兼顾"远距离中枢牵记"和"近距离高清细节"的协同系统。基于此，他们推出了一种全新的即插即用架构──协同牵记 Transformer（CoMeT），让 LLM 领有了高效处理无穷长高下文的才略。

CoMeT令东谈主有时的推崇是：一个仅在 32k 高下文上微调的模子，竟能在 100 万 token 的文本中，精确无误地找到任何位置的"密码"，真实终显豁"大海捞针"！况且，通盘经过的推理本事和内存占用王人得到了显赫的优化。

△  CoMeT 在 32k 高下文教训后，可在 1M token 中精确大海捞针，澳门十大娱乐平台且推理速率和内存占用远优于全细心力模子鱼与熊掌兼得："协同牵记"架构

CoMeT 的深重之处在于，它莫得试图用单一机制处理通盘问题，而是野心了一套双轨并行的协同牵记系统，让模子既能"牢记牢"，又能"看得清"。

1. 全局牵记（Global Memory）：一个带"门禁"的牵记保障箱

为了处理长久渐忘问题，CoMeT 引入了一个固定大小的全局牵记。它的中枢是一个小巧的门控更新机制（Gated Update）。当模子处理新的文本块时，这个"门禁"会智能判断新信息的伏击性：要是信息至关伏击，门控盛开，将其写入长久牵记；要是信息不那么伏击，门控保抓关闭，保护已有的关节牵记不被冲刷。这套机制就像一个牵记的"保障箱"，nba下注官网确保那些连络全文的中枢印迹粗略被长久、庄重地保存下来。

2. 临时牵记（Temporary Memory）：一条高保的确"事件流"

为了保留近期细节，CoMeT 引入了由先进先出（FIFO）部队管束的临时牵记。它像一条流动的传送带，抓续将最近处理过的文本块信息进行高保真压缩并暂存。这保证了模子在作念决策时，能随时拜访到最周边、最详确的高下文信息，幸免因信息丢失而导致的"断片"。这种野心优雅地均衡了长久牵记的庄重性与近期牵记的鲜美性。

△  CoMeT 架构概览：全局牵记与临时牵记协同责任

通过全局和临时牵记的协同，CoMeT 在处理每个文本块时，王人能同期"纪念"长久中枢信息和"注视"近期详确内容，最终终显豁恒定的内存占用和线性的本事复杂度，从根柢上冲破了 Transformer 的性能瓶颈。

践诺出真知：SOTA 性能与惊东谈主恶果

CoMeT 的刚毅不单是停留在表面上，实验戒指更是令东谈主印象潜入。

1.   泰斗基准全面卓越，登顶 SOTA

在公认的长文本评测基准 SCROLLS 上，CoMeT 在同等内存预算下，平均性能卓越了通盘主流的高效长文本次第（如高下文压缩、其他轮回机制模子），并在需要全局表露的提要任务上，达到了与全细心力基线（Full Attention）相比好意思的性能。

△  CoMeT 在 SCROLLS 基准上卓越其他高效次第 2.   恶果翻新：21 倍加快，10 倍显存勤俭

相较于法式的 Full Attention 模子，CoMeT 在处理 1M 长度的文本时，终显豁21 倍的推理加快和10 倍的峰值显存勤俭。这意味着，底本需要顶级算力才能拼集运转的任务，当前在粗拙硬件上也能高效完成，为长文本哄骗的落地扫清了窒碍。

△  CoMeT 在推理本事和内存占用上展现出渊博上风 3.   关节瞻念察：1+1>2，不同牵记各司其职

接头团队的消融实验揭示了一个潜入的瞻念察：全局牵记和临时牵记并非简便类似，而是各司其职，统筹兼顾。全局牵记是模子"看得远"的关节：只好依赖带门控的全局牵记，模子才能在远超教训长度的文本中保抓牵记，终了刚毅的长度外推才略。临时牵记是模子"看得清"的保障：高保的确近期信息流是模子在处理复杂任务时，取得优异性能的基础。恰是这种精妙的协同野心，才培植了 CoMeT 的不凡性能。

△  CoMeT 的临时牵记有助于擢升教训长度内的性能。

△  CoMeT 的全局牵记有助于长度外推总结

CoMeT 的责任为大模子长文本处理领域带来了里程碑式的突破。

它通过创新的"协同牵记"架构，优雅地处理了困扰业界已久的"牵记逆境"，在恒定内存和线性本事的敛迹下，终显豁 SOTA 级别的性能和惊东谈主的长度外推才略。这项接头诠释注解，为 LLM 野心更顺应瓦解科学的牵记机制，是通往更刚毅、更实用通用东谈主工智能的关节一步。

论文标题：

CoMeT: Collaborative Memory Transformer for Efficient Long Context Modeling

论文相连：

https://arxiv.org/abs/2602.01766

时势代码：

https://anonymous.4open.science/r/comet-B00B/

一键三连「点赞」「转发」「谨防心」

接待在驳斥区留住你的思法！

—  完  —

咱们正在招聘别称眼疾手快、存眷 AI 的学术裁剪实习生  � �

感兴味的小伙伴接待存眷 � �  了解笃定

� � 点亮星标 � �

科技前沿进展逐日见