研究者们花了十年去扩展层内的计算能力，却忘了扩展层间的通信能力。
这件事亟需被改变。
过去十年，深度学习领域取得进展的方式出奇地一致：什么都往大了整。更多参数、更多数据、更长上下文。而且确实管用：loss在降，能力在涨，scaling law（扩展定律）精确地告诉研究团队还需要投入多少。
但扩展的方向不同，差异也是巨大的。序列长度的扩展需要真正的创新，也确实催生了一整套机制研究和系统工程。数据的扩展则直截了当：数据越多，loss越低。让模型变得更宽、更深，这看起来也和数据的扩展一样简单。
但宽度和深度真的在同等地发挥作用吗？
并非如此。深度在数量上增长了，但在质量上却没有。层与层之间的通信机制几乎没有变化。接下来本文将解释这一点为什么重要，这不仅关乎网络的深度本身，更关于研究团队设计神经网络架构时的一个集体盲区。
01、上半场
要看清上半场做对了什么，就看看什么被成功地扩展了，以及是怎么做到的。
先看序列长度。早期Transformer只能处理几百个token。要达到128K ，需要多个方向上的持续创新：新的注意力模式（稀疏、线性、混合）、系统工程（FlashAttention）、位置编码的进步（RoPE scaling）。研究者和工程师们共同建造了一整个生态，持续改进token之间的通信方式。而回报颇丰，研究团队不止能够处理极其长的文档，还为OpenAI-O1和DeepSeek-R1的长链推理奠定了坚实的基础。这就是当研究团队认真投资于“信息在序列维度上的流动方式时”，所收获的斐然成果。
更宽的层、更深的网络，自然带来更好的表征。从GPT-2的15亿参数到如今的数万亿，这套配方一直管用。这似乎说明大模型团队不需要引入新机制，只需要持续拓展这些被验证了的方向。
只不过，对网络而言，更宽和更深往往并不是一回事。宽度的扩展是自然而然的：现代GPU天生擅长处理更宽的矩阵乘法，注意力机制的演进越来越高效，这使得更宽的网络可以无缝接入现有架构。
而深度则是另一个故事。模型确实变深了：研究团队将模型加到32层、64层、甚至100层以上。但层间通信的机制本质上还是ResNet在2015年引入的深度残差，“x F(x)”。自它诞生以来，围绕它有过不少改良（归一化位置、残差缩放、跨层连接），但没有任何改良真正取代过那个深度残差中“ ”的决定性地位。
残差连接可以说是深度学习中最重要的基石。没有它，就没有100层的Transformer，没有现代LLM，没有scaling law。但基础性方案有一个特点：它们有时会变得太过隐形，以至于没人再去质疑它到底是*解，还是仅仅是研究团队探索出的*个能用的方案。
打个比方，想象一个有特殊规则的传话游戏。在标准版本里，第1个人对第2个人耳语，第2个人再对第3个人耳语。到第18个人的时候，消息已经面目全非了。这就是没有残差连接的深层网络：每一层只能看到上一层的输出。
残差连接修复了这个问题：每个人在传达自己的理解的同时，也把之前积累的原始信息原封不动地往下传。第3个人既能听到第2个人的新解读，也能听到之前的所有内容。原始信号始终被保留，它成为了不断壮大的合唱中的一个声部。
但到了第152个人，你同时在听152个声音：原始信息加上151层叠加上去的内容，全部混在一句耳语里。理论上，前面那些人的声音依然存在，但它们已经被淹没了。如果第152个人需要知道第3个人具体说了什么，他得费力地从这首宏大的合唱声中把它挑出来。
通常而言，第152个人是做不到这一点的。
这就是信息稀释。每一层都面临两难：倘若该层贡献新信息就可能会掩盖之前的内容，但保守不动则能保留之前层传过来的已有信息。这种状况下，很多层学会了保守不动，它们几乎不往残差流里写入任何东西。这样的深度网络在纸面上很深，实际上却很浅。研究团队堆了152层，但其中很多层却只学会了保持沉默。
这里的瓶颈不在于152层网络所需求的算力，而在于信息穿过这些层的通信能力。CPU的发展在几十年前就撞过同样的墙：处理器越来越快，直到内存带宽跟不上了，逼得整个行业转向缓存和通信。组织管理也一样：一群聪明人所能发挥出的创造力，也受限于他们之间的沟通、组织方式。深度学习正在经历自己的版本：十年来不断增强每一层的能力，而层与层之间的通道始终是2015年那条单车道公路。
那么，有没有更好的机制？
02、配方
在本文所介绍的研究之前已经有很多研究者注意到了深度瓶颈。多年来，修补方案越来越巧妙：获评CVPR best paper的DenseNet保留了每一层的输出，但代价是平方级的开销。使用可学习加权的方案DenseFormer、LIMe降低了成本，但训练完成后权重就固定了，每个token、每套上下文都用同样的权重。
字节跳动的Hyper-Connections和DeepSeek的mHC另辟蹊径，它们把管道拓宽到N个通道，层间用混合矩阵连接，这相当于信息高速公路上同时多了好几条车道。但坏消息是，信息仍然在逐层流动，第152层没有办法直接回溯到第3层。
彩云公司的MUDDFormer让混合每层输出这件事变成动态的，它会根据每个token的表征来生成权重。这在根本方向上是对的：从每一层汲取多少信息本就应该取决于你正在处理的内容。但同样有个坏消息，第152层在决定从第3层汲取多少时，只依赖第152层本身的状态，它并不知道第3层实际包含了什么。它是在预测哪些层有用，而不是在查看。
一年时间，机器人从「马拉松笑话」到超越「最强人类」
一年时间，机器人从「马拉松笑话」到超越「最强人类」,4月19日2026北京亦庄人形机器人半程马拉松赛结束，荣耀人形机器人“闪电”夺冠，成绩超越人类，且参赛队伍增多，机器人奔跑速度明显提升。
以上的每一步都修复了一个真实存在的缺陷，但却鲜有哪一个方法质疑过深度残差的框架本身。
不难发现，这些方法都有着一个共同点。从DenseNet到Hyper-Connections，每个方法都在回答同一个隐含的问题：“如何才能更好地混合各层的输出？”更好的系数，更多的通道，自适应的权重。但自始至终都是混合，自始至终都是累加。ELMo早就表明，不同的层编码的是截然不同的信息：浅层编码句法，深层编码语义。所有人得出的结论都是“学习更好的混合权重用来平衡句法和语义”。但还有一条被主流忽视的道路：如果不同层持有不同信息，也许每一层应该能够根据内容而非位置，从持有所需信息的那一层直接检索。
这就是范畴谬误：把层间通信当作累加（用学习到的或生成的系数来组合信号）而非检索（通过基于内容的匹配来选择信息）。在累加框架下，即使是动态方法也只从当前层的状态生成混合权重，而不去查看信息的来源层实际包含了什么。在检索框架下，Query（查询）编码的是“我需要什么”，Key（键）编码的是“我有什么”，而它们之间的运算决定了相关性。Query和Key双方都应该有发言权。
回到传话游戏。之前所有的方法都在试图产生一个更清晰的合唱：更好的发音、更多的中继通道、自适应的音量。没有一个质疑过这个根本约束：所有声音必须累加成一个声音吗？也没有人问过：咱是否可以直接走回去，跟之前的任何一个人当面对话呢？
研究团队认为这种范畴谬误在架构设计中无处不在。当某个东西足够好用的时候，你不会去质疑它的概念框架，而只会在框架内改进。经历了多年越来越巧妙的修补之后，研究者才明白：深度维度的残差连接需要的不是更好的系数，而是被一种根本不同的操作所替代：
一种在序列维度上已经成功解决了同样问题的操作。
03、下半场
一旦研究团队把层间的通信理解为检索而非累加，一个很自然的答案就是在深度维度上引入注意力机制。包括研究者团队在内的很多团队都独立地收敛到了这个想法：谷歌提出的 DCA、华为的MRLA、Hessian.AI的 Dreamer、Kimi的AttnRes、以及研究者团队提出的Flash Depth Attention & MoDA，大家都尝试在层间应用点积注意力。这种独立趋同本身就是一个信号：方向走对了！
但找对方向和做出成品是两回事。研究者自述：“*次用Pytorch实现运行深度注意力的时候，前向和反向传播共计耗时达到了44,924 ms。44秒啊！朋友们！这个时间都够我喝完一瓶500毫升的冰红茶了！”也就是说，在深度维度上应用注意力机制的想法本身没问题，但工程现实却残酷到了极点。现代GPU为大规模的矩阵乘法做了大量优化，却不擅长数千个跨深度的极小规模的注意力操作。深度注意力作为一个计算量不大的算法，跑起来却可能慢得要命。
至此，之前的方法都陷入了两难：要么简化深度注意力来换速度，这种方式丢掉了完整的选择性检索这一核心价值；要么保持完整的表达能力，但运算代价变得不可接受。研究者团队找到了一条出路：不是简化算法，而是重新组织参与计算的数据布局，从而适配GPU硬件。Flash Depth Attention（https://github.com/hustvl/MoDA）让具备完整表达能力的深度检索快到可以参与实际训练。
常规的大模型主干流水线是：残差连接→序列注意力→残差连接→FFN（前馈网络）。
有了高效的深度检索之后，研究团队注意到网络的主干流水线变成了：深度注意力→序列注意力→深度注意力→FFN（前馈网络）。这三个连续的注意力操作作用于不同的Key（键，缩写作K）和Value（值，缩写作V），却共享着近乎相同的Query（查询）。一个很自然的做法就是把它们融合。
研究者团队提出了混合深度注意力（Mixture-of-depths Attention，MoDA）将深度检索和序列检索合并到一个统一的softmax中。每个注意力头同时关注当前层的序列KV对（键值对）和所有前序层的深度KV对（键值对）。在同一个softmax 下，模型可以自由决定何时关注序列中的其他token，何时跨层检索自身的历史信息。通过一次操作，MoDA完成了两个维度的检索。
回到传话游戏。在残差连接的版本里，第152个人费力地从累加的合唱中辨认第3个人的声音。有了深度检索，第152个人拍拍第3个人的肩膀直接问：“你刚才说了什么？”没有中间人，没有累积的噪音。
可视化的实验结果也印证了这个类比所预测的现象：当模型获得了通过深度KV从特定层进行选择性检索的能力时，它会持续且主动地使用这种能力。之前困扰模型架构研究员们的Attention Sink（注意力沉没）现象，即模型把概率质量堆积在少数固定token上的行为，也随之减弱。这就是当研究者团队尝试发展层之间而非仅仅层之内的信息流动时，所取得的有趣成果。
大模型架构的上半场是关于扩展组件的。研究者们扩展出更长的序列，更多的数据，更大的模型。这个阶段最关键的问题是“怎么把一切都做大？”。在上半场，这是正确且关键的问题，它把整个领域从GPT-2带到了GPT-4时代。下半场是关于扩展通信的。新的问题是：“组件之间的通信质量如何？”
深度是最明显的例子，因为现有方案（累加）和可能的方案（选择性检索）之间的差距是巨大的。研究者团队相信这个原则是可以推广的。凡是神经网络使用静态的、与数据无关的通道来传递信息的地方，包括层与层之间、模态与模态之间、时间步与时间步之间等等，很可能都会有一个检索机制等着替代那个累加操作。
全世界的研究者们花了十年掌握token之间如何对话，现在是时候掌握层与层之间如何对话了。而最终，研究者们将掌握神经网络中每个组件如何与其他任意组件对话。
深度残差的“ ”带我们跑过了一段极为精彩的旅程，但现在，是时候升级这座阶梯了。
欢迎来到大模型架构的下半场。
Flash Depth Attention & MoDA论文链接：https://arxiv.org/abs/2603.15619Flash Depth Attention & MoDA代码链接：https://github.com/hustvl/MoDA实验室主页：https://github.com/hustvl
论文主要作者来自于华中科技大学（HUST）电子信息与通信学院视觉实验室（Vision Lab）。HUST Vision Lab研究主要集中在计算机视觉和深度学习领域，尤其关注以下方向：多模态基础模型、视觉表征学习、目标检测、分割与跟踪、端到端自动驾驶、新型神经网络架构。
HUST Vision Lab致力于不断突破视觉智能的边界，代表性工作包括：CCNet（TPAMI 2020，4300 引用，1.5K Star）、Mask Scoring R-CNN（CVPR 2019，1400 引用，1.9K Star）、FairMOT（IJCV 2021，2200 引用，4.2K Star）、ByteTrack（ECCV 2022，3400 引用，6.2K Star）、EVA（CVPR 2023，1100 引用，2.7K Star）、MapTR（ICLR 2023，400 引用，1.5K Star）、Vectorized Autonomous Driving (VAD)（ICCV 2023，600 引用，1.3K Star）、DiffusionDrive（CVPR 2025，200 引用，1.3K Star）、Vision Mamba (Vim)（ICML 2024，3100 引用，3.8K Star）、4D Gaussian Splatting (4DGS)（CVPR 2024，1400 引用，3.5K Star）、YOLOS（NeurIPS 2021，500 引用，900 Star）、YOLO-World（CVPR 2024，1000 引用，6.3K Star），以及 LightningDiT & VA-VAE（CVPR 2025，200 引用，1.4K Star）。
【本文由投资界合作伙伴微信公众号：量子位授权发布，本平台仅提供信息存储服务。】如有任何疑问，请联系（editor@zero2ipo.com.cn）投资界处理。
