从 MHA / Causal / GQA,到 Attention Sink 与 Gated Attention,理解注意力机制的设计、缺陷与演进

概述

Attention 是 Transformer 的核心。本系列从最基础的 Self-Attention 出发,先讲清 MHA、Causal Attention、GQA 这三个工程上必须掌握的形态;然后揭开一个所有现代 softmax-based LLM 都共有的反直觉现象 Attention Sink:第一个 token 为什么会吸走绝大部分注意力,这一现象的机制、代价与消除路径;最后进入 Gated Attention,Qwen 团队 2025 年提出、用一个 head-wise sigmoid 门同时治理 sink、低秩塌缩与训练稳定性的架构改动。

读完本系列,你应该能回答:

• MHA / Causal / GQA 各自解决了什么问题、留下了什么代价
• 为什么 softmax + causal 必然产生 attention sink,这一现象给系统带来什么代价
• 为什么 GQA 在 $Wv​→Wo​$ 这条路径上”低秩塌缩”,为什么这一点最终成了 Gated Attention 的发力点
• 在 SDPA 输出后加 head-specific sigmoid gate,究竟在改善什么

章节内容

Self-Attention 到 GQA

Self-Attention 到 GQA

MHA、Causal Attention、GQA / MQA 的原理、实现与权衡

Attention Sink

Attention Sink

第一个 token 为什么吸走绝大部分注意力,这一现象的机制、代价,以及为何消除它要留到 Gated Attention

参考资料

• Attention Is All You Need:Transformer 与 Self-Attention 的原始论文
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints:GQA 提出的论文
• Efficient Streaming Language Models with Attention Sinks:Xiao 等 2024,首次系统刻画 attention sink 并提出 StreamingLLM
• Massive Activations in Large Language Models:Sun 等 2024,massive activation 与 sink 的耦合
• Gated Attention for Large Language Models:Qwen 团队 2025 年的 Gated Attention 工作