从 Transformer LM 主干到 Attention、RoPE 与现代组件，理解语言模型架构
Architecture 模块从完整的 Decoder-only Transformer LM 出发，逐步拆解 Attention、RoPE、Normalization、MLP 和 residual stream 等核心组件。
建议先阅读 Transformer LM 总览，建立 token ids 到 next-token logits 的整体数据流，再进入 Attention 和 RoPE 等专题。
从 token ids 到 next-token logits，建立 Decoder-only Transformer 的前向传播心智模型
MHA、Causal Attention、GQA / MQA,以及 Gated Attention 的设计与演进
从 Sinusoidal PE 到旋转位置编码，理解 RoPE 的数学原理、代码实现与长度外推
| 阶段 | 内容 | 目标 |
|---|---|---|
| 整体 | Transformer LM | 掌握输入输出契约、shape 变化和 forward pass |
| 核心 | Attention 机制 | 掌握 Self-Attention、Multi-Head、Causal Masking |
| 核心 | 位置编码与 RoPE | 理解位置编码的演进，掌握 RoPE 原理与实现 |
| 优化 | GQA/MQA | 理解 KV Cache 优化与内存效率 |
| 进阶 | 长度外推 | 掌握 NTK-aware、YaRN 等长序列处理方法 |