论文略读：When Attention Sink Emerges in Language Models: An Empirical View

ICLR 2025  spotlight  688

**自回归语言模型（Auto-regressive Language Models, LMs）**通常会对首个 token 分配显著注意力，即使该 token 并无语义重要性，这种现象被称为 “注意力陷阱”（attention sink）。该现象已被广泛应用于多个实践场景中，如：流式生成、长上下文建模、KV 缓存优化、推理加速、模型量化等。

尽管应用广泛，人们对注意力陷阱在语言模型中的深层机制仍缺乏理解。在本研究中，我们首先证明了：注意力陷阱普遍存在于各种输入下的自回归语言模型中，即便是在小模型中也会出现。此外，我们还发现，注意力陷阱会在预训练过程中逐渐显现，这促使我们深入研究模型预训练中的优化策略、数据分布、损失函数与模型结构是如何共同影响该现象的。

我们的关键发现包括：

• 注意力陷阱是在充足数据和有效优化后自然出现的；

• 其位置与损失函数和训练数据分布高度相关；

• 更重要的是，我们发现注意力陷阱本质上更像是“键的偏置”（key bias），它在注意力矩阵中存储了额外分数，但这些分数可能并不参与有意义的值计算，具有非信息性；

• 我们进一步观察到，这一现象（至少部分）源于 softmax 归一化导致的 token 对注意力分数的内在依赖。

我们将 softmax 注意力替换为非归一化的 sigmoid 注意力后发现：在最多 10 亿参数规模的模型中，注意力陷阱现象不再出现。

本研究不仅揭示了注意力陷阱的成因与机制，还为改善语言模型推理与优化提供了新的思路。