关于 Attention 与 Transformer 的一些直觉理解

文章用图书馆检索的类比解释 Attention 中的 query、key、value 向量：query 与各 key 做点积衡量相关性，经 softmax 归一化后对 value 加权求和。相比把整句压进固定向量的 encoder-decoder 循环模型，Attention 让解码器每步都能看到整个输入句，缓解信息瓶颈与长距离依赖，并支持并行计算。多头机制则让模型同时关注多个词。