研究提出前缀状态混合块注意力PHBA

Ruijie Li 等人提出前缀状态混合块注意力 PHBA，用 top-k 块稀疏检索替代 NHA 的固定局部滑窗注意力，并将每个检索块与其前缀状态配对。据该研究称，前缀状态紧凑总结了该块之前的上下文。论文同时给出了 PHBA 的 Triton 实现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。