Lilian Weng:Lil'Log(RSS)·· 2020-04-07AI 评分45
Transformer 家族:从原始架构到各类改进变体
The Transformer Family
AI 导读
Lilian Weng 在 Lil'Log 发文梳理 Transformer 家族,聚焦原始 Transformer 如何针对更长注意力跨度、更低内存与计算开销、RL 任务求解等方向被改进。
来源:Lilian Weng:Lil'Log(RSS) · lilianweng.github.io
The Transformer Family
Lilian Weng 在 Lil'Log 发文梳理 Transformer 家族,聚焦原始 Transformer 如何针对更长注意力跨度、更低内存与计算开销、RL 任务求解等方向被改进。
来源:Lilian Weng:Lil'Log(RSS) · lilianweng.github.io