Lilian Weng 综述广义视觉语言模型（VLM）的四类实现路径

Lilian Weng 在 Lil'Log 发表长文综述视觉语言模型，把让预训练语言模型消费视觉信号的方法分为四类：图像与文本联合训练、学习图像嵌入作为冻结语言模型前缀、用交叉注意力融合视觉信息、以及不做任何训练地拼接模型。