原始视频做语言模型中期训练研究

Jaedong Hwang 等作者发布论文，研究能否用无字幕、无文本损失的原始视频作为预训练语言模型的中期训练数据。 研究者将 Qwen3-1.7B 在 YT-Temporal-1B 的原始视频片段上进行中期训练，帧被编码为连续视觉 token，模型学习预测下一个视觉 token，并在四项视频基准和十项图像基准上评测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。