Kairos 字节级多模态基础模型技术报告发布

Fabien Furfaro 发布技术报告，提出名为 Kairos 的字节级基础模型，尝试用统一的字节空间处理文本、图像、音频、视频、激光雷达和控制流。报告称其架构结合双向门控 DeltaNet 线性注意力、滑动窗口注意力（LiZAttention2）、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器，并以统一噪声去噪目标训练。 上述架构与训练方式均为报告中的方案描述，尚不代表已验证的实际效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。