JEPA多模态传感器融合识别呼吸与姿态

Yunxiang Luo等作者提交论文，把冻结的V-JEPA2特征迁移到RGB视频、深度视频和雷达时间序列三类异构传感器上，用一个共享融合模型识别呼吸活动与姿态。模型通过模态查询、固定传感器槽位和显式可用性标记，在7个非空传感器子集上工作；在下游参数量匹配的情况下，平均录制级活动宏F1为75.23%±0.60。 雷达实验显示其迁移能力超出池化小波像素；64 token推理大致保持平均活动性能；作者称测试的Consensus-JEPA损失相对其精确对照组未带来可测收益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。