跳到正文

#多模态

今日 32 条
9月30日周三
  1. arXiv:cs.CL(计算语言学,全量分类)29

    不同分词生育率语言间的概念方向可靠性研究

    研究测量了英语、豪萨语和约鲁巴语在四个语言模型中的情感方向可复现性,使用最终 token 时 split-half 一致度分别为 0.737-0.870、0.589-0.762 和 0.101-0.399,该语言排序在全部 77 组完整模型对比中保持一致。基于相同层训练的分类器预测情感始终高于随机水平,表明预测准确率并不代表方向一致性。研究未证实分词生育率是跨语言差异的成因。

  2. arXiv:cs.CL(计算语言学,全量分类)36

    VisKG:面向高效视觉推理的问题特定知识图谱框架

    研究者提出 VisKG,一个用强化学习让模型把视觉内容转译为问题特定知识图谱(KG)表示的框架,过滤感知噪声并保留链式推理所需的实体-关系结构,所需 token 少于基于 caption 的表示。VisKG 采用 GDPO 稳定 RL 后训练,并用负向推理样本加强监督阶段;在科学、数学和通用视觉理解基准上表现与基线相当或更优,GDPO 训练版本平均准确率比 GRPO 版本高 2%。

  3. arXiv:cs.CL(计算语言学,全量分类)44

    MLLM 能否生成并检测多模态社交媒体假新闻?

    研究提出由 story agent、image agent 和 critic agent 协作的多智能体框架,在科学、健康、娱乐领域生成超 9,000 条配对多模态假新闻帖,并基准测试 16 个开源与闭源 MLLM 的自动检测能力。结果显示多数模型准确率远低于人类水平,在识别图像真实性上尤其失败。代码与数据已发布于 GitHub,论文被 EMNLP 2026 Findings 接收。

  4. World Labs:官网76

    World Labs 宣布加入 AMD,李飞飞将出任 AMD 执行副总裁兼首席科学家

    World Labs 宣布已签署最终协议加入 AMD,交易预计在 2026 年底前完成,尚需监管批准。双方自去年起在 AMD GPU 上的模型训练与推理优化方面开展技术合作。

    推荐理由:收购方与被收购方核心人事和交易时间都由当事方直接说明,读者可以据此了解 World Labs 并入 AMD 后的研究安排。

  5. Microsoft AI:官方博客(网页)30

    Microsoft Signal 博客汇总:MAI-Code-1.1-Flash、CARE-X 与开源智能体框架 Orchard

    微软推出 MAI-Code-1.1-Flash 模型,已用于 GitHub Copilot,在命令行编码和 .NET 开发任务上表现提升,用更少 token 完成任务且成本低于 6 月版本。微软还发布开源智能体框架 Orchard,为训练和评估能写代码、浏览网页的 AI 智能体提供可复用环境。此外,微软研究模型 CARE-X 可将多项放射学任务整合,在胸部 X 光任务和真实患者数据上表现良好。

  6. MiniMax:Blog(网页)24

    MiniMax 与 Agora 在 Anime Japan 周合办东京峰会,推动 AI 角色迈向企业级产品

    MiniMax 与 Agora 在 Anime Japan 周期间于东京合办了一场面向企业的闭门峰会,聚焦将 AI 角色从概念演示推进为可部署的企业级产品。Agora 展示了实时交互的超低延迟基础设施,MiniMax 则展示了其模型层能力,包括情感丰富的 TTS、多模态生成与细腻的角色表达。

  7. MiniMax:Blog(网页)21

    MiniMax 在哈佛 HXR 2026 展示多模态 AI 产品套件

    MiniMax 在哈佛大学 HXR 2026 大会上展示了覆盖文本、语音、视频和音乐的多模态 AI 模型套件,可将 XR 开发中分散的工具整合为单一 API 平台。其模型可应用于医疗手术训练、旅游虚拟导览、神经科学数据三维可视化及语音驱动交互培训等场景。Gibran Mourani 代表 MiniMax 演讲,并担任该会议首届路演竞赛的 14 位评委之一。

  8. MiniMax:Blog(网页)71

    MiniMax 开源 H3 通用视频生成模型,支持 2K 分辨率与原生立体声音频

    MiniMax 正式开源下一代通用视频模型 MiniMax H3,支持文本、图像、视频、音频的多模态统一理解,可生成最长 15 秒、768p(经 H3-Regenerate-2K 可达 2K)、24 FPS 并带 32 kHz 立体声音频的视频。

    推荐理由:官方开源公告给出了完整的三模块系统结构、模型规格和本地部署方式,读者可以据此评估在自己的视频生成流程中如何接入。

  9. Meta AI:Blog(网页)80

    Meta Superintelligence Labs 发布 Muse Spark 多模态推理模型

    Meta Superintelligence Labs 发布 Muse 系列首个模型 Muse Spark,为原生多模态推理模型,支持工具使用、视觉思维链和多智能体编排,已在 meta.ai 和 Meta AI 应用上线,并向部分用户开放私有 API 预览。

    推荐理由:官方披露了预训练效率、RL 与测试时推理三条扩展路径的具体结果,以及 Apollo Research 关于评估意识的独立发现,可据此了解其技术栈现状。

  10. Goodfire Research(网页)37

    Goodfire 推出 Silico for Life Sciences:面向生命科学的模型可解释性工具

    Goodfire 发布 Silico for Life Sciences,可追踪模型内部可解释特征,验证预测依赖真实生物结构还是数据集伪相关,并从模型内部直接挖掘生物标志物与机制假设。该工具已用于 Mayo Clinic 合作项目,对 ClinVar 全部 420 万个变异给出可解释预测,其中 83.9 万个变异实现 SOTA 致病性预测,并开源可解释预测数据库。

  11. CMU:Machine Learning Blog28

    CMU 在 ICLR 2026:194 篇论文概览

    CMU 研究团队将在 ICLR 2026 展示 194 篇论文,会议于 4 月 23 日至 27 日在巴西里约热内卢 Riocentro 会议中心举行。论文涵盖应用、计算机视觉、深度学习、优化、强化学习、社会影响与理论等方向,其中 EditBench、UALM、Agent Data Protocol、MotionStream、OpenThoughts 等被列为 Oral 论文。

  12. Black Forest Labs:Blog(网页)63

    Black Forest Labs 发布 FLUX 3 多模态基础模型,并与 mimic 合作推出机器人视频动作模型 FLUX-mimic

    Black Forest Labs 发布早期版本 FLUX 3 多模态基础模型,联合训练图像、视频与音频,视频预测占训练算力超 95%。FLUX 3 骨干可解码动作预测,加入动作模态后视频质量先降最多 10%,3500 步后恢复原有水平。

    推荐理由:官方给出训练细节与工厂实测数据,说明同一多模态骨干如何同时支持内容生成与机器人动作控制。

  13. Black Forest Labs:Blog(网页)71

    Black Forest Labs 发布多模态基础模型 FLUX 3 并开放 Early Access

    Black Forest Labs 发布多模态基础模型 FLUX 3,基于 Self-Flow 方法在统一架构内联合学习图像、视频和音频,现已开放 Early Access。

    推荐理由:原文给出 FLUX 3 的多模态架构、早期对比评测数字和分阶段开放计划,读者可据此评估其对创作与具身场景的适用性。

  14. Black Forest Labs:Blog(网页)66

    Black Forest Labs 发布 FLUX 3 Video,文生视频与图生视频正式开放

    Black Forest Labs 宣布 FLUX 3 Video 初版正式开放,可通过 BFL API 和部分合作伙伴使用。模型支持最长 20 秒、HD(720p)与 Full HD(1080p,经上采样)的视频生成,并伴随生成原生音频;能力包括文生视频、图生视频与关键帧、视频续接(最多 4 秒)、单次生成多镜头、多语言对白与唇形同步、Draft Mode 低成本预览等。

    推荐理由:原文给出具体生成时长、分辨率、多语言与评测结果,读者可据此判断 FLUX 3 Video 在视频生成工作流中的可用性。

  15. Black Forest Labs:Blog(网页)15

    Black Forest Labs 研究:自监督流匹配与 FLUX.2 潜空间分析

    Black Forest Labs 发布多项生成式 AI 与视觉智能研究,包括面向图像、视频和音频生成的模态无关自监督流匹配框架,以及对比 SD-VAE、RAE、FLUX.1 和 FLUX.2 等扩散模型自编码器表示的研究。此外还介绍了 FLUX.1 Kontext,一个在潜空间中进行上下文图像生成与编辑的统一模型,实现了快速且业界领先的效果。

  16. TechCrunch:AI(RSS)54

    白宫推出 AI 聊天机器人 America.gov,Gemini 参与提供支持

    白宫于 9 月 29 日宣布推出 AI 聊天机器人 America.gov,用于帮助民众查找政府服务和信息。Google 确认其 Gemini 模型参与该产品,美国政府首席设计官 Joe Gebbia 补充表示政府也使用了 Grok。文章同时提出疑问:大语言模型仍易产生幻觉,若民众依赖该聊天机器人获取食品券申请、签证续签或报税等信息,错误可能导致错过截止日期、福利被拒或罚款。

  17. IT之家(RSS)62

    新加坡男子用 Gemini 生成鳄鱼侵袭水库照片被起诉,最高或面临 10 年监禁加 1 万新币罚款

    新加坡男子 Ye Lin 因用谷歌 Gemini 生成并传播鳄鱼出现在 Pandan 水库的虚假图片被起诉,最高面临 10 年监禁和 1 万新币(约合 52,585 元人民币)罚款。图片引发 PUB 与国家公园局搜寻鳄鱼并暂停水上活动,发现不实后 PUB 报案;Ye Lin 被控传播虚假信息及删除照片妨碍司法公正,将于 11 月 10 日再次出庭。