跳到正文

#多模态

今日 2 条
9月30日周三
  1. Baseten Base Labs:模型研究29

    Kimi K3

    月之暗面(Moonshot AI)的 Kimi K3 模型以 moonshotai/Kimi-K3 标识出现在一份 API 响应示例中,该响应返回了 chat.completion 对象。示例显示其 usage 包含 189 个 prompt_tokens、82 个 completion_tokens,其中多模态图像 token 为 96。

  2. World Labs:官网76

    World Labs 宣布加入 AMD,李飞飞将出任 AMD 执行副总裁兼首席科学家

    World Labs 宣布已签署最终协议加入 AMD,交易预计在 2026 年底前完成,尚需监管批准。双方自去年起在 AMD GPU 上的模型训练与推理优化方面开展技术合作。

    推荐理由:收购方与被收购方核心人事和交易时间都由当事方直接说明,读者可以据此了解 World Labs 并入 AMD 后的研究安排。

  3. Microsoft AI:官方博客(网页)30

    Microsoft Signal 博客汇总:MAI-Code-1.1-Flash、CARE-X 与开源智能体框架 Orchard

    微软推出 MAI-Code-1.1-Flash 模型,已用于 GitHub Copilot,在命令行编码和 .NET 开发任务上表现提升,用更少 token 完成任务且成本低于 6 月版本。微软还发布开源智能体框架 Orchard,为训练和评估能写代码、浏览网页的 AI 智能体提供可复用环境。此外,微软研究模型 CARE-X 可将多项放射学任务整合,在胸部 X 光任务和真实患者数据上表现良好。

  4. MiniMax:Blog(网页)24

    MiniMax 与 Agora 在 Anime Japan 周合办东京峰会,推动 AI 角色迈向企业级产品

    MiniMax 与 Agora 在 Anime Japan 周期间于东京合办了一场面向企业的闭门峰会,聚焦将 AI 角色从概念演示推进为可部署的企业级产品。Agora 展示了实时交互的超低延迟基础设施,MiniMax 则展示了其模型层能力,包括情感丰富的 TTS、多模态生成与细腻的角色表达。

  5. MiniMax:Blog(网页)21

    MiniMax 在哈佛 HXR 2026 展示多模态 AI 产品套件

    MiniMax 在哈佛大学 HXR 2026 大会上展示了覆盖文本、语音、视频和音乐的多模态 AI 模型套件,可将 XR 开发中分散的工具整合为单一 API 平台。其模型可应用于医疗手术训练、旅游虚拟导览、神经科学数据三维可视化及语音驱动交互培训等场景。Gibran Mourani 代表 MiniMax 演讲,并担任该会议首届路演竞赛的 14 位评委之一。

  6. MiniMax:Blog(网页)71

    MiniMax 开源 H3 通用视频生成模型,支持 2K 分辨率与原生立体声音频

    MiniMax 正式开源下一代通用视频模型 MiniMax H3,支持文本、图像、视频、音频的多模态统一理解,可生成最长 15 秒、768p(经 H3-Regenerate-2K 可达 2K)、24 FPS 并带 32 kHz 立体声音频的视频。

    推荐理由:官方开源公告给出了完整的三模块系统结构、模型规格和本地部署方式,读者可以据此评估在自己的视频生成流程中如何接入。

  7. Meta AI:Blog(网页)80

    Meta Superintelligence Labs 发布 Muse Spark 多模态推理模型

    Meta Superintelligence Labs 发布 Muse 系列首个模型 Muse Spark,为原生多模态推理模型,支持工具使用、视觉思维链和多智能体编排,已在 meta.ai 和 Meta AI 应用上线,并向部分用户开放私有 API 预览。

    推荐理由:官方披露了预训练效率、RL 与测试时推理三条扩展路径的具体结果,以及 Apollo Research 关于评估意识的独立发现,可据此了解其技术栈现状。

  8. Goodfire Research(网页)37

    Goodfire 推出 Silico for Life Sciences:面向生命科学的模型可解释性工具

    Goodfire 发布 Silico for Life Sciences,可追踪模型内部可解释特征,验证预测依赖真实生物结构还是数据集伪相关,并从模型内部直接挖掘生物标志物与机制假设。该工具已用于 Mayo Clinic 合作项目,对 ClinVar 全部 420 万个变异给出可解释预测,其中 83.9 万个变异实现 SOTA 致病性预测,并开源可解释预测数据库。

  9. CMU:Machine Learning Blog28

    CMU 在 ICLR 2026:194 篇论文概览

    CMU 研究团队将在 ICLR 2026 展示 194 篇论文,会议于 4 月 23 日至 27 日在巴西里约热内卢 Riocentro 会议中心举行。论文涵盖应用、计算机视觉、深度学习、优化、强化学习、社会影响与理论等方向,其中 EditBench、UALM、Agent Data Protocol、MotionStream、OpenThoughts 等被列为 Oral 论文。

  10. Black Forest Labs:Blog(网页)63

    Black Forest Labs 发布 FLUX 3 多模态基础模型,并与 mimic 合作推出机器人视频动作模型 FLUX-mimic

    Black Forest Labs 发布早期版本 FLUX 3 多模态基础模型,联合训练图像、视频与音频,视频预测占训练算力超 95%。FLUX 3 骨干可解码动作预测,加入动作模态后视频质量先降最多 10%,3500 步后恢复原有水平。

    推荐理由:官方给出训练细节与工厂实测数据,说明同一多模态骨干如何同时支持内容生成与机器人动作控制。

  11. Black Forest Labs:Blog(网页)71

    Black Forest Labs 发布多模态基础模型 FLUX 3 并开放 Early Access

    Black Forest Labs 发布多模态基础模型 FLUX 3,基于 Self-Flow 方法在统一架构内联合学习图像、视频和音频,现已开放 Early Access。

    推荐理由:原文给出 FLUX 3 的多模态架构、早期对比评测数字和分阶段开放计划,读者可据此评估其对创作与具身场景的适用性。

  12. Black Forest Labs:Blog(网页)66

    Black Forest Labs 发布 FLUX 3 Video,文生视频与图生视频正式开放

    Black Forest Labs 宣布 FLUX 3 Video 初版正式开放,可通过 BFL API 和部分合作伙伴使用。模型支持最长 20 秒、HD(720p)与 Full HD(1080p,经上采样)的视频生成,并伴随生成原生音频;能力包括文生视频、图生视频与关键帧、视频续接(最多 4 秒)、单次生成多镜头、多语言对白与唇形同步、Draft Mode 低成本预览等。

    推荐理由:原文给出具体生成时长、分辨率、多语言与评测结果,读者可据此判断 FLUX 3 Video 在视频生成工作流中的可用性。

  13. Black Forest Labs:Blog(网页)15

    Black Forest Labs 研究:自监督流匹配与 FLUX.2 潜空间分析

    Black Forest Labs 发布多项生成式 AI 与视觉智能研究,包括面向图像、视频和音频生成的模态无关自监督流匹配框架,以及对比 SD-VAE、RAE、FLUX.1 和 FLUX.2 等扩散模型自编码器表示的研究。此外还介绍了 FLUX.1 Kontext,一个在潜空间中进行上下文图像生成与编辑的统一模型,实现了快速且业界领先的效果。

  14. NVIDIA Technical Blog(开发者技术博客 · RSS)30

    NVIDIA VSS Blueprint 3.3 发布:降低视觉 AI 智能体构建与运行成本

    NVIDIA 发布 Metropolis Blueprint for Video Search and Summarization(VSS)3.3,用于降低视觉 AI 智能体的构建与运行成本。该蓝图及其智能体技能将视频接入、流处理、事件检测、检索、摘要与报告整合为可维护的系统,让视觉语言模型在生产规模下理解视频。

  15. Apple:Newsroom(RSS)34

    Apple Creator Studio 将迎来新更新

    Apple Creator Studio 将推出全新模板、端到端电影级视频功能及多项提效特性。Freeform 新增自动适配深色模式、文件夹分组协作,Writing Tools 借助 Apple Intelligence 可改写、校对和摘要手写笔记,并支持通过 Shortcuts 自动添加内容。

9月29日周二
  1. Microsoft Research 博客(RSS)66

    微软研究院推出面向生物学复杂性的 AI 研究系统 Quine

    微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物学世界模型和连接模型、科学工具、文献与研究者的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并排序数千种化合物以推动肿瘤细胞状态转变,最高排名化合物在湿实验中产生了最大的预期转变,从缩小化合物搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态世界模型与实验闭环设计,读者可了解 AI 参与生物实验设计与验证的具体路径。