ThinkV2V:释放 MLLM 推理能力,实现指令引导的视频编辑
ThinkV2V 是一个推理驱动的指令引导视频编辑框架,在视觉生成前显式激活 MLLM 思考,通过 MLLM-to-DiT 架构将思考转化为精炼的条件信号。它结合渐进式课程训练与推理时思考扩展,并构建了 ThinkV2V-150K 数据集和 ThinkV2V-Bench 基准。实验显示其 5B 规模 DiT 模型在复杂与标准编辑场景均达 SOTA,显著超越更大的 10B 规模基线。
ThinkV2V 是一个推理驱动的指令引导视频编辑框架,在视觉生成前显式激活 MLLM 思考,通过 MLLM-to-DiT 架构将思考转化为精炼的条件信号。它结合渐进式课程训练与推理时思考扩展,并构建了 ThinkV2V-150K 数据集和 ThinkV2V-Bench 基准。实验显示其 5B 规模 DiT 模型在复杂与标准编辑场景均达 SOTA,显著超越更大的 10B 规模基线。
LongLive-Plug 面向视频生成的一次性通用蒸馏 论文:https://huggingface.co/papers/2609.38154
在一场深度问答中,Runway Research 团队探讨了实时模型、生成式界面以及机器人技术的下一步。
New HiDream models just landed in vivago R1 Studio 🚀 Introducing: • HiDream-O1 Image 2.0 • HiDream-O1 Editing 1.5 • HiDream-O1 Video All three models are now available in vivago R1 Studio - bringing the latest HiDream image generation, editing, and video capabilities directly into your creative workflow. New models. New possibilities. Go make something the internet can’t ignore. 🔥
Google Ads 已将 Veo 图生视频能力集成进 Asset Studio,广告主可上传最多 3 张静态图片,每张生成一段最长 10 秒的独立视频,并通过广告模板打包为可投放素材。
We're releasing HeyGen Video, built for businesses that need production-quality video without production-level costs. Pricing starts at $0.01/s through October (50% off) Built on @Minimax_AI H3, post-trained by HeyGen. Learn more: https://developers.heygen.com/heygen-video-1.0-catalog
Introducing Boreal-H3 — a video model built for ads and our next step toward recursive self-improvement in video generation. A good-looking video isn’t enough. The product has to stay the same. The actor has to stay the same. The label has to be right. And the action in the brief actually has to happen. So we post-trained MiniMax H3 specifically for advertising. But this isn’t a one-off SFT or LoRA fine-tune. We built a closed-loop system that learns what to improve next. Human-calibrated evaluation diagnoses failures and guides the next intervention: targeted data collection, reinforcement learning, or inference optimization. When the feedback is unreliable, we revise the evaluator or reward—not just the generator. Every experiment feeds into shared memory, informing the next training decision. The model improves, and so does the process that produces its successor. The results: → 85.3% reference fidelity — highest among the frontier video generation models we evaluated → Brief success: 28% → 50% → Identity match: 83% → 94% → Visible defects per clip: down 70% → Generation time and estimated cost: down 20% Boreal-H3 doesn’t just make better-looking video. It makes more usable ads. Credit to the @MiniMax_AI team for the foundation we’re building on. This launch is a checkpoint, not the finish line. We’re building more than a better video model. We’re building a system that learns how to make the next one better.
Creatify 推出广告视频模型 Boreal-H3 及由 Claude Opus 5.5 驱动的 Ad Agent,Boreal-H3 基于 MiniMax H3 用真实广告项目后训练。
Introducing Boreal-H3 — a video model built for ads and our next step toward recursive self-improvement in video generation. A good-looking video isn’t enough. The product has to stay the same. The actor has to stay the same. The label has to be right. And the action in the brief actually has to happen. So we post-trained MiniMax H3 specifically for advertising. But this isn’t a one-off SFT or LoRA fine-tune. We built a closed-loop system that learns what to improve next. Human-calibrated evaluation diagnoses failures and guides the next intervention: targeted data collection, reinforcement learning, or inference optimization. When the feedback is unreliable, we revise the evaluator or reward—not just the generator. Every experiment feeds into shared memory, informing the next training decision. The model improves, and so does the process that produces its successor. The results: → 85.3% reference fidelity — highest among the frontier video generation models we evaluated → Brief success: 28% → 50% → Identity match: 83% → 94% → Visible defects per clip: down 70% → Generation time and estimated cost: down 20% Boreal-H3 doesn’t just make better-looking video. It makes more usable ads. Credit to the @MiniMax_AI team for the foundation we’re building on. This launch is a checkpoint, not the finish line. We’re building more than a better video model. We’re building a system that learns how to make the next one better.
Google 在 TPU 上通过稀疏注意力内核优化加速视频扩散模型的时空注意力计算。视频扩散中自注意力在单层延迟占比可从 720p 的 55.5% 升至 1440p 的 88.2%。
xAI 发布 Grok Imagine API,一套覆盖视频生成与视频编辑的统一 API 套件,称其为迄今最强的音视频生成模型。
推荐理由:官方宣布 Grok Imagine API 上线,附 Artificial Analysis 文生视频排名第一及延迟对比,可据此评估其在视频生成工作流中的位置。
xAI 最新图生视频模型 grok-imagine-video-1.5-preview 已通过 xAI API 开放预览。该模型可将单张静态图像转为流畅的电影感视频,支持最高 720p 分辨率,用户用自然语言提示词即可控制镜头运动、节奏与声音设计,并能保持原图的细节与光照。模型还支持逐帧生成并串联成更长场景,可用几行 Python 代码调用。
xAI 发布 Grok Imagine Video 1.5,已在 Imagine API 正式可用(模型名 grok-imagine-video-1.5),并在 grok.com/imagine 和 iOS、Android 应用推出 Video 1.5 Fast。
推荐理由:xAI 官方说明升级点和速度数据,还给出 API 模型名与并发代理等入口,适合评估图生视频工作流。
xAI 为 Imagine Video 1.5 增加图像与语音参考、纯提示词生成视频和原生 1080p 输出。
推荐理由:原文列出图像与语音参考、文本生成视频和原生 1080p 的可用范围与 API 情况,读者可据此判断能否接入现有工作流。
Sarvam AI 推出 Sarvam Studio,一个将语音、文本和文档工作流整合到同一工作空间的多语言内容转换平台,支持 AI 视频配音与智能体文档翻译。其配音在约 280 次与 ElevenLabs、YouTube Dub、Rask AI 的盲测对比中获得最高整体偏好,说话人相似度平均得分 0.88。该平台目前通过受控早期 beta 向政府、教育、媒体和出版领域的少量生产合作伙伴开放。
洛杉矶舞者、编舞师兼 DJ Matt Steffanina 在 Suno 博客访谈中表示,他用 Suno 为舞蹈内容创作原创音乐,把概念落地的时间从数天缩短到几分钟。他此前围绕他人音乐积累了数十亿播放量却不拥有底层资产,转向自制并拥有音乐后获得了更多机会与长期控制权。他近期在市中心地下通道拍摄的舞蹈视频即用 Suno 生成一首 house 曲目,成为其表现最好的 Hooks 之一。
AI 视觉艺术家 Dream Relic(Broc Vaughn)借助 Suno 的 Create 功能,把积压多年的歌词变成歌曲,用于 TikTok、Hooks、Spotify 及一张即将发行的全长专辑。一条深夜发布的视频引来数百条求歌名评论,让他重新重视音乐创作。他认为提示词与反复打磨等创作方向仍然关键,目标是让人感受作品而非关注工具。
LMSYS Chatbot Arena 团队复盘 SGLang-Diffusion 自 2025 年 11 月初发布两个月来的进展,当前版本(docker tag: lmsysorg/sglang:dev-pr-17247)比初版快最多 2.5 倍,在 NVIDIA GPU 上较其他方案最高快 5x。
推荐理由:官方复盘发布两个月来的优化成果,速度较初版提升至 2.5 倍,并新增 ComfyUI 集成和 LoRA 支持,读者可评估是否迁移现有图像视频生成工作流。
SGLang-Diffusion 团队公布面向生产级视频生成的进阶优化,覆盖并行策略、VAE 与多请求服务稳定性。序列并行从帧级改为 token 级分片,在 8×H100 上把填充开销从 3 帧(14.3%)降到 0,all-to-all 通信量降至 0.875×。
HeyGen 与 Google Cloud 合作,把 180 亿参数以上的数字人视频扩散模型 Avatar IV 迁移到八芯片 Trillium(v6e)主机上,速度比首个可用版本提升 1.86 倍。
用 PixVerse 插件把你的音乐变成 MV 或音乐可视化视频 告诉你的 AI 智能体你想要的情绪、风格和视觉效果 让它用 PixVerse 把想法呈现在屏幕上
Baseten 提供 Wan 2.2 T2V 文生视频 API,通过 POST 请求传入提示词即可生成视频,返回 base64 编码结果。支持 720x1280、1280x720、480x832、832x480、704x1280、1280x704、1024x704、704x1024 八种分辨率,可设置 sampling_steps、guide_scale 与 seed 参数。
NVIDIA Cosmos 3 Nano (8B) 世界基础模型现可通过 Baseten 在单张 H100 上部署,提供六种 omni 模式:text2image、text2video(默认模式)、image2video、forward/inverse dynamics 和 policy。
创意工作室 Afterimage 用真实拍摄素材测试了 GPT-6 Astra 的视觉特效能力,包括替换移动镜头中的餐盘、在布鲁克林街景中添加建筑、让巨型游行花车出现在手持 iPhone 素材的窗外。部分镜头成功,部分失败,但团队最终开始构思此前不敢尝试的特效。此前 Opus 4.6 只能写确定性 Python 脚本做基础瑕疵与物体移除,Gemini Omni 虽能生成改动但缺乏精细控制。
研究者提出 WorldAttention,一种通过专用注意力内核与分层 KV cache 协同设计实现高效推理的注意力架构,用于文本条件交互式视频世界模型。其 Hybrid Sparse Attention 结合线性全局注意力与头自适应稀疏注意力,Hierarchical KV Cache 将历史 KV 对按语义索引分页存放于多级内存。
LongLive-Plug 是一个一次性蒸馏框架,将可复用能力以 LoRA 形式学习在基座模型上,实现免训练、即插即用地部署到兼容的下游模型。这些能力涵盖单次 classifier-free guidance、少步采样和自回归生成的长上下文纠错,即使下游模型新增条件分支或扩展输出通道,适配器仍可复用。
SoL-Refiner 是一种单步视频精修器,可将低分辨率模型输出经一次去噪直接转为 4K 视频,方法结合高分辨率持续训练、RL 后训练与最终一步蒸馏。在约 2K 分辨率下,其单步效果在 VBench 与 UniPercept 均值上超过所有外部精修器,在 3840×2176 下两项指标均优于三步的 LTX-2.3 Refiner。
APM-Bench 将真实流式交互重构为多会话生活轨迹,包含 549 个会话、104 条轨迹和 2,719 个候选问题,覆盖客观题与开放题。评测显示现有方法难以同时兼顾可靠的长期召回、低开销与有效的主动协助,存在明显的效用—延迟—存储权衡。该基准还测试模型能否识别证据不足的情况。
研究者提出 Grounded Entity Biographies(GEB)长视频记忆框架,将同一物理实例在不同片段中的视觉观察归组为可检索的"传记",并在问答时与情节证据一同检索。
MemEvo 是 LLM 驱动的自动研究框架,把流式视频记忆设计转化为可执行记忆程序的搜索问题,用预训练 LLM 迭代生成并优化候选记忆程序,底层视觉语言模型全程冻结。
研究团队提出 AVIO,通过源条件特征调制改造预训练文本到音视频生成模型,让单一模型同时学会添加和移除发声物体,并支持仅凭指令编辑或可选视觉引导。配套数据集 AVIOBench 包含 37.9 小时配对音视频样本、覆盖 1,878 个目标物体名称,用共享身份与视觉掩码关联物体的视觉存在与声音贡献。参考帧课程训练逐步减少参考条件,使模型在添加物体时可通过可选参考控制外观与位置。
针对固定潜在奖励模型优化会导致"潜在奖励攻击"、生成视频感知与运动质量下降的问题,研究者提出协同演化奖励框架 CoRe,持续用生成器当前样本重训奖励模型并锚定真实视频偏好,防止生成器通过偏离数据分布刷高奖励。在 Wan2.1-T2V-1.3B 上,CoRe 的生成质量优于预训练模型和既有对齐方法,且避免了固定奖励优化的质量崩溃。
快手宣布高管分工调整,创始人兼 CEO 程一笑兼任社区科学线负责人,原负责人于越转任可灵 AI 公司董事兼 CEO。程一笑在全员信中表示可灵始终是快手 AI 战略的核心布局;此前快手已宣布 Kling 4.0 将于 10 月正式上线,Kling 4.0 Flash 于 9 月 28 日率先开放小范围体验。