Baseten 上线 Wan 2.2 T2V 文生视频 API
Baseten 提供 Wan 2.2 T2V 文生视频 API，通过 POST 请求传入提示词即可生成视频，返回 base64 编码结果。支持 720x1280、1280x720、480x832、832x480、704x1280、1280x704、1024x704、704x1024 八种分辨率，可设置 sampling_steps、guide_scale 与 seed 参数。
全部AI 动态
全部动态
今日 46 条Baseten Base Labs：模型研究AI 评分3535 Every：最新文章（网页）AI 评分5151 Codex 知识工作使用指南：把 Codex 变成邮件、写作与研究的操作系统
Every 发布一篇 Codex 知识工作进阶指南，讲解如何把 Codex 用于邮件、写作、研究、规划和报告。文章面向非工程师，涵盖设置、工作流和使用原则。
Baseten Base Labs：模型研究AI 评分5454 Baseten 上线 NVIDIA Cosmos 3 Nano (8B)，支持六种生成与动作模式
NVIDIA Cosmos 3 Nano (8B) 世界基础模型现可通过 Baseten 在单张 H100 上部署，提供六种 omni 模式：text2image、text2video（默认模式）、image2video、forward/inverse dynamics 和 policy。
Eugene Yan：WritingAI 评分5555 Eugene Yan 解析常用 Python 库中的少见用法
Eugene Yan 通过阅读 requests、scikit-learn、pytorch、fastai 等广泛使用的 Python 库，总结了一些不常见的 Python 用法。
Baseten Base Labs：模型研究AI 评分3737 Flux.2 [dev] 图像生成模型上线 Baseten
Baseten Base Labs 上线图像生成模型 Flux.2 [dev]，模型名为 flux2-dev，可通过 OpenAI 兼容 API 调用。示例代码以 1024x1024 尺寸、50 步推理、guidance_scale 1.0 生成图像，并以 b64_json 格式返回结果。
Eugene Yan：WritingAI 评分5757 Eugene Yan 详解如何为数据与机器学习管道编写更稳健的测试
Eugene Yan 发文探讨数据与机器学习管道的测试为何频繁失效，并以行为日志到批量推理的示例管道演示单元、schema 和集成测试。
Baseten Base Labs：模型研究AI 评分2222 Qwen Image 在 Baseten 上的调用示例
Baseten Base Labs 发布 Qwen Image 的 Python 调用示例，通过 httpx 向 Baseten 部署端点发送 prompt、width、height、num_inference_steps 和 seed 等参数生成图像。
Eugene Yan：WritingAI 评分5151 Eugene Yan 图解文生图：扩散模型、文本条件、引导与潜空间
Eugene Yan 系统梳理文生图的四个核心概念：扩散、文本条件、分类器引导与潜空间。作者亲手复现 DDPM 发现去噪权重低至 0.01-0.02、加噪权重最高 0.14。
Eugene Yan：WritingAI 评分4545 自编码器与扩散模型：简要对比
自编码器与扩散模型在学习范式上相似：都以数据为输入并重建输出，都在过程中学习数据的低维流形，架构上都使用瓶颈层，U-Net 可视为带残差连接的自编码器。关键区别在于扩散模型以时间步 t 为条件输入，使单一模型和单组参数即可处理不同噪声水平，从而先由高 t 的噪声生成模糊图像、再在低 t 时逐步锐化；当前扩散模型还以图像描述等文本为条件，支持按文本提示词生成图像。
Eugene Yan：WritingAI 评分4141 依赖团队无法帮忙时该怎么办：Eugene Yan 的协作经验
当依赖团队不愿或无法帮忙时，Eugene Yan 建议先理解对方的约束与优先级，而非直接升级或写长篇 JIRA 工单。若对方接受代码贡献成本更高，可推动其建立 away team work 机制，如 office hours、自助文档和代码评审流程。也可将当前协作框定为投资：对方指导你这次改动，你未来可指导自己团队，减少后续支持成本。
Baseten Base Labs：模型研究AI 评分4343 NVIDIA Nemotron 3 ASR（英文）实时转录部署：延迟与并发表现
Baseten 上部署的 NVIDIA Nemotron 3 ASR（英文）通过 WebSocket 直连 NIM 原生 Riva Realtime API，无需自定义 schema，直接使用 Riva 的 OpenAI-Realtime 风格 JSON 事件协议。
Eugene Yan：WritingAI 评分5555 Eugene Yan：提升机器学习项目成功率四种机制的实践经验
Eugene Yan 总结了提升机器学习项目成功率的四种机制：为每个项目设置 pilot 和 copilot 以发现关键缺陷，copilot 约投入 pilot 10% 的时间。
Baseten Base Labs：模型研究AI 评分3737 NVIDIA Nemotron 3.5 ASR（多语言）流式语音识别模型部署指南
NVIDIA Nemotron 3.5 ASR 是一款面向低延迟流式与批量场景的多语言流式语音识别模型，已在 Baseten 上以 docker_server 形式部署，通过 WebSocket 直连 NIM 原生 Riva Realtime API。
Eugene Yan：WritingAI 评分4040 高效技术团队的运作机制：EOWD、月度学习会、季度回顾与 WBR
Eugene Yan 总结了技术团队及跨团队协作的四类机制：每周结束简报（EOWD）让 4-6 人团队各用约 10 分钟分享进展并收集反馈，月度学习会以 30-45 分钟分享加 Q&A 把个人专长扩展到团队，季度回顾对齐中长期优先级并明确停止事项，每周业务回顾（WBR）则通过输入指标与输出指标梳理业务全貌。
Eugene Yan：WritingAI 评分5454 Eugene Yan 总结工业界内容审核与欺诈检测的五个模式
Eugene Yan 基于多篇行业论文和技术博客，总结出构建内容审核与欺诈检测系统的五个模式：通过 human-in-the-loop 收集 ground truth、数据增强、级联模式拆分问题、结合监督与无监督学习、以及可解释性。
Every：最新文章（网页）AI 评分5555 Every 撰文解读如何用好 Jev 分类模型
Every 发布文章解读 TypeSafe 于 9 月 15 日推出的 Jev，一个对文本和结构化数据做分类而非生成的模型。文章说明 Jev 快速、低成本、可大规模处理日常判断类任务（如邮件是否紧急、段落是否像 AI 写的），并给出上手方法；编辑的演示展示其从语音和手势推断用户意图，已超 100 万次观看。
Eugene Yan：WritingAI 评分5555 Eugene Yan：如何撰写数据标注指南
Eugene Yan 总结撰写数据标注指南的方法，提出好指南应回答 Why、What、How 三层问题：任务为何重要、任务是什么、术语如何定义、标注员如何决策、任务如何执行。文章引用 Google 和 Bing Search 的指南实例，包括查询意图分类、页面质量评估因素、匹配质量决策树和标注示例讲解，并建议用 Cohen's kappa 衡量标注员之间的一致性来迭代改进指南。
Eugene Yan：WritingAI 评分4040 Eugene Yan 用 LLM 做研究、反思与规划的实验
Eugene Yan 用 LangChain 结合 gpt-3.5-turbo、gpt-4、text-embedding-ada-002、Pinecone 和 Google 搜索 API，在 Discord 上搭出 /summarize、/sql、/search、/board 等助手。
Baseten Base Labs：模型研究AI 评分2323 VoxCPM2 语音缓存演示：/v1/audio/speech 接口复用参考音频
Baseten Base Labs 发布 VoxCPM2 语音缓存演示客户端，通过 /v1/audio/speech 接口验证参考音频复用。首次请求发送 voice 名称加 ref_audio，服务端将其存为已上传语音并预热 ref_audio_feat 缓存；后续请求仅传同一 voice 名称即可命中缓存。客户端支持 wav、pcm、flac、mp3、aac、opus 格式及流式输出。
Eugene Yan：WritingAI 评分3737 Raspberry-LLM：让 Raspberry Pico 变聪明一点
Eugene Yan 用 Raspberry Pico 加电子墨水屏做了个 Raspberry-LLM，调用 WSJ 和 HackerNews 的 RSS 源与第三方 LLM API 生成内容，能押韵报时、用 Dr. Seuss 风格解读新闻标题、编造名人假引语，还能模仿 HackerNews 喷子留言。
Eugene Yan：WritingAI 评分5858 Eugene Yan 详解九个机器学习系统设计模式
Eugene Yan 总结九个机器学习系统设计模式，包括原始数据只处理一次、Human-In-The-Loop 标注、数据增强、难负例挖掘、问题重构、级联、数据飞轮、业务规则层和上线前评估。每条模式给出优缺点并结合 Meta、DoorDash、Twitter、Stack Exchange、ChatGPT 等案例，并探讨这些模式在 LLM 系统中的适用性。
Baseten Base Labs：模型研究AI 评分2727 Baseten Orpheus 3B 的 WebSocket 流式 TTS 接入示例
Baseten 发布 Orpheus 3B 的 WebSocket 接入示例：客户端先发送含 voice、max_tokens、buffer_size 的 JSON 元数据，再通过同一连接逐词流式发送文本，服务端返回原始音频字节。示例用 `__END__` 哨兵标记文本结束，音频以 24000 采样率、paInt16、单声道播放，代码基于 aiohttp 与 pyaudio。
Eugene Yan：WritingAI 评分4343 Open-LLMs：可商用开源大语言模型清单
Eugene Yan 整理了一份可商用许可的开源 LLM 清单，起因是他想微调一个带商用许可的 LLM 以规避使用第三方 LLM 的法律与隐私问题。清单涵盖面向代码微调的模型，发布两天内社区提交了八个 PR，新增了上下文长度列并纠正了一个实际不具备商用许可的模型。
Eugene Yan：WritingAI 评分3737 关于 Attention 与 Transformer 的一些直觉理解
文章用图书馆检索的类比解释 Attention 中的 query、key、value 向量：query 与各 key 做点积衡量相关性，经 softmax 归一化后对 value 加权求和。相比把整句压进固定向量的 encoder-decoder 循环模型，Attention 让解码器每步都能看到整个输入句，缓解信息瓶颈与长距离依赖，并支持并行计算。多头机制则让模型同时关注多个词。
Eugene Yan：WritingAI 评分5151 Eugene Yan 开源 Obsidian-Copilot：基于 RAG 的写作与周记复盘助手
Eugene Yan 发布 Obsidian-Copilot 原型，给定章节标题时通过 RAG 起草段落，并能对每日日记做一周复盘与下周规划，代码开源于 GitHub。
Eugene Yan：WritingAI 评分7272 Eugene Yan：构建基于 LLM 的系统与产品的七大模式
Eugene Yan 总结了将大语言模型集成到系统与产品中的七大实用模式：Evals、RAG、微调、缓存、Guardrails、防御性 UX 和收集用户反馈，按提升性能与降低成本/风险、靠近数据与靠近用户两个维度组织。
Eugene Yan：WritingAI 评分6060 Eugene Yan：如何将 LLM 模式匹配到具体问题
Eugene Yan 撰文讲解如何把 LLM 应用中的常见问题匹配到对应的解决模式。文章先区分外部与内部 LLM 的差异，再按问题逐一给出建议：用 evals 和用户反馈衡量性能，用 RAG 减少幻觉，用微调提升内部模型在特定任务的表现，用缓存应对延迟要求，用 guardrails 处理语法与语义错误，用防御式 UX 降低错误影响，并用监控追踪用户影响。
Eugene Yan：WritingAI 评分5757 Eugene Yan 详解抽象式摘要的评估方法与幻觉检测
Eugene Yan 撰文梳理抽象式摘要评估的四个维度（流畅、连贯、相关、一致），并分四类讲解指标：基于参考的 ROUGE、METEOR、BERTScore、MoverScore。
Eugene Yan：WritingAI 评分4848 用域外数据微调引导幻觉检测
在 Factual Inconsistency Benchmark（FIB）上，先用 Wikipedia 摘要微调 3 个 epoch 再在 FIB 上微调 10 个 epoch，PR AUC 达 0.85，比仅在 FIB 上微调提升 23%。
Eugene Yan：WritingAI 评分4545 推送通知该推什么、不该推什么、频率多高：一份推荐系统视角的实践分析
推送通知可视为一种推荐系统，但与搜索和站内推荐不同，推送场景下用户意图并不明确，只能依据事件、促销或位置等触发条件猜测。Alibaba 发现，推荐互补商品（而非替代品）并说明推荐理由的个性化推送能提升打开率；DPG Media 则建议向用户解释收到通知的原因。推送还受时效性、单条只能突出一个商品、每日或每周推送上限等约束，过度优化即时反馈会损害用户长期满意度，甚至导致用户关闭通知或卸载应用。
Eugene Yan：WritingAI 评分5353 Eugene Yan 整理语言建模论文阅读清单，助力组建论文俱乐部
Eugene Yan 与朋友组建了每周一次的语言建模论文俱乐部，并整理出约一年阅读量的论文清单，每篇附一句话总结，涵盖 Transformer、GPT 系列、BERT、T5、Scaling Laws、Chinchilla、LoRA、RAG、RLHF/DPO 等主题。清单支持通过 PR 或 issue 提交补充建议，作者还附上了论文阅读方法的指引。
Eugene Yan：WritingAI 评分5858 Eugene Yan 详解如何生成合成数据用于微调：蒸馏与自我改进两条路线
Eugene Yan 发表长文，系统讲解如何生成和使用合成数据进行预训练、指令微调与偏好微调。文章将方法分为从更强模型蒸馏（如 Unnatural Instructions。
Eugene Yan：WritingAI 评分4949 为什么不应在单元测试中 Mock 机器学习模型
机器学习代码与普通软件不同：软件是输入数据加人工逻辑得到输出，ML 则是用输入数据和期望输出学出逻辑，因此测试时往往需要加载真实模型做推理，而非 mock。作者建议用小型内联样本数据、在可行时用随机或空权重测试输出形状与设备迁移，并把损失下降、过拟合、模型服务启动等关键测试标记为 slow 按需运行，同时不必测试数据加载器、tokenizer、优化器等外部库。
Eugene Yan：WritingAI 评分7575 Eugene Yan 详解哪些任务特定的 LLM 评测有效、哪些无效
Eugene Yan 撰文总结任务特定的 LLM 评测方法，指出通用评测常与实际应用表现相关性弱。文章给出分类用 recall、precision、ROC-AUC。
Eugene Yan：WritingAI 评分4646 如何用 ChatGPT 和 Claude 3 搭建一个 AI 语音教练
Eugene Yan 用 Vapi 语音 API 搭配 claude-3-sonnet 搭建了一个可通话的 AI 教练 Tara，用于散步时倾诉焦虑、梳理情绪和演练困难对话。
Eugene Yan：WritingAI 评分6565 Eugene Yan 详解提示词工程基础与有效应用方法
Eugene Yan 发布提示词工程基础教程，核心观点是把提示词视为对概率模型的条件化，并给出评估先行的工作流。文章用 Claude Messages API 演示角色设定、XML 结构化输入输出、Prefill、n-shot 提示、改进 CoT、拆分多步提示、stop sequence 和 temperature 选择等技巧，并指出礼貌用语和小费威胁等做法对近期模型效果影响不大。
Eugene Yan：WritingAI 评分6363 Eugene Yan 谈如何面试和招聘 ML/AI 工程师
Eugene Yan 与 Jason 分享招聘 ML/AI 工程师的方法，把面试当作评估系统，主张可靠、有效、低噪声。
Eugene Yan：WritingAI 评分6868 Eugene Yan 综述 LLM-as-Judge 的有效性评估：方法、指标与实践取舍
Eugene Yan 发布长文，基于约二十篇论文系统讲解如何应用和评估 LLM-as-Judge（LLM 评估器）。
Eugene Yan：WritingAI 评分3737 用 FastAPI、FastHTML、Next.js 和 SvelteKit 构建同一个 App 的对比
作者用 FastAPI、FastHTML、Next.js 和 SvelteKit 分别构建了同一个名为 "Look at Your Data" 的 CSV 增删改查应用，以比较各框架的开发体验。
Eugene Yan：WritingAI 评分5252 Eugene Yan 总结 39 条 ML 系统构建、规模化与执行经验
Eugene Yan 整理 2024 年参加多个 ML 会议后的 39 条经验，涵盖机器学习系统构建、生产与规模化、执行协作、面向用户和参会演讲五方面。要点包括尽早投入奖励函数工程、扎实 evals 是差异化和护城河、从 demo 到产品 effort 巨大、每次 10 倍规模增长都会暴露新问题，并引用 Karpathy、Will Larson 等人的观点。