跳到正文
原文
vLLM 官方博客(RSS)· Raphaël Rialland (Mistral), Simon Veitner (Red Hat), and Tomas Ruiz (Red Hat)·· 7 天前精选AI 评分66

vLLM 支持基于 Gumbel-max 的无损文本水印

Watermarking in vLLM

AI 导读

vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,通过 PRF 生成可复现的 keyed 噪声并把 PRNG、Gumbel 变换和 argmax 融合为单个 GPU kernel。

推荐理由

作者亲自实现了 vLLM 的水印功能,给出了算法原理、吞吐实测数据和启用命令,读者可以据此评估在现有推理服务中采用的成本。

来源:vLLM 官方博客(RSS) · vllm.ai