Apple 提出 DSAS:动态缩放激活引导框架
Apple 研究团队提出 Dynamically Scaled Activation Steering(DSAS),一种与具体方法无关的激活引导框架,将"何时引导"与"如何引导"解耦,按层和输入自适应调节现有引导变换的强度,仅在检测到不良行为时强力干预。
Apple 研究团队提出 Dynamically Scaled Activation Steering(DSAS),一种与具体方法无关的激活引导框架,将"何时引导"与"如何引导"解耦,按层和输入自适应调节现有引导变换的强度,仅在检测到不良行为时强力干预。
Sierra 宣布通过 AIUC-1 认证,该认证经 Schellman 独立审计并由 AIUC 完成大量测试,专门针对 AI 智能体的实际行为,包括操纵尝试、受保护信息访问和越权操作等对抗场景。
研究者提出 REVERSAL-BENCH,通过连续参数 ρ∈[0,1] 控制环境可逆性,并提供重置 Oracle 在五种物理引擎的八种操作场景中验证状态可恢复性。
Gary Marcus 在 BBC 节目后撰文反驳 Sam Altman、Jensen Huang 和 Bernie Sanders 的 AI 表态,认为三人说法均不可信。
OpenAI 公布一套用于跟踪、调查和披露模型错位(misalignment)的框架,并同步发布六份关于意外或令人担忧的模型行为的报告。
一个托管、加密的大语言模型运行方案!真正安全地访问模型,全面保护你的数据(且零合成数据生成)
Your data is already encrypted at rest and in transit. But what about in use? Introducing Confidential Computing in Model Vault: where nothing and no one can access your workloads (yes, not even us).
Gary Marcus 披露,Protect Democracy 针对美国政府秘密 AI 安全评估框架提起 FOIA 诉讼后,政府回应了 132 页记录,但几乎所有关键内容都被打码。
我们正在构建机器智能,以扩展人类的意志与判断力。很高兴你能加入团队,帮助我们探索如何让这一未来变得安全。
I’ve joined @thinkymachines to work on safety & alignment. The default trajectory is that as AI gets more powerful, control over it will concentrate in the hands of a few. I’d rather build safety systems that let control over AI be shared widely. Longer thoughts below.
蚂蚁 inclusionAI 基于 stepfun-ai/Step-3.7-Flash 推出内置流式护栏 SingProbe,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 Qwen3.8-27B-singprobe,这是基于 Qwen/Qwen3.8-27B 的流式护栏探针,复用基座模型隐藏状态,逐 token 对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个基于 Qwen/Qwen3.5-397B-A17B 的内在流式护栏,复用基座模型隐藏状态逐 token 打分查询意图、回复不安全和幻觉风险,仅 8.13M 探针参数、解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个基于 openai/gpt-oss-120b 的流式护栏探针,复用基座模型隐藏状态,在生成每个 token 时对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 MiniMax-M2.7-singprobe,这是基于 MiniMaxAI/MiniMax-M2.7 的流式安全探针,仅 6.17M 参数,复用基座模型隐藏状态逐 token 输出 8 类意图、不安全与幻觉评分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 GLM-5.3-singprobe,这是一个基于 zai-org/GLM-5.3 的流式安全探针,复用基座模型隐藏状态,逐 token 输出查询意图、回复不安全和幻觉风险评分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 Hugging Face 发布 SingProbe,一个构建在 Qwen/Qwen3.6-35B-A3B 之上的轻量流式安全防护探针,复用基座模型隐藏状态在每个 token 上打分查询意图、回复不安全性与幻觉风险。
蚂蚁 inclusionAI 开源 Qwen3.6-27B-singprobe,一个基于 Qwen/Qwen3.6-27B 的流式安全探针,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,这是一个构建在 Qwen/Qwen3.5-122B-A10B 之上的轻量级流式安全防护探针,复用基座模型生成时的隐状态,在每个 token 上输出 8 类查询意图、响应不安全度和幻觉风险评分,探针参数仅 6.17M,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3.5-35B-A3B-singprobe,一个基于 Qwen/Qwen3.5-35B-A3B 的流式安全探针,仅 4.2M 参数,复用基座模型隐藏状态逐 token 输出 8 类意图、不安全与幻觉风险评分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3.5-27B-singprobe,这是基于 Qwen/Qwen3.5-27B 的流式护栏探针,复用基座模型隐藏状态,逐 token 输出查询意图、回复不安全和幻觉风险评分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3.5-9B-singprobe,一个基于 Qwen/Qwen3.5-9B 的流式护栏探针,复用基座模型隐藏状态,逐 token 对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个构建在 Qwen/Qwen3.5-4B 之上的内在流式护栏探针,复用基座模型隐藏状态在每个 token 上输出查询意图、响应不安全度和幻觉风险评分。
蚂蚁 inclusionAI 推出基于 Qwen/Qwen3.5-2B 的流式护栏探针 SingProbe,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3.5-0.8B-singprobe,一个基于 Qwen/Qwen3.5-0.8B 的流式安全探针,复用基座模型隐藏状态,逐 token 输出查询意图、回复不安全和幻觉风险三类评分,仅 2.23M 探针参数、解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3-8B-singprobe,这是一个基于 Qwen/Qwen3-8B 的内在流式护栏,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个构建在 Qwen/Qwen3-4B-Instruct-2507 上的内在流式护栏,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3-0.6B-singprobe,一个基于 Qwen/Qwen3-0.6B 的内在流式护栏,复用基座模型隐藏状态,逐 token 对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 Hugging Face 发布 SingProbe 探针,基于 meta-llama/Llama-3.2-1B-Instruct 构建,复用基座模型隐藏状态在每个 token 上输出查询意图、回复不安全性与幻觉风险评分。
蚂蚁 inclusionAI 发布 SingProbe,一个基于 meta-llama/Llama-3.1-8B-Instruct 的内在流式护栏,复用基座模型隐藏状态逐 token 打分查询意图、回复安全性与幻觉风险,仅增加不到 0.5% 解码开销。
蚂蚁 inclusionAI 发布 Hy3-singprobe,一个构建在 tencent/Hy3 上的轻量流式安全探针,复用基座模型隐藏状态在每个 token 上评分查询意图、回复不安全性和幻觉风险。
蚂蚁 inclusionAI 在 Hugging Face 发布 SingProbe,这是一个基于 openai/gpt-oss-20b 的轻量流式安全探针,在生成过程中复用基座模型隐状态,逐 token 输出查询意图、回答不安全度和幻觉风险三类分数。
蚂蚁 inclusionAI 基于 zai-org/GLM-5.2 推出内置流式护栏 SingProbe,复用基座模型隐藏状态,在生成时逐 token 对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 在 HuggingFace 发布 gemma-4-E4B-it-singprobe,这是一个基于 google/gemma-4-E4B-it 的流式安全探针,复用基座模型隐藏状态逐 token 输出 8 类意图、不安全与幻觉评分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个基于 google/gemma-4-31B-it 的内在流式护栏,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。
蚂蚁 inclusionAI 发布 SingProbe,一个构建在 google/gemma-4-26B-A4B-it 上的内在流式护栏,复用基座模型隐藏状态逐 token 打分,探针参数仅 5.67M,解码开销低于 0.5%。
Gary Marcus 评 Dario Amodei 呼吁给 AI 发展减速的文章,Sam Altman 与 Elon Musk 已表态支持。Marcus 肯定其透明度承诺,但质疑其依赖与 AI 公司关系密切的 METR 做评估有监管捕获之嫌,指其拿中国当挡箭牌有损合作对话,并提出追责和产品召回等替代政策选项。文末提到特朗普反对减速,认为美国必须赢下 AI 竞赛。
推荐理由:Gary Marcus 对 Dario Amodei 的减速提案给出有保留的支持,并指出监管捕获、追责与召回等被绕开的政策选项。
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training. You can read the full post here: https://darioamodei.com/post/we-must-pace-the-frontier
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon.
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training. You can read the full post here: https://darioamodei.com/post/we-must-pace-the-frontier
Paul Christiano 加入 OpenAI 基金会董事会,并同时进入其安全与安全委员会(Safety and Security Committee)。官方介绍称他带来 AI 对齐、安全与标准方面的经验。
“we cannot rule out that de-identified data derived from their usage of our products helped improve our models.” i mean props to them for straight coming clean. (so far the proof looks more along the lines of another euler blowup proof we had, off of whose ansatz naming we were making really stupid puns like “smooth criminale”, unlike the much better “ideal fluids explode”, Tristan) so i’ll now give a bit on my thinking here. i actually woulda been pumped to collaborate on this, there are a lot of people at oai i like (ok, clearly some were indirectly dicks to me because of being part of the whole situation, but im a big boy, i still like them), idgaf about authorship on that step anyway, coulda been me Tristan and every fte at oai for all i care (on that Tristan would disagree:p). but on hearing the loud convo in the hallway, especially the part where a millennium prize was offered if i’d just be removed from the paper, it was kinda clear the die had been cast and things were locked. pretty wacky, unstrategic, and unnecessary, since on my side things were mostly me and claude having a good time yoloing random stuff in the corner rather than anything institutional. i also like the idea of the labs cooperating, and even better on scientific progress. it’s a shame!