跳到正文
热点事件持续更新

SST V2发布:非线性循环隐空间推理

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Thea Aviss 提交的论文发布 State Stream Transformer (SST) V2,用每层 FFN 驱动的非线性循环,在连续潜在空间沿全序列横向流式传递状态,并支持推理时按位置做连续潜在推演,两遍并行训练近似顺序循环。 该版本以少量 GSM8K 样例共训练进一个已有的 27B 基座,并用 oracle 为每个问题分配每 token 一到四次循环前向的深度来评估。据论文称,SST 在分布外 GPQA-Diamond 上达到 61.11% 的架构容量上限,比微调匹配的基线高 15.15 个百分点,并将该基线在 GSM8K 上的剩余错误减少 46%。上述为论文报告的结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv:cs.CL
    State Stream Transformer (SST) V2:用并行训练的非线性循环实现潜在空间推理

    State Stream Transformer (SST) V2 通过每层 FFN 驱动的非线性循环,在连续潜在空间沿全序列横向流式传递状态,并支持推理时按位置进行连续潜在推演,两遍并行训练近似顺序循环。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。