跳到正文
热点事件观察中

LatentLoop 提出循环 MoE 非对称计算分配

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者 Zefeng He 等人提交论文预印本,提出 LatentLoop:在循环混合专家模型中,第一次访问时压缩序列长度,第二次访问保留全分辨率,并把节省下来的算力用于增大隐藏层规模。该论文称这一做法降低了验证 NLL。 目前结论仅来自论文自述,尚无独立验证或后续跟进报道。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. HuggingFace Daily Papers
    LatentLoop:用非对称计算分配扩展循环 MoE 模型

    LatentLoop 通过压缩循环 MoE 首次访问的序列长度、在第二次访问保留全分辨率并将节省的算力重新分配给隐藏层规模,从而降低验证 NLL。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。