Together AI 推出 Parcae：稳定循环架构用一半参数追平 1.3B Transformer

Together AI 提出稳定循环架构 Parcae，通过将激活多次穿过同一批层来增加计算量，验证困惑度较此前大规模循环模型最多降低 6.3%。770M Parcae 在相同数据上追平 1.3B 参数 Transformer 的质量，参数约减半。团队还首次建立循环的缩放定律，发现计算最优训练需同步提升循环次数与数据量。