新架构COC让Transformer学会规划

Ehsan Futuhi 与 Nathan R. Sturtevant 提出 Chain of Computation（COC）架构：把基于 Transformer 的语言模型放进迭代循环，并用结构化上下文窗口（SCW）作为外部记忆，让模型每个规划步骤只访问累积上下文中需要的部分，输入规模近似恒定。 作者称，从零训练的相对小型语言模型只需少量训练实例即可学会规划流程并泛化到未见问题，在 BlocksWorld 和 Pancake 拼图上成功率超过 99%；该架构还能求解最多 20 个盘的汉诺塔（TOH），并让规划器执行深度优先搜索（DFS）算法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。