跳到正文
热点事件持续更新

Cortex:将上下文整合进参数化记忆

1 篇报道1 个报道来源2 小时前更新

先了解这件事

报道摘要

Cortex 通过生成前瞻性查询并蒸馏上下文条件输出,将上下文带来的性能增益内化为可合并的低秩或结构化前馈网络更新,覆盖 4B–120B 稠密与 MoE 骨干模型。在 14B 模型上连续 50 次事实编辑后,Cortex-Structural 恢复 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。

摘自 arXiv:cs.LG

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.LG
    Cortex:将上下文整合进参数化记忆

    Cortex 通过生成前瞻性查询并蒸馏上下文条件输出,将上下文带来的性能增益内化为可合并的低秩或结构化前馈网络更新,覆盖 4B–120B 稠密与 MoE 骨干模型。在 14B 模型上连续 50 次事实编辑后,Cortex-Structural 恢复 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。