新方法研究LLM表征对齐的尺度与驱动因素

Jialin Wu与Meenakshi Khosla提出Neighborhood-Weighted RSA（NW-RSA）和Counterfactual RSA（CF-RSA）两种方法，用于定位大语言模型在哪些几何尺度上表征一致、以及哪些语言属性支撑这种一致。 研究结果显示，不同语言模型在粗粒度表征几何上高度一致，但在局部邻域存在显著分歧；逻辑辖域变化对对齐的削弱明显大于层级句法、事件角色或篇章结构的变化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。