跳到正文
原文
arXiv:cs.LG(机器学习,全量分类)· Yundaichuan Zhan, Weishi Wang, Wenbiao Liu, Daniel Dahlmeier, Chengwei Qin, Juncheng Li, Fredrik D. Johansson, Zhongqi Yue·· 1 天前AI 评分37

Dyad:为 LLM 引入原生类型化决策能力

Dyad: Extending Large Language Models with Native Typed Decision-Making

AI 导读

研究提出 Dyad 架构,通过环境条件化的动作编码器将候选动作描述并行嵌入,并与 LLM 内部状态打分,得到类型化动作分布。冻结 LLM 仅训练动作编码器即可在四个未见环境中稳定提升;联合优化在多种交互任务和模型规模上超越常规 RL 后训练,9B 模型在 ALFWorld 上平均绝对提升 3.80%,同时改善通用知识、推理与编码能力。

来源:arXiv:cs.LG(机器学习,全量分类) · arxiv.org