arXiv:cs.LG(机器学习,全量分类)· Yundaichuan Zhan, Weishi Wang, Wenbiao Liu, Daniel Dahlmeier, Chengwei Qin, Juncheng Li, Fredrik D. Johansson, Zhongqi Yue·· 1 天前AI 评分37
Dyad:为 LLM 引入原生类型化决策能力
Dyad: Extending Large Language Models with Native Typed Decision-Making
AI 导读
研究提出 Dyad 架构,通过环境条件化的动作编码器将候选动作描述并行嵌入,并与 LLM 内部状态打分,得到类型化动作分布。冻结 LLM 仅训练动作编码器即可在四个未见环境中稳定提升;联合优化在多种交互任务和模型规模上超越常规 RL 后训练,9B 模型在 ALFWorld 上平均绝对提升 3.80%,同时改善通用知识、推理与编码能力。
来源:arXiv:cs.LG(机器学习,全量分类) · arxiv.org