DuplexJev:冻结LLM单Token监督听懂语音
热点事件持续更新
DuplexJev:冻结LLM单Token监督听懂语音
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Jie Jin等作者提交论文提出DuplexJev:把ASR编码器的隐状态经小型连接器送入冻结的LLM,每个问题读作选项上的单Token分布,无需解码即可完成决策。作者称,8-GPU节点约0.1秒可回答八段语音的80个决策。 作者报告,用最后一层连接器时,口语问答准确率接近直接读转录文本(90%对91%);改用交叉注意力连接器后,性别与情感识别准确率均达90%(此前分别为55%和28%),口语问答仅下降1个百分点(83%到82%)。作者称编码器与LLM可互换,并发布了权重、训练配方、全双工批量推理管线和双语口语问答数据集。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
DuplexJev:冻结 LLM 单 Token 监督实现批量语音决策,无需解码报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.AIDuplexJev:冻结 LLM 单 Token 监督实现批量语音决策,无需解码
DuplexJev 将 ASR 编码器隐状态经小型连接器送入冻结 LLM,把每个问题读作选项上的单 Token 分布,无需解码即可完成决策,8-GPU 节点约 0.1 秒回答八段语音的 80 个决策。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。