跳到正文
热点事件持续更新

DuplexJev:冻结LLM单Token监督听懂语音

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Jie Jin等作者提交论文提出DuplexJev:把ASR编码器的隐状态经小型连接器送入冻结的LLM,每个问题读作选项上的单Token分布,无需解码即可完成决策。作者称,8-GPU节点约0.1秒可回答八段语音的80个决策。 作者报告,用最后一层连接器时,口语问答准确率接近直接读转录文本(90%对91%);改用交叉注意力连接器后,性别与情感识别准确率均达90%(此前分别为55%和28%),口语问答仅下降1个百分点(83%到82%)。作者称编码器与LLM可互换,并发布了权重、训练配方、全双工批量推理管线和双语口语问答数据集。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.AI
    DuplexJev:冻结 LLM 单 Token 监督实现批量语音决策,无需解码

    DuplexJev 将 ASR 编码器隐状态经小型连接器送入冻结 LLM,把每个问题读作选项上的单 Token 分布,无需解码即可完成决策,8-GPU 节点约 0.1 秒回答八段语音的 80 个决策。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。