BioBigBird稀疏注意力生物医学长文本模型发布

Roshan Balaji等作者发布论文，提出面向生物医学的长文本双向语言模型BioBigBird。该模型在生物医学文献与临床数据上预训练，采用稀疏注意力机制处理最长4096 tokens的序列，并通过多阶段训练降低大规模预训练语料噪声。 模型引入多任务学习框架，联合优化命名实体识别与关系抽取。作者称，BioBigBird在BLURB基准上取得与SOTA模型高度接近的结果，且模型已公开可用。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。