对抗预训练线性Transformer被证为最优鲁棒上下文学习器
热点事件持续更新
对抗预训练线性Transformer被证为最优鲁棒上下文学习器
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
一项理论研究证明，经过跨任务对抗预训练的足够深线性 Transformer，无需再针对具体任务做对抗训练，仅凭干净示例的上下文学习，就能在未见任务上渐近达到鲁棒 Bayes 误差；标准训练的模型做不到这一点。 该结论针对一类高斯混合分类任务，研究还分析了梯度流下的收敛性、精度与鲁棒性的权衡以及示例复杂度。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
对抗训练过的线性 Transformer 是高斯混合模型的最优鲁棒上下文学习器报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv：cs.LG对抗训练过的线性 Transformer 是高斯混合模型的最优鲁棒上下文学习器
一项理论研究证明，在跨任务对抗预训练后，足够深的线性 Transformer 无需额外任务特定对抗训练，即可通过干净示例的上下文学习，在未见过的任务上渐近达到鲁棒 Bayes 误差，而标准训练的模型无法做到。研究针对一族高斯混合分类任务，并进一步分析了梯度流下的收敛性、精度与鲁棒性的权衡以及示例复杂度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。