CMU：Machine Learning Blog·· 15 小时前AI 评分42
CMU 研究：预训练为何还不够“苦涩”，V-pretraining 用下游反馈训练任务设计器
Pre-Training Isn’t Bitter Enough
AI 导读
CMU 提出 V-pretraining，在持续预训练中把固定的自监督任务构造规则换成可学习的任务设计器，下游样本只用于训练设计器，学习者仍只接收自监督梯度。
来源：CMU：Machine Learning Blog · blog.ml.cmu.edu