MemKD：压缩循环神经网络的知识蒸馏框架

Nilushika Udayangania 等作者提出名为 MemKD（Memory-Discrepancy Knowledge Distillation）的知识蒸馏框架，用于把循环神经网络压缩到更小规模。该框架用专门的损失函数捕捉教师模型与学生模型在时间序列子序列上的记忆保留差异，使学生模型模仿教师行为。 作者称，实验显示 MemKD 优于现有 SOTA 知识蒸馏方法，在多种压缩级别下能匹配教师模型性能，大幅减少参数量和内存占用且精度损失不显著，适用于可穿戴设备与边缘计算平台的实时时间序列分析。上述效果均来自论文报告。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。