用信息论剖析深度学习：Tishby 的信息瓶颈理论

Naftali Tishby 提出用信息瓶颈（IB）方法研究深度神经网络训练，将 DNN 视为马尔可夫链，用编码器互信息 I(X;T_i) 与解码器互信息 I(T_i;Y) 构成信息平面刻画各隐藏层。他发现 DNN 训练分为两个阶段：先充分表示输入并最小化泛化误差，再压缩表示、遗忘无关细节，并认为"学习最重要的部分其实是遗忘"。