提出基于逆激活回归的神经元合并压缩方法
热点事件持续更新
提出基于逆激活回归的神经元合并压缩方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
日本学者 Ao Kuniya 与 Jun Ohkubo 发表论文,提出面向 sigmoid 神经网络的训练后压缩方法:通过逆激活函数把神经元响应映射回预激活空间,再用最小二乘法估计代表神经元的权重与偏置。 方法同时考察两种策略——使用真实训练输入的数据辅助策略,以及使用随机生成输入的无数据策略,并与无数据贡献加权平均法对比。 作者称实验显示,在所测试的 sigmoid 网络中,权重信息对聚类尤为有用,激活信息则有助于合并时重建代表神经元。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
基于逆激活回归的神经元合并:sigmoid 神经网络训练后压缩方法报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.LG基于逆激活回归的神经元合并:sigmoid 神经网络训练后压缩方法
该论文提出面向 sigmoid 神经网络的神经元合并压缩方法,通过逆激活函数将神经元响应映射回预激活空间,并用最小二乘法估计代表神经元的权重与偏置。方法同时考察了使用真实训练输入的数据辅助策略与使用随机生成输入的无数据策略,并对比了无数据贡献加权平均法。实验表明,在测试的 sigmoid 网络中,权重信息对聚类尤为有用,而激活信息则有助于合并过程中的代表神经元重建。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。