文章标题:Learning both Weights and Connections for Efficient Neural Networks
文章的bibtex格式:
@article{songhan2015,
title={Learning both Weights and Connections for Efficient Neural Networks},
author={S. Han and J. Pool and J. Tran and W. Dally},
journal={...NIPS},
pages={1135-1143},
year={2015},
note={{Montréal CANADA)
}},
url={http://papers.nips.cc/paper/5784-learning-both-weights-and-connections-for-efficient-neural-network.pdf},
month={September}}
阅读目的
原文是如何完成weight pruning的?(即:在做weight pruning的时候,pruned掉的weight需不需要去计算)
实验效果如何?什么量减少了,减少了多少?
相关代码
阅读笔记
其实貌似没有什么可以记录的,基本都在原文里画高亮了。
prune之后,retrain的时候learning rate减小为原来的1/10。
文中还讨论了卷积层和全连接层对剪枝的敏感性。
网友评论