轻量化网络,在实际上最有效。 全连接网络里,多加一层,参数变少,相当于中间压缩了。 每个通道有个核,对应卷积,再使...[作者空间]
用更少的bit来存参数,(例如32个bit改成16个bit) 把参数分群,用更少的bit来代表参数 通过霍夫曼编码...[作者空间]
先训练一个大模型,再训练一个小模型学习大模型的输出。 大模型不仅学到了类别,还学到了类别之间相似的东西,比真实la...[作者空间]
李宏毅 network compression https://www.youtube.com/watch?v=d...[作者空间]