Network Compression
小的模型难训练,大的模型更容易训练成功
torch 中全连接简单的剪枝
剪枝后的部分权重会变成 0 ,可以提高计算速率 , 但模型占的空间是一样的
低秩近似:
例如 N=20,M=40, K=10
原来weight的个数
加一层连接后weight的个数
实验验证:
model2 比model1 要小
小的模型难训练,大的模型更容易训练成功
torch 中全连接简单的剪枝
剪枝后的部分权重会变成 0 ,可以提高计算速率 , 但模型占的空间是一样的
低秩近似:
例如 N=20,M=40, K=10
原来weight的个数
加一层连接后weight的个数
实验验证:
model2 比model1 要小
本文标题:2021-03-31
本文链接:https://www.haomeiwen.com/subject/xnnohltx.html
网友评论