Day13 #100DaysofMLCoding#

2018 8 28

强化学习

pdf

放弃了 先研究CNN，之后RNN，最后有精力再学RF

在决策已知的情况下，状态s时期望的rewards
在决策已知的情况下，状态s时采取a行为期望的rewards

方法优化与硬件

牺牲少量精确度来大大减少计算量

• prune 删减链接方法：设一个阈值，小参数，直接设为0（不参与以后的所有计算）

• weight sharing
  参数不要那么多、那么精确。对一组参数，人为把参数K均值为2^bit个。用于表示的数字是bit长度，其对应centroids的id,centroids上的数是正常精度的。
  对于cluster index,我们还可以用哈夫曼编码继续优化，减少存储空间

  
  
  

  weights采用K均值选择，K人为选定
  gradient取累加而不是平均
  对已经训练好的大网络做参数共享。共享后再训练，发现已经处于稳定状态。

  
  

• 用1x1卷积 缩减参数(在压缩网络前，优化计算量的方法)

  
  
  没有进行压缩处理（参数共享、减连接），只是进行squeeze,加入1*1卷积层
  
  
  对于卷积，只用1,-1,0作为参数
  
  

  算法优化预测
  硬件优化预测
  算法优化训练：

  
  
  

Adversarial

60%确定是熊猫的照片，添加一个人为特定计算出来的噪音之后，网络竟然99.9%认为其实长臂猿！！（猜想：那预测的时候个一个原照片分多次预测，每次都随机添加一个噪音，会不会减少这样的问题？）（再猜想：合成的图片人类觉得自然但算法觉得不自然，由此检查图片是否是合成？不可行，对于大多数添加噪声合成的图片，算法结果比较理想。如上问题是反推从A类到B类更改原图片后发现原图片几乎没有更改。）
原因解释一：可能过拟合
背景颜色为真实分布。形状为预测结果。蓝绿色为训练集，红色为预测样本且预测错误

解释二：并非过拟合，而是欠拟合
A类图片+特点噪音-》B类

左下角，右上角。没有训练数据，但我们却十分肯定左下角极大概率是X，右上角极大概率是O

• 大多数的激活函数其实都是分段线性的。

新图像生成

用预先训练好的网络。计算中间层的MSE