评价神经网络：
现有问题：学得慢、学得不是真正规律（有干扰）
训练数据70%；测试数据30%
误差曲线，（分类）精确度曲线+（回归问题）R2分数+f1分熟（不均衡数据）等
过拟合-->L1、L2的正规化；dropout
确定训练参数是更有效的：通过交叉验证，可用于nn，ml，横轴是要测试的参数（例如网络层数），纵轴是误差\精确度---》可找到合适的层数
为啥要把特征数据来归一化\标准化？这样不同纬度对应的参数不会差得那么大，能加快学习速度，学得不扭曲: minimax normalization(按比例缩到0_1或-1_1) std normalization(均值0, 方差std为1)
什么叫好特征？以分类器为例；选特征要选：不重复的、表征简单直接的、有意义的
为啥要激励函数Active Function？解决不能线性方程解决的问题，relu、sigmoid、tanh；都必须可微，因为要BP；当层数很多时，选择涉及梯度爆炸与梯度消失；CNN relu、RNN tanh、relu
解决过拟合overfitting：增加训练数据、L1、L2正则化：过拟合表现为W变化大，正则化可以控制。 原来cost = (Wx - realY)^2；L1正则化变成cost = (Wx - realY)^2 + abs(W)；这样如果W变化大，cost也会变化大，通过加入绝对值，加入了惩罚值；L2正则化+ W^2；--》让学到的曲线不那么扭曲 dropout，随机忽略掉一些神经元和其连接，这样其实在训练不同的子图，从而从根本上不会每次一定依赖于特定的神经元，L1、L2只是加入
设计一个专门学会调参的网络？？
网友评论