2018-8-6
个人前置条件：
- 已经将《统计学习方法》《机器学习实战》一刷80%
- 西瓜书一刷50%，tensorflow实战一刷70%
- kaggle上参与过titanic(Top 6%)和数字识别(Top 12%)
- 比较了解pandas，numpy，matplotlib，seaborn，tensorflow，sklearn
今日计划
- 复习数学模型基础
- 看深度学习博客——太长了 悠闲时看
视觉CV 博客一
colah个人博客 - 深度学习Udacity
- ML手册
机器学习规则 (Rules of Machine Learning) - os基本操作
知识点记录
- softmax以及其特性（数值越大越武断，越小越均等） 单纯加减常量，softmax后不变
- one-hot编码、交叉熵(非对称)
- SGD技巧
-
均值为0 同方差
- 初始化随机，方差要小
- Momentum 动量，保留上一步梯度下降运动的趋势 M=0.9M+0.1△M
-
学习速率递减（多种多样的递减方法……）
- Ada 降低对超参数的敏感度，但没有momentum更准确
- 对小型模型，出现问题先降学习速率
- train dev test
- 模型水平提高可信（Rule of 30）至少多预测对30个样本
大于3万个实例作为验证集，精确到十分位0.1%
sklearn所学
代码
os.listdir(folder)
网友评论