李宏毅机器学习深度学习自学笔记（刚开始看） - 知乎 (zhihu.com)
http://t.csdn.cn/Trc9x

第一节 课程概述（机器学习深度学习基本概念）

第一部分 机器学习基本概念

looking for function的一个过程，输入和输出，找function的过程

分类：

regression：输出是数值
classification：输出是固定的classes
structured learning：没有固定的输出

步骤

image.png

1. 写出带有未知参数的function的结构（只知道function的基本结构）基于domain knowledge。y是output，x是features。（找到基本的function结构是很重要的部分）

   
   image.png

2. 定义loss，L(b,w)关于parameters的一个函数，评价这组parameters的好坏。越大这组parameters越不好

   
   image.png

3. optimization： 找到让loss最小的w和b（gradient descent梯度下降），多参数也是依此类推。
   偏导大于0，w减小
   偏导小于0，w增加

   
   image.png
   

   不用担心local minimal的问题
   需要自己去设定的参数：hyper parameter

   
   image.png
   image.png
   image.png
   image.png
   数据有一定的周期性
   image.png
   

   上面用线性模型去根据往年看片人数预测未来看片人数，效果不太好。 引入非线性

第二部分 深度学习基本概念

一、优化机器学习第一步：function with unknown

如果我们只使用线性方程，那么能够表示的曲线就很有限，大多数情况下都有很严重的model bias，所以我们需要更加具有弹性的方程来拟合曲线。
比方说下面红色曲线就可以看作是不同的蓝色曲线叠加起来的结果。（各种的曲线，如果我们选择的转折点合适，都可以用一个折线去进行拟合。）

image.png

怎么表示蓝色的曲线呢？使用sigmoid函数

image.png
改变不同的参数就可以得到不同的蓝色曲线
image.png
这样我们的模型的基本函数结构就有一个很好的改变
image.png
image.png

把这个公式展开对应到结构上就是

image.png
image.png
image.png
image.png
在这里我们还有更加简单的表达方式（方便loss function的优化过程）
image.png
最后优化了第一步得到一个能够表示更多结果的公式
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png

hard sigmoid 不一定要换成sigmoid，还可以换成别的激活函数，其中常见的是Rectified Linear Unit（ReLU）

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png