神经网络和深度学习笔记1（基础概念）

1. 图片在计算机中怎么储存？

• 图片其实是255*3 维特征向量保存的

  
  image.png

• x 为一副图， y 为 是否有猫，1是，0不是

  
  image.png

2. 建立数学模型，找到最合适的w和b

• 开始训练x,y,找到最合适的w和b

  
  image.png

3. 损失函数引入

• 如何找到最合适的w和b？引入损失函数

• 连续性变量可以用最小二乘，分类变量用下面的函数

  
  image.png
  image.png

4. 代价函数引入

• 损失函数只是一幅图比较，要比较所有的图，引入算法代价函数

• 算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚

  
  image.png
• 损失函数只适用于像这样的单个训练样本，而代价函数是参数的总代价，所以在训练逻 辑回归模型时候，我们需要找到合适的𝑤和𝑏，来让代价函数 𝐽 的总代价降到最低。

5. 梯度下降法引入

• 怎么让J降到最低？引入梯度下降法

  
  image.png

• 其实就是对w,和b 无限的求偏导，直到不能再减少为止

  
  image.png
  image.png

6. 怎么求解梯度下降法？引入计算图求导数

• a 增加1个单位，J增加3个单位；b 增加1个单位，J增加6个单位；c增加一个单位，J增加9个单位

  
  image.png
  image.png

• 梯度下降法也是类似的

  
  image.png
  image.png
  image.png
  image.png
  image.png
  image.png