美文网首页
3blue1brown-Neuron Network

3blue1brown-Neuron Network

作者: 睡眠相位后移的起床困难户 | 来源:发表于2017-10-18 18:06 被阅读0次

此文记录看3blue1brown-Neuron Network重点:

1.gradient descent:

theta:=theta-alpha*(slope)

若slope负的,需要increase

若slope正的,需要decrease

绝对值大小,表示adjust的程度

2.paper-a closer look at memorization in deep networks:

NN不绝对只是memorize the dataset

如果数据集正确,学习很快,cost func曲线在最较初位置就会快速下降

如果是Random label的数据集,cost func曲线是linear下降的

3.paper-the loss surfaces of multilayer networks

如果数据结构化?local minimum 是同质量,学习起来也很容易

如果数据结构化?local minimum 是同质量,学习起来也很容易

相关文章

网友评论

      本文标题:3blue1brown-Neuron Network

      本文链接:https://www.haomeiwen.com/subject/efmeuxtx.html