gradient descent
本文不会包含任何数学公式，内容将引起舒适。
说到神经网络的价值函数，或者是损失函数，也可以叫目标函数，随意啦，就不得不提反向传播，提到反向传播，就不得不提链式求导，梯度下降，提到梯度下降，那我就不得不抛出了上面的图片。
简单描述一下这个寻优过程，初始化一个随机值，沿着梯度的反方向以一定的步子（不要太大）不停的迭代，就能寻找到一个比较不错的局部最小值，是不是很简单？你要问我什么是梯度下降，以及梯度下降与牛顿法的区别，以及为什么是局部最小，我不告诉你，我可以透露一点，多看几眼泰勒展开式。
说了半天，并没有点题，价值函数到底是什么？上面讲到了反向传播，那么这里就讲讲正向传播了，回到神经网络建模过程，回想一下那个过程，你先建了个输入层，再紧接着连上一层接一层的隐藏层，最后一层为输出层，到了这里，你有了一个推理模型，行话叫Inference,哈哈。接着往下走，你的目的是训练模型，你手上有大把数据，以及每一个数据样本对应的标签，显然你要将数据丢进输入层，那么标签怎么办，监督学习，顾名思义，就是用标签监督你的输出层数据，你要让你的输出层数据和标签尽可能长得像，用数学一点的语言讲，就是让输出和标签的范数尽可能小，ok,还是有点绕，不急，总结一下，简单点，标签与输出的范数就是价值函数，对，就是那个范数，范数不懂，这里也不讲，反向传播干的事就是利用梯度下降法，去寻找那个局部最小值。你要问我价值函数到底长成什么样子，它就是上图的样子，只不过比它复杂得多，上图是三维的，它可能是上亿维的，是的，它的维数就是它的参数的数量，它的参数就是所有的隐藏层的参数，它的系数，是常数，就是你的样本数据和标签，它们都是已知的，都是常数，没错吧，到这里有没有一个巨长的函数出现在你的脑海里，回想一下它的变量，系数都是啥，想起来了吗？
到这里，我自认为我讲清楚了神经网络的价值函数，到这里就该结束了，看看我的题目，大大的漫谈两个字提醒着我，我还有话要讲，既然是漫谈，接下来的内容就可能是胡扯了。
先下个定义，不知道为啥老想着下定义。
任务的数学描述：每个任务都是在改变场景中某些物体的状态，用流态（fluent)来代表一种可以改变的状态。
价值，价值观，价值函数，听起来应该有点近表亲的意思，可以探讨一下。
天下熙熙，皆为利来，天下攘攘，皆为利往，人的每一次选择，每一个行为都是利益驱使的，话有点不大好听，但我是这样理解的，把驱动我们的利益看作价值函数，我们的目标是利益最大化，就是找到这个价值函数的最大值。把利益最大化看作一个任务，你在这个过程中的行为，就是在改变你和周围环境的状态，一步一步地，流态一步一步地改变，一步一步地达到一个准平衡态，直到它平衡，是不是特像梯度下降迭代的那个过程，只不过这里可能使梯度上升哦，毕竟，人往高处走。
没错，还有水往低处流。
一下高处走，一下低处流，要怎么理解，没错，我是学物理的，如果你也学物理，你一定能知道我接下来说的是什么？
保守力场都具有势能函数，人往高处走，水往低处流，本质一样，人和水都按照着各自的势能函数在流动，只不过他两的势能函数不一样而已啦。我们知道势能函数沿着与力相反的方向下降，力是什么，力不就是势能关于距离的一阶微分吗？这不就是梯度下降吗？
最后谈谈价值观吧，同为人类，驱动人的势能函数因每个人的价值观不同而产生差异，那这里还有提价值函数的必要吗？有的，虽然价值观因人而异，但毕竟还是用通用的，叫常识也好，或者老美口中的普世价值也罢了，都是一个意思，有了这些东西，在一个多人的环境中，就有了竞争合作，就会形成社会规范，伦理道德。这些伦理，社会规范就是人群在竞争和合作中，收到外部物理环境的限制下，达成的暂时的准平衡态。请注意这里的限制，准平衡态，数学语言描述一下，边界条件的存在，形成的是一种具有概率意味的规则，因为边界条件随时可能变化，（如新的技术发明，像互联网，人工智能）或是政策改变（如改革开放），要注意因地制宜。
终于讲完了，长舒了一口气，可能我也不知道我在讲什么。
写在最后，
深度学习，怎么理解”学习“二字，我们知道深度学习是数据驱动型的算法，学习有两种方式，归纳与演绎，我认为一个深度学习模型就是这两种学习方法的结合，正向传播就是一个归纳过程，反向传播就是一个演绎过程，好像这个理解有点鸡贼，放在哪里都可以，哈哈。
还是要展望一下的，毕竟深度学习这么火，需要大数据驱动，大数据小任务范式，计算密集型，这是它的几个标签。虽然不得不承认它的过人之处，但还是要知道它的局限性，它离通用人工智能差得应该还很远，虽然我也不知道他离得多远，今天有个消息，百度徐伟出走，搞通用人工智能去了。
数据驱动型算法就像是鹦鹉学舌吧，上限肉眼可见。但目前来说，它最厉害！
任务驱动，知识图谱，可以了解一下。
原创不易，转载联系微信：1130223605
参考资料：
浅谈人工智能：现状、任务、构架与统一
网友评论