softmax函数的求导学习

今天学习了softmax函数的求导，和其他函数求导不同，softmax函数中的参数不是常量，而是向量。

对于陌生的向量求导，我看开始看起来也是一头雾水，加之softmax函数本身很复杂，softmax函数的求导对于我来说就像是天书一样困难。

与以往不同的是，今天知道这过程学习很困难，但还是硬着上，一点一点啃着最难啃的步骤。结果经过一个多小时的努力，竟然也明白了个大概。这种经过辛苦地摸索最终收获的感觉实在是很美妙，事实也证明，很多貌似困难的内容是可以通过基础知识的推到获得的，刚开始的畏难情绪实在是多余。

在学习的过程中还有一个感悟是，短期记忆特别重要，像人工智能中矩阵函数的求导问题，其中包含了很多变量，每个变量又有很多的维度，一不留心就会搞混了，这个问题会在推导和学习的过程中出现很多不必要的问题。所以集中注意力是必须的，而为了保证足够的注意力，最好每学习一阵子就休息几分钟，千万要避免长时间地陷入其中，这样自己状态慢慢变差，注意力下滑的时候，反而解不出难题。