深度学习思考

神经网络如果能了解每一层输出的意义，就可以避免end－to－end 的黑箱理论，对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在 object tracking 用过这样的方法,在大数据集测试，每一层都输出结果，并且和hand craft feature 做比较，发现浅层的效果不如hand craft feature，中高层看任务，并不是所有的情况，深度学习的特征都好于hand craft feature，只是特别复杂的任务深度学习的特征要好于hand craft feature。

还有一个思路是借助其它机器学习来帮助我们理论话深度学习，他山之石，可以攻玉，例如随机森林就是一个很好的例子，逆向解构，把深度特征输入其它 模式（理论清晰）训练，看看会出现什么效果，然后再做逆向分析。

以上纯属胡思乱想，无任何依据可言。