集成学习之NCL

在看文献的过程中，发现了集成学习并非简单训练N个模型。在这N个模型之间，建立某种约束，能够提升集成学习的效率。这里的NCL：Negative correlation learning就是一个代表。

NCL负相关学习

1. Liu, Yong, Xin Yao, and Tetsuya Higuchi. "Evolutionary ensembles with negative correlation learning." IEEE Transactions on Evolutionary Computation 4.4 (2000): 380-387.
   • 这个文章有点历史感觉。 通过引入NCL的概念，让各个学习单元之间的差异尽量大。
   • 好懂。但是在最后预测结果这个位置才让差异化增大是不是会影响其作用。Entropy。

2. Shi, Zenglin, et al. "Crowd counting with deep negative correlation learning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
   • 作者将NCL的思路用在deep network上。
   • 一种见解：其实deepnet的牛逼之处就是靠的集成学习（drop out），那么采用ensemble的高级方法当然是很有可能提高性能表现的。

思考

• 多输入，多输出，多模型。对应为：多模态，多任务，集成学习。能否存在一个统一的视角看待这三类问题？Pls consider the relationship between the individuals and the group behavior.
• 多样化的度量指标有很多，为何偏偏就是NCL呢？换成其他的会不会吊打NCL？
• 多样化的约束一定要放在final output吗？放在中间feature level 是不是也会吊打NCL？