在学习cs231n的课程中发现一篇关于大脑神经突触Synapse与深度学习参数量进行对比的Topic。

• 首先在神经网络中，为了降低过多的神经元参数所造成的over-fitting问题， 人们常常采取一些方法来防止问题的发生。比如随机删减一些参数(Dropout)，Network-Pruning等。
  image.png

• 这些方法被发现降低了训练后模型的预测准确率，但是可以通过再训练剩余参数来把准确率重新提升上来。

  
  image.png

• 这种现象和人类大脑发育过程中发生的事情类似。

  
  image.png
• 科学家发现大脑神经突触具有删除机制

一个健康的成年人的大脑中约有860亿个神经元，神经元之间接触的结构称为神经突触。每个神经元会和别的神经元形成大约1000个突触。刚出生的婴孩大脑中的突触数量会随着发育不断增多，6岁时突触数量到达顶峰。此后，大脑又会通过突触删除，让这个数量降低并维持在一个比较稳定的水平。
“大脑像个复杂而精致的花园，花园里的园艺草木需要被修剪，大脑里冗余的突触也需要被删除。”汪浩说，成人的大脑每天都会生成和删除大量突触，是一种常态化的生理机制。
此前的研究发现，大脑中的星形胶质细胞和小胶质细胞，可以像清道夫一样，通过吞噬和降解删除不需要的神经突触。此外，星形胶质细胞内的钙离子浓度的升高，对星形胶质细胞行使功能起到至关重要的作用。
“神经突触是我们记忆存储的载体，突触的生成和删除也构成了我们大脑可塑性的基础，突触过剩肯定不是一件好事。突触删除异常被认为与自闭症和精神分裂症有关，突触删除机制的研究将为这些疾病的治疗提供启发。”

• 如上所述，突触删除异常也即大脑没有及时将需要清除的神经元突触删减掉，过剩的神经元变成了过量饱和，容易使人发生精神分裂或其他神经疾病，而在神经网络的模型设计中，我们可以将这种现象对比地理解为计算复杂度过高，使得模型无法很好地完成预测任务或者学习率降低，甚至造成机器的当机或死循环（由于数据量太大）。