A critique of pure learning and what artificial neural
networks can learn from animal brains

Abstract

1 认为大多数动物行为不是聪明的学习算法（有/ 无监督）的结果。
2 动物天生具有高度结构化的大脑连接能力。
3 基因组瓶颈（genomic bottleneck）对大脑复杂连接进行压缩，为ANN快速学习提供建议。

Boomshit

1 “机器拥有超过人类的智慧” 这一看法再次盛行。许多人认为 technological singularity- 人工智能失控增长改变人类文明的时刻即将到来。
3 ANNs 仍远未接近人类智力。在语言推理等基础能力方面甚至无法超过4岁儿童。
4 如果机器达到了小鼠智能，那么再达到人类智能将只是一小步。
5 ANNs的发明是为了根据神经系统使用计算机原理构建人工系统。
6 动物的学习依赖于先天机制和学习的结合。
7 基因组瓶颈 -- 进化捕获的任何先天过程对基因组的压缩，作为对大脑连接规则的正则化约束。

Learning by ANNs

1 symbolic AI and ANNs.
2 符号AI 程序员有责任明确的对系统进行操作的算法进行编程。 ANNs 从数据中进行学习。
3 ANNs 的 Learning 是指从输入数据中提取结构（统计规律性）并将该结构编码为网络参数。 监督 无监督 强化学习。
4 ANNs 中 网络灵活性 与 网络所需的数据量 之间的权衡称为 偏方差权衡。大型网络需要大量带标签的训练数据。

Learning by Animals

1 Learning 指行为的长期变化，是经验的结果。
2 人工系统的学习同新生儿的学习几乎没有相思住处。
3 如果智力是蛋糕，那么大部分蛋糕都是无监督学习，糖衣是有监督学习，樱桃为无监督算法。
4 也许存在利用全部感觉输入的无监督算法来利用这一个庞大的数据池。

Learning and innate behavior in animals

1 动物如何在出生后这么快就发挥良好的功能。
2 无监督机制不能解释，我们的许多感官表现和行为很大程度上是与生俱来的。
3 天生与学习策略之间的进化权衡。联想到监督学习的 偏方差权衡。

Innate and learned behaviors are synergistic

1 认知图的支架是先天的，但是后天学习了在该支架上构建特定图。
2 先天认知同后天学习起协同作用。

Genomes specify rules for brain wiring

1 基因组编码了神经系统结构，连接，强度。
2 在一些简单生物中，基因组有能力指定每个神经元之间的连接。
3 但是在一些较大的大脑中，基因组没有足够能力明确指定每一个连接。
4 因此，在大脑较大且稀疏连接的大脑中，可能需要大多数信息来指定连接矩阵的非零位置，而不是精确值（连接规则）。
5 动物脑中的回路似乎依赖于重复模块。

Superbised learning or supervised evolution

1 进化，如学习，也能被看作是统计规律性的机制，尽管时间尺度比学习长的多。
2 人工神经网络从事的优化过程必须模仿在进化过程中所学到的知识以及一生中的学习过程，而对于动物而言，学习仅指的是生命中的变化。
3 在动物中，有两个嵌套的优化过程：在世代时间尺度上起作用的外部“进化”循环，以及对单个个体的寿命起作用的内部“学习”循环。
4 尽管学习可以通过Hebbian和其他机制直接作用于突触权重，但进化仅通过基因组间接作用于大脑的布线。
5 由于基因组能力有限而引起的正则化作用可能代表功能而非错误。

Implications for ANNs

much of animal behavior is innate, and does not arise from learning.

1 动物有很大的选择压力，将其学习限制在其生存所需的范围之内。
2 动物倾向于快速学习某些东西的想法与AI研究和认知科学中的“元学习”和“归纳偏见”有关。
3 解决新问题的人工神经网络应尽可能尝试构建关于先前相关问题的解决方案。迁移学习。
4 移学习与大脑的先天机制有着重要的区别。在转移学习中，通常将ANN的整个连接矩阵用作起点，而在动物大脑中，“代代相传”的信息量较小，因为它必须穿过基因组的瓶颈。

genome doesn’t encode representations or behaviors directly or optimization principles directly.

1 基因组编码布线规则和模式，然后必须实例化行为和表示。
2 CNN高度受限的布线来揭示视觉世界是平移不变的事实，灵感部分是结构视觉感受领域。
3 皮层布线的细节可能很快就会出现，并为人工神经网络提供实验基础。

Conclusion

1 智能机器必须严格地匹配人类的能力，以致只有结构类似于大脑的机器才能达到它。
2 If we want to design a system that can do what we do, we will need to build it according to the same design principles.

Boomshit

1 学习结构的学习。
2 迁移学习学习结构 转移结构。
3 先学习结构 后学习权重。
4 模拟动物学习的大小循环 后天依旧调整结构 但是幅度减小。
5 按照领域经验（动物先天约束） 构建例如CNN的规则。