• ＃决策层次
  决策是指模型怎样利用输入信息得到输出

规则方法

这里所说的规则方法是指显式地使用规则，并且规则集合是由人所规定的，使用时不再变化。由于对复杂任务规则难以描述、难以覆盖复杂输入情况，因此只适用于简单，容易描述的任务。

学习方法

其实学习方法的规则集合是模型自动生成的。据此可将学习方法分为显式规则集合与隐式规则集合。-

• 隐式是指规则对于人类不可解释，这样的模型很多。因为现在的模型都是数值模型，所以规则一般隐藏于数值之中。学习方法能够通过调整数值学习到不同规则，依据大规模标记训练样本。就能学习到隐式的，对任务表现良好的规则。这就是当前的机器学习。我们人类有很多总结的规则没法“传授”给隐式规则学习模型。可以认为是两个物种之间的沟通障碍。一种比较笨的、不过可行的是通过数据进行沟通：对于一条规则，人类用其生成标记数据，把标记数据送入模型进行学习。例如图像识别中利用旋转、缩放、平移的不变性对标记样本进行扩展。这也存在问题：1. 用规则生成数据是几何增长的 2. 用数据体现规则是及其冗余并且不全面的。我们人类花费几十个世纪，不断从这复杂的世界中总结规律，就是为了利用尽可能少的规则来描述这个世界、预测未来发展。

• 显式是指对于人类可解释的。这样人类就可以直接对规则集合进行扩充和修改。这个要求比较高，目前经典模型缺乏(笔者知识范围内)。

• 信息处理层次

规则与学习方法也可以进一步体现在信息处理方式上
模型的输入信息通常是高维的，无法直接用于决策，需要进一步进行信息处理，得到对决策更加有效的信息，这就是特征，特征是模型决策的依据（输入），有效是指对不同输出的区分性，也就是模型的正确率。
特征的提取方式比决策更加难以用规则进行描述。这涉及到人类大脑的潜意识处理机制，一时无法进行解释。不过现在的机器学习方法可以自动学习到特征的提取方式（输入信息的处理方式），不过是否与人类的处理方式一样很难说。其实特征提取是条条道路通罗马，尤其对于复杂的任务，没有绝对正确的提取方法。
特征提取方式人类可以某种程度上可以传授给学习方法，一般是通过调整模型的超参数，比如信息处理的范围，或者直接告诉那些可以作为特征。也就是模型的设计上处处体现了设计者的传授方法。常说的trick，就是一些比较有效的信息处理规则。