回答知乎文章“如何去判断一个面试者的深度学习水平”

传统机器学习：

1. bias 及 variance的含义，并结合ensemble method问哪种方法降低bias, 哪种方法降低variance

bias: 偏差，理解为残差，离最终目标的距离 都可以

variance:方差，理解为最终训练出来的数据分布的离散程度

ensemble方法，主要分两种：bagging and boosting

显然的，以随机森林为代表的bagging方法 从算法设计的角度上就是以提高偏差为代价来降低预测值的方差

反之，以gbdt为代表的boosting方法，就是以提高方差为代价来降低预测值的偏差

单纯以rf,gbdt来讨论的话，我更愿意在分类问题中使用随机森林，回归问题中使用gbdt

当然xgboost是大杀器，哈哈哈哈

2. lr与svm的区别和联系

判别函数，目标函数，优化求解方法 三个角度来考虑区别

联系的话，我脑海里只对LR和朴素贝叶斯之间有联系哈哈哈哈。。

LR的判别函数：sigmoid化的线性回归方程

SVM的判别函数：距离可分超平面的几何间隔

LR 的目标函数：最大化对样本的归类事实的极大似然估计

SVM的目标函数：最大化样本归类事实的几何间隔(几何间隔相当于函数间隔的标准化，除了一个)

                            且带有约束条件：每一个训练样本的几何间隔必须大于等于目标几何间隔

                            最终化简为最小化 

LR的优化求解：加入了L1-norm的LR可用坐标下降的方式来求解，L2-norm及其他可用梯度下降来求解

SVM的优化求解：由于存在几何间隔的约束条件, 这其实是个凸二次规划(convex qurdratic programming)问题

                                在求解问题的时候，可抛出一个问题：什么是支持向量（嘘，就是那些等式约束成立的样本点～）

                               且在求解过程中，也需要允许少数outlier不满足约束条件，所以在几何间隔中又需要引入一个松弛变量

                                并需要对此松弛变量进行惩罚，使松弛的样本尽量少

相互之间的联系：我觉得没什么理论上的联系哈哈哈哈哈哈，主要是区别太大了

3. gbdt与adaboost的区别和联系

先说联系吧，都是booster家族，adaboost出现的更早，对当时学术界的启发性更强

同样从判别函数，目标函数，优化求解方法 三个角度来考虑区别

gbdt的判别函数：样本落在每颗树叶子结点上值的线性加和

adaboost的判别函数：样本落在每颗子树的加权平均

gbdt的目标函数：由于是叠加式的算法，目标函数只定义在第t轮，即在当前找个一个最优的树结构使得

当前的目标残差最小，其中叶子结点的值是由残差的梯度确定的～

adaboost的目标函数：在t轮，最小化指数损失函数

gbdt的优化求解:使用梯度下降进行负梯度的拟合

adaboost的优化求解：对指标损失函数进行偏导数计算即可

4. 手推svm

懒，埋个坑，以后再推。。

5.给一个算法，例如LR，问这个算法的model ,evaluate, optimization

LR的model：sigmoid化的线性回归方程

LR 的evaluate：最大化对样本的归类事实的极大似然估计

LR的optimization：加入了L1-norm的LR可用坐标下降的方式来求解，L2-norm及其他可用梯度下降来求解

6.深度学习为什么不用二阶优化

原因一：牛顿法需要用到梯度和Hessian矩阵，这两个都难以求解。因为很难写出深度神经网络拟合函数的表达式，遑论直接得到其梯度表达式，更不要说得到基于梯度的Hessian矩阵了。

原因二：即使可以得到梯度和Hessian矩阵，当输入向量的维度NN较大时，Hessian矩阵的大小是N×NN×N，所需要的内存非常大。

原因三：在高维非凸优化问题中，鞍点相对于局部最小值的数量非常多，而且鞍点处的损失值相对于局部最小值处也比较大。而二阶优化算法是寻找梯度为0的点，所以很容易陷入鞍点。

7.Batch size 大小会怎么影响收敛速度

直观上来说，batch size 太小容易没法收敛

研究表明大的batchsize收敛到sharp minimum，而小的batchsize收敛到flat minimum，后者具有更好的泛化能力。两者的区别就在于变化的趋势，一个快一个慢，造成这个现象的主要原因是小的batchsize带来的噪声有助于逃离sharp minimum。