XgBoost
1. 从哪几个方面实现并行化
答：在特征粒度上实现并行。迭代开始前对所有候选特征进行一次预排序，以column block的结构（feature value-gradient for each example）存储，节点分裂式可以直接用索引得到梯度信息。
2. 如何确定树的颗数，以及单颗树的深度
答：xgboost有一个非常有用的cv函数可以用于交叉验证并能返回最终的最优树的数目
单颗树深度可以通过max_depth或min_child_weight控制
4. 为什么不需要做归一化处理，什么样的模型需要归一化处理
答：XgBoost的基分类器是CART树，树模型是通过特征值排序后来寻找最佳分割点，而归一化只起到缩放作用，不影响排序结果。
一般来说，模型求解过程需要用到梯度下降算法的，输入都要归一化，当不同维度的特征量纲差距较大时，损失函数的等高线是椭圆，不利于梯度下降寻找最小点，迭代次数较多。
4. 和GBDT的区别
答：从代价函数的展开、特征并行化、控制过拟合、可选基分类器、缺失值处理等角度来讲
5. 单颗树有几种分裂方式，是如何寻找最优切割点的，生成每颗树的伪代码
答：两种，精确方法和近似方法。精确方法会遍历在每个特征上遍历所有特征值计算最优分割点，近似算法使用分位数的思想，利用每个样本的二阶导数和来确定分位点。
6. XgBoost各个参数（alpha、lambda、gamma）的意义
7. 如何确保特征之前没有强共线性，Xgboost能消除特征共线性吗，为什么能。
答：可以简单的从模型的稳定性角度来检验。
模型建好后 ，可以用不同的测试样本验证模型效果，如果评估指标有较大波动，说明不稳定；或者做cross_validation，如果重要特征重合度不高，也说明不稳定。
Xgboost一定程度上可以消除共线性，因为代价函数里包含了类似Ridge Regression的二阶正则项，约束了叶节点权重值大小，保证权重方差不会过大，并且惩罚稀疏越高，共线性的影响也越小。
LSTM
1. 假设样本输入维度为M，隐藏层有H个cell，LSTM有多少个参数
LSTM在时间维度上学习的参数是什么
分别写出输入门、输出门、遗忘门、细胞状态的计算公式
答：显式的讲，学习的是三个门(sigmoid)流入、流出信息的比例，其实根据各个门及cell_state的计算公式：
则是由
和
共同决定的：
学习的是四个门控单元中的参数矩阵，因此每个细胞单元中会有
3. LSTM相对于RNN有哪些改进，是怎么改进的
答：从梯度消失和梯度爆炸的角度解释。
5 LSTM的输入形式是什么样的
[n_batches, n_steps, n_input]
神经网络
1. batch normalization的作用
每个batch的的数据训练完毕后，参数就会更新一次，导致每个batch数据分布也随之改变，
这样每次迭代网络拟合的都是不同分布的数据
针对每一batch的样本，在网络的每一层输入之前增加归一化操作，将所有批数据强制统一在同一分布下，从而增加了模型的泛化能力（不受数据分布限制）。但归一化后的数据整体处于激活函数sigmoid的非饱和区域，相当于线性变换，破坏了之前学习到的特征分布，因此又引入了两个可学习参数分别表示输入数据的偏差和方差，
，用于恢复原来的数据分布。
2. dropout为什么能解决过拟合问题
dropout作用于每份小批量数据上，每次迭代都已一定的概率p随机丢弃一部分神经元，相当于每次迭代都在训练不同的网络。drop可以看成轻量级bagging集成近似，能够实现指数级数量神经网络的训练和测试。
对于N个节点的网络，每个节点都有两种可能（丢弃或加入），由组合的思想，加入了dropout的网络可以看成是个子网络的集成。
3. 梯度消失和梯度爆炸的原因
梯度消失的原因：
激活函数选择sigmoid或tanh时，由于两者的函数域分别在[0,1]和[-1,1]之间
根据反向传播推导公式，以及
可知，当神经网络过深时， 会趋近于0
改进方法是引入ReLU系激活函数。
梯度爆炸的原因：
同样的道理，但不是非常难解的问题 ，只需要梯度裁剪或后优化算法即可。
4.
Random Forest
1. RF如何评估重要特征
Decrease GINI和Decrease accuracy
后者详细方法：
对于随机森林中的一颗决策树，其训练数据集是使用Bagging方法得到的，即套袋法，还有大约1/3的袋外数据我们可以用它进行特征重要性的度量，假设针对某个特征X，我们利用套袋法建立了一颗决策树T，然后用T对袋外数据TOOB进行分类检测，得到其正确分类的个数XT，然后对袋外数据的特征X进行“随机扰乱”，对特征X的取值赋予随机取的新数值，这时再用T对袋外数据TOOB'进行分类检测，得到正确分类数XT'，这时对于T来说，特征X的重要性D=|XT' - XT|，我们对随机森林中共N颗决策树做相同操作，可以得到N个特征X的重要性，取其均值作为X的重要性度量，即D(X) = (D1+D2+......+DN)/N,其中Di = |XT'i - XTi|(i=1,2,3,....,N)。
2.
特征工程
1. 特征选择的目的：
当样本和特征的比例小于一定阈值时，需要减少特征数量、降维，使模型泛化能力更强，减少过拟合；另外就是加强对特征和特征值的理解
2. 特征选择的方法：
Filter：从卡方检验（离散变量）、互信息、相关性（连续变量）、熵、方差等角度去选择，一般都是在特征值和Label之间计算。
Wrapper：通过评价指标（AUC等）的来决定是否加入一个变量子集，不推荐，工程量大
Embedding：利用树模型或L1正则、LR权重向量选择重要特征
除了以上三种方法，还可以从样本子集（训练集和测试集）稳定性等角度考虑。
3. 数据预处理从哪几个方面进行
① 缺失值填充
首先，如果缺失值太多的话，倾向于直接去掉该特征。
对于连续值：可以用均值、中位数、最大最小值等，对于离散值：一般用众数
② 归一化、标准化（参数优化过程使用随机梯度下降方法的模型）
③ 二值化、连续特征离散化（对于线性回归、LR、决策树这种模型来讲）
4. 特征比数据量还大时，选择什么样的分类器？
线性分类器，特征维度高意味着样本在特征空间中分布比较稀疏，容易找到线性决策边界
5. 给你一个有1000列和1百万行的训练数据集。这个数据集是基于分类问题的。
分别从样本、特征、模型复杂度的角度去考虑。尽量选择线性模型。
建模相关
1. AUC的物理意义
AUC反应的是分类器对样本的排序能力。根据这个解释，如果我们完全随机的对样本分类，那么AUC应该接近0.5。另外值得注意的是，AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。
2. 你会在时间序列数据集上使用什么交叉验证技术？是用k倍或LOOCV？
都不能用，这两种方法会破坏时间趋势，用过去几年的数据验证模型显然是不对的，可以采用如下所示的5倍正向链接策略：
fold 1 : training [1], test [2]
fold 2 : training [1 2], test [3]
fold 3 : training [1 2 3], test [4]
fold 4 : training [1 2 3 4], test [5]
fold 5 : training [1 2 3 4 5], test [6]
3.
网友评论