说明：问题主要来自牛客网面经。

LR 专题

1 讲一下逻辑回归，及优缺点

2 用代码写出LR的损失函数（目标函数），损失函数如何推导？

3 LR的优化方法及区别，梯度下降有哪几种

4 LR的思想 LR对输入和输出的分布假设

5 LR可以用来处理非线性问题么？ 怎么做？ 可以像SVM那样么？ 为什么？

6 LR模型为什么采用似然估计？

7 LR为什么要用对数似然，不用平方损失和绝对值之类？平方损失是不是凸函数？

8 线性回归和逻辑回归的不同？

输出：前者可以拟合数据，输出范围可以任意，后者主要是二分类，输出属于每类的概率，输出在0-1之间

9 比较lr和svm

10 softmax公式，编写函数计算softmax中的cross entropy loss

11 逻辑函数是啥

12 LR为什么要用logistic函数？ 该函数优缺点？为什么不用其他函数？

SVM专题

1 介绍svm

2 svm推导 软间隔问题

3 原问题和对偶问题，关系？ KKT限制条件？ 为什么转化为对偶问题

4 为什么要除以||w||，为什么优化问题中间隔γ可以取1

5 核的概念，为什么用核函数？ 有哪些核函数？如何选择？

6 svm有哪几个比较大的特点？ 线性不可分怎么办

7 SVM 为什么引入拉格朗日优化方法

8 怎么去优化SVM算法模型？

9 SVM如何处理多类问题

10 能做回归么？ 怎么做？

11 svm和LR区别 及对离群值的敏感度分析

12 svm LR gbdt rf的区别

13 svm与感知器的联系和优缺点比较

14 线性核 高斯核哪个model更小？

15 SVM函数间隔、几何间隔是什么？

16 高斯核deta变大，整个模型是过拟合还是欠拟合

17 模型训练后，需要存储哪些参数

过拟合 正则化专题

1 什么是过拟合，怎么判断是否过拟合

2 怎么减少或防止过拟合

3 什么是正则化 L1 L2范数区别是什么？ 各用在什么地方

4 ridge和lasso有什么区别？

5 L2范数为什么可以防止过拟合？ L1范数为什么权值稀疏？

6 概率论角度解释正则化

7 L1正则怎么处理0点不可导的情形？

8 L1和L2正则项，加哪个可以用核

集成学习专题

1 决策树算法？

2 什么是熵？ 信息熵公式

3 信息增益公式及意义？

4 决策树处理连续值的方法

5 如何判断决策树及随机森林过拟合

6 介绍决策树 三种决策树区别和适应场景

7 说说决策树，决策树节点按照什么分裂，如何优化决策避免过拟合；

8 随机森林算法？优缺点？

9 随机森林损失函数？

10 随机森林怎么取最终结果 （分类与回归不同）

11 随机森林怎么避免ID3算法增益的缺点

12 防止随机森林过拟合？ 为什么有放回采样？

13 了解Boosting么

14 gbdt树根据什么分裂？ 怎么并发？

15 你觉得为什么gbdt的boosting体现在哪里。

16 随机森林节点的分裂策略，以及它和gbdt做分类有什么区别？哪个效果更好些？为什么？哪个更容易过拟合？为什么？

17 介绍xgboost原理一下。写下xgboost目标函数。

18 讲讲xgboost怎么用以及常用参数

19 xgboost对特征缺失敏感吗，对缺失值做了什么操作? 哪些模型对特征缺失敏感，哪些不敏感

20 LR RF GBDT 损失函数解释

21 达到相似的预测结果，RF和GBDT哪个树深

22 Bagging和bosting、GBDT 区别

23 Adaboost 随机森林区别？

24 GBDT 随机森林区别

25 GDBT和XGBoost的区别

26 C4.5 ID3 优缺点

27 决策树如何防止过拟合

聚类专题

1 k-means两个关键点（初始类心、k的选择）？原理？优缺点？ 改进？

2 Em kmean 的关系

3 适用什么样数据集、怎么评价 Kmeans 聚类结果

4 其他聚类算法

5 k-means 聚类个数选择？

6 模糊k均值优点

7 Kmeans中，现在给你n个样本点不在欧式空间中，无法度量距离。现在给了一个函数F，可以衡量任意两个样本点的相似度。请问Kmeans如何操作？

最优化专题

1 梯度下降法，及其优缺点

2 梯度下降法的原理以及各个变种，这几个方法会不会有局部最优问题

3 讲下拟牛顿法

4 牛顿法原理和适用场景，有什么缺点，如何改进

5 说说牛顿法与梯度下降比较

其他

1 离散傅里叶变换公式

2 泰勒展开怎么写

3 监督学习与非监督学习区别

4 评价函数及标准，说说AUC曲线、PR曲线、准确率、召回率解释一下

5 特征降维

6 特征缺失，不用说求均值之类的填补方法，用LR、RF去预测缺失值，哪个好

7 不变动模型和参数，只对数据来说怎么减少过拟合

8 讲k-fold CrossValidation

10 有一百个数，随机选取数字让其均匀分成十份，不允许有一次碰撞

11 训练时要分为train、validation、test三部分，分成train、validation不就够了吗？

12 有没有做过特征工程

13 如何用尽量少的样本训练模型，同时保证性能

14 结合实际场景，解决海量图片中搜索相同图片和相似图片问题？ 实时 转化为二值序列？

15 假设加了很多很多负例，auc和prc哪个对此不敏感

16 一枚硬币，扔10次，4次正面朝上，求它的最大似然估计

17 数据类别不均衡的处理方法

18 评价指标宏平均和微平均

19 输入层特征归一化？ 为什么？

1 L0、L1、L2范式，他们的作用

2 KNN算法如何决定k值？ k对偏差方差的影响？

3 Boost算法，手写adaboost流程，主要计算误差、分类器系数、权值更新

4 各种分类算法适合场景，优缺点？

5 线性回归的损失函数

6 讲讲机器学习中常用的损失函数有哪些？交叉熵有什么好处？

7 朴素贝叶斯，先验、似然和后验分别是什么