任何一个算法首先要j建模(假设一个函数空间)
y = wx + b w和b是未知的
然后通过一种机制利用训练数据选择一个最优的函数f出来
利用损失函数
1.构造函数
使损失函数最小
两个方法求解:a.最小二乘法(损失函数是一个二次函数) b. 梯度下降
牛顿法(求二阶导)
过拟合 某些特征的权重过大
L2正则 岭回归
在原来最小二乘估计中,加入一个小扰动 ,使原先无法求广义逆的情况变成可以求其广义逆,
岭回归可以让系数变小 避免过拟合
拉索回归可以进行特征选择, 可以让一些特征权重为0 所以可以用来做特征选择
多项式回归 (核的思想)
慎用二阶
阶数不能过大
意义在于提高模型复杂度
神经元 就是逻辑回归
为什么要用激活函数,将线性关系转化成非线性
penalty 正则化
并
网友评论