1.分类 vs 回归
预测分类,预测值
2.p(y|x)条件概览
逻辑回归用于二分类或多分类:sigmod函数将x(负无穷--正无穷)映射到0到1,以满足概率0到1的要求,sigmod(Wx+b)
3.决策边界(decision boundary)
逻辑回归是线性分类器,由p(y=0|x)==p(y=1|x)推导出边界,即为wx+b,故为直线
4.目标函数(object function)--最大化目标函数,以求解最优解
将整个数据集中的样本均用上
逻辑回归的目标函数为MLE,最大似然函数
argmax(π(p(yi|Wxi+b)))即使π式最大的参数w,b
5.Minimizing the function
凸函数,最优化算法
循环、迭代算法
6.梯度下降与逻辑回归的求解
y(t+1) = y(t) - yita*delta-y(t)
对mle对w、b分别求导,
然后随机初始化值,循环迭代进行,直到
参数或差值不再变化(变化很小);校验集准确性发生变化,从一直变大到由大变小了
7.随机(随机选择一个样本)梯度下降法,更常用
避免每次迭代时,都需要读取所有样本数据,增加对每个样本更新参数的操作
for i in [0: t]
shuffle n个样本
for j in [1:n]
update w,b
原始的梯度下降和随机梯度下降,两个极端:batch vs single,所以有折中方案,mini batch,每次考虑一部分样本,batch的比较稳定,single的有的噪声样本会导致波动
网友评论