线性单元与梯度下降

作者: 拂去烟尘 | 来源:发表于2020-07-02 21:46 被阅读0次

什么是线性单元

感知器存在一个问题，即数据集不是线性可分的时候，“感知器规则”可能无法收敛，可能永远无法完成感知器训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知机器的阶跃函数，这种感知器即为线性单元。

为了简单起见，可以设置线性单元的激活函数 $f$ 为
$f(x) = x$
这样的线性单元如下图所示：

线性单元
与感知器相比

感知器
再替换了激活函数之后，线性单元返回一个实数值而不是0.1分类。

线性单元用来解决回归问题而不是分类问题

线性单元模型

模型指的是根据输入 $x$ 预测输出 $y$ 的算法。比如，通过某人的工作年限预测他的收入。

$y = h(x) = w*x+b$

函数 $h(x)$ 叫做假设，而w、b是他的参数。

多个参数的模型就变为：

$y=h(x)=w_1*x_1+w_2*x_2+...+w_n*x_n$

本文标题：线性单元与梯度下降

本文链接：https://www.haomeiwen.com/subject/wpcdqktx.html