“回归”的理解

01

神经网络是一种非线性回归

之前一直认为，多元线性回归是回归，神经网络、SVM等是另外一类的数据分析算法。

近期，认真学习神经网络等算法的底层数学表达原理的时候，才明白：神经网络是一种非线性回归。

02

回归

回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。

回归分析是一种数学模型。当因变量和自变量为线性关系时，就是线性回归。 最简单的情形是一元线性回归，模型是Y=a+bX+ε（X是自变量，Y是因变量，ε是随机误差）。

03

统计学与机器学习中“线性回归”的差异

人工神经网络是机器学习的一个重要算法，他构建的实际上是一个非线性回归函数。值得注意的是，人工神经网络更多关注在自变量和因变量之间的关系（模型），更多关注该关系（模型）与在另一组实验条件下（测试数据集）系统的输出准确率，而不关注目标系统的内部结构，所以没有统计学中的假设检验方面的内容。

统计学中的回归分析更关注与目标系统的内部结构。