Nonlinear Regression

作者: shudaxu | 来源:发表于2021-02-05 18:15 被阅读0次

对于线性回归， $y$ 能表示成变量 $\vec x$ 的一个线性变换，因此 $\vec \theta$ 直接表现为 $\vec x$ 的系数。注意，在线性回归中，只要系数是线性的就行，每一个 $x$ 可以是 $x$ 的任意无参表达式，譬如： $x^2 , e^x,\frac 1 x, ln(x)$
对于非线性回归，由于函数的形式可以是灵活的。所以要做确定性的分析比较困难。但是其中有一部分是linearlizable function，可以转化为线性问题来解决。

Linearizable

譬如： $h(x,\theta)=\theta_0x^{\theta_1}$ ，注： $\theta_2$ 是作为系数的参数
可以两边同时取ln，然后化简成：
$ln(h(x,\theta))=ln(\theta_0) + \theta_1ln(x)$
类似地：
$h(x,\theta)=\frac {\theta_1 x}{\theta_2+x}$ 可以通过求 $\frac 1 {h(x,\theta)}$ 转化
对于可以线性化的问题，理论上也不一定能直接用传统方式求解。因为其error项的假设变了[3]。所以理论上我们必须要进行residual analysis.才能使用[4]

Parameter Estimate

线性回归和非线性回归的主要差异在于求解的方法：
问题设定，最小化residual，即：
$r_i (\theta) = (y_i - f(x_i,\theta))^2$
$Residual(\theta)= \sum_{i} r_i(\theta)$
residual最小，即是 $R(\theta)$ 最小值的时，即其导数为0的时候 $R'(\theta)=0$ ，由chain rule可得：
$\frac {\partial R}{\partial \theta_j}=2\sum_i (y_i - f(x_i,\theta)) \frac{\partial f(\theta,x_i)}{\partial \theta_j}=0$ [6]
注：这里 $x_i$ 是常数

所以求解的重点在于 $\frac{\partial f(\theta,x_i)}{\partial \theta_j}$ ，对于线性模型来说，这个偏导数为自变量 $x_i$ 的函数，当结合上述equation时，就只有 $f(x_i,\theta)$ 是与 $\theta$ 相关的且其形式也很简单（线性）所以很好导出close form的解[6]。*（整个问题本质就是计算方程根的问题，而线性模型其实就是最终形式太简单，因而可以直接推导出analytical solution）
而对于非线性模型来说，不单单 $f$ 是关于 $\theta$ 的函数，这个偏导数也是 $\theta$ 与 $x_i$ 的函数，整个式子形式会很复杂，所以一般就算我们能将formula符号化并进行一些化简，也很难直接计算出解析解。所以对于这类问题主要是iterative base的数值迭代算法：譬如Gauss-Newton Algorithm[5]等， $\theta_{j}^{k+1}$ 取决于 $\theta_{j}^{k}$ 与 $x$ ， $\theta$ 选取一个初始值来迭代求解（当然，Linear也可以用迭代的方式求解，但是NonLinear一般都没有解析解）

Refer:
[1]:software:1stopt
[2]:Introduction to Nonlinear Regression
[3]:Introduction to Nonlinear Regression 1:i The Statistically Complete Model
[4]:当然，对非homoscedasticity的数据，可以用WLR
[5]:https://zhuanlan.zhihu.com/p/38185542
[6]:对比Linear有OLS estimator对应close form的唯一解。而Nonlinear: https://en.wikipedia.org/wiki/Non-linear_least_squares，
关于close form的推导，也可以直接用newton equation求得：
https://stats.stackexchange.com/questions/493173/regularised-linear-regression-with-newtons-method
或者直接见OLS estimator的推导，即是这个gradient=0（本身convex），详见：https://en.wikipedia.org/wiki/Ordinary_least_squares
以及ridge estimator
https://www.statlect.com/fundamentals-of-statistics/ridge-regression

Nonlinear Regression

Linearizable

Parameter Estimate

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

机器学习-算法理论