哲哲的ML笔记（一到九小结）

哲哲的ML笔记（一到九小结）

作者: 沿哲 | 来源:发表于2021-03-20 16:10 被阅读0次

哲哲的ML笔记（一到九小结）
哲哲的ML笔记（九：正规方程）
哲哲的ML笔记（二：模型）
哲哲的ML笔记（四：矩阵）
哲哲的ML笔记（三：梯度下降）
哲哲的ML笔记（七：学习率）
哲哲的ML笔记（十八：反向传播）
哲哲的ML笔记（十一：决策边界）
哲哲的ML笔记（十四：正则化）
哲哲的ML笔记（十九到二十一小结）

一到九部分学习的主要内容是线性模型与代价函数
$J(\theta)=\dfrac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta( x^i)-y^i)^2$
但通常处理数据时不是单独一个样本，而是将所有样本及其特征存储到矩阵中
比如样本矩阵 $X$ 存储城市的人口
$\begin{equation} X = \left[ \begin{array}{ccc} 6 \\ 5 \\ 8 \\ … \end{array} \right] \end{equation}$
y存储一辆食物卡车一天的利润
$\begin{equation} y = \left[ \begin{array}{ccc} 17 \\ 9 \\ 13 \\ … \end{array} \right] \end{equation}$
参数 $\theta$ 矩阵为
$\begin{equation} \theta = \left[ \begin{array}{ccc} \theta_0 \\ \theta_1 \end{array} \right] \end{equation}$

给 $X$ 矩阵新增一列1，原因参照（九：正规方程）
$\begin{equation} X = \left[ \begin{array}{ccc} 1& 6 \\ 1& 5 \\ 1&8 \\ … \end{array} \right] \end{equation}$

此时 $J(\theta)=\dfrac{1}{2m}(X\theta-y)^2=\dfrac{1}{2m}(X\theta-y)'(X\theta-y)$
由 $\theta_j=\theta_j-\alpha\frac{\partial}{\partial \theta_j} J(\theta)$ ，可得
$\theta=\theta-\alpha\frac{\partial}{\partial \theta} J(\theta)=\theta-\dfrac{\alpha}{m}X'(X\theta-y)$

其中梯度是 $\dfrac{1}{m}X'(X\theta-y)$ 维数是(n+1)m m(n+1) (n+1)*1=n+1，即样本的特征数+1

相关文章

哲哲的ML笔记（一到九小结）
一到九部分学习的主要内容是线性模型与代价函数但通常处理数据时不是单独一个样本，而是将所有样本及其特征存储到矩阵中比...
哲哲的ML笔记（九：正规方程）
到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案正规方程是通过求解 ...
哲哲的ML笔记（二：模型）
1. 参数设定：训练实例数：输入变量/特征：预测的目标变量：一个训练样本：第 i 个训练样本：hypothesi...
哲哲的ML笔记（四：矩阵）
此处简略了很多内容，实际课程中讲得很细、很基础矩阵乘法性质 1.不满足交换律：满足结合律：转置、逆没有逆矩...
哲哲的ML笔记（三：梯度下降）
1. 前提回顾已知：代价函数，希望找到对应的参数使得最小思路：令从任意值开始（一般设置为=0）；每次微小改变直到...
哲哲的ML笔记（七：学习率）
代价函数-迭代次数梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和...
哲哲的ML笔记（十八：反向传播）
正向传播在之前介绍的通过神经网络预测结果，我们使用的其实是一种正向传播方法，从第一层开始正向一层一层进行计算，直...
哲哲的ML笔记（十一：决策边界）
决策边界根据函数表达式和图像，可以得到则假设有这样一个模型并且参数是向量[-3 1 1]。则当，即 ...
哲哲的ML笔记（十四：正则化）
过拟合的表现如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但...
哲哲的ML笔记（十九到二十一小结）
高方差和高偏差的解决方案我们已经介绍了怎样评价一个学习算法，我们讨论了模型选择问题，偏差和方差的问题。什么情况下...

网友评论

本文标题：哲哲的ML笔记（一到九小结）

本文链接：https://www.haomeiwen.com/subject/icjwcltx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|哲哲的ML笔记（一到九小结）|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！