今天开始第一次写学习方面的日记，并不是对过程的完整阐述，只是简单的总结。
另外，该笔记是写给我自己看的，内容方面可能不太适合其他人，希望多多包涵。
学习过程中，发现听完了并不能很深刻地理解，于是决定每一次的算法都自己手写实现，以简单的例子上手，进而写出比较复杂的公开课上给出的题目。
所谓机器学习？
以房价为例子：
输入变量（特征）X：
给出面积，卧室数量，位置等等
输出Y：
房价
输入与输出数据集
以这些数据集为基础，然后我们给出一条方程式来最大程度地拟合这些数据集。
之后我们给一个输入（面积，卧室数量等等），我们就可以通过上面的方程式直接给出输出（房价）了。
这就有点【通过数据集给出功能函数，之后就可以通过这条函数来预测任意输入对应的输出】的味道了，哈哈，是不是很激动。
（TMD为什么不用最小二乘法呢？？后面才发现，其实这只是其中一种算法，实际中可以采用的算法是多种多样的。最小二乘法当然也可以啦）
几个通用的符号：
-m =训练样本数
-x =输入变量（特征）
y =输出变量（目标变量）
-(x,y) –一个样本
-Ith-第i个训练样本=（x(i),y(i)）
-n=特征数目
实际运用中会有很多的输入变量，上面的例子中用线性方程来拟合。
于是先假设了线性的方程，有几个未知的参数，最终目标就是求出最棒的参数来！
梯度下降
这是一个最优化算法，目标是为了找到使我们的训练集的方差最小的参数。
梯度嘛，我们都懂，增加最快的方向。
这里用MATLAB求解Y=X^2的最小值为例子来加深理解。
（目标函数：Y=X^2 变量：X）
MATLAB代码如下：
syms x;
y=x^2;
x=2;k=0;step=0.1;
ezplot(y,[-3,3,0,6]);
f_current=x^2;
f_change=1;%这个值是随意的
fprintf('最开始f_current:%.5f\n',f_current);
fprintf('最开始f_change:%.5f\n',f_change);
hold on;
while abs(f_change)>0.0000001
f_current=x^2;%先计算当前值
x=x-step*2*x;%然后把我们的x下降一下~
f_change=f_current-x^2;%再算一下改变的值
fprintf('第%d次改变后的x:%.10f 改变后的y:%.10f\n',k+1,x,x^2);
%把每一次下降都输出在屏幕上
plot(x,x^2,'ro','markersize',5);
drawnow;%matlab在输出多个plot时不会多次刷新，加入drawnow后就可以
pause(0.2);%延时0.2秒
k=k+1;
end
fprintf('此时相邻两个点的改变量为:%.10f',f_change);
hold off;
输出结果图：
命令行窗口的输出
图像
所以，同理，对于我们的房价输出方程也是一样的，只是把Y=X^2换成方差函数而已。
这里由于数据集不足，便于编写代码，所以我们只考虑了一个特征，样本数量也只有6个。
不过没有关系~因为其实理解了最简单的，更复杂的也大同小异啦。
MATLAB代码如下：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房价数据集的矩阵
syms x a b;
step=0.00000001;%step取0.00000001
V=0;
hold on;%让屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循环以输出数据集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在输出多个plot时不会多次刷新，加入drawnow后就可以
pause(0.2);%延时0.2秒
end
for i=1:5%求得方差的表达式
V=V+(a+b*A(i,1)-A(i,2))^2;
end
V=0.5*V;
g=matlabFunction(V);%转函数
dda=diff(V,a);%a的偏导数
ddb=diff(V,b);%b的偏导数
g_da=matlabFunction(dda);%将表达式转化为函数
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
g_change=1;%这里定义的将是我们某一次下降的目标函数变化量，初始化为1（其实这个数值无所谓，只要大于0.001就可以了）
g_current=g(0,0);
k=0;
while abs(g_change)>0.001
a1=a1-step*g_da(a1,a2);
a2=a2-step*g_db(a1,a2);
g_change=g_current-g(a1,a2);
g_current=g(a1,a2);
k=k+1;
fprintf('第%d次: %.5f\n',k,g(a1,a2));%输出迭代的次数以及方差的数值，便于理解
end
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%输出最终的直线
hold off;
输出结果图：
输出图像
迭代次数与方差值
如果把每一次的直线输出，就是这样子的：
实时输出逼近的直线
什么时候退出循环呢？当某一次下降的幅度（函数值的差）足够小的时候就可以了。
（由上面的图可以看到，在36次时退出了循环，因为该次下降相邻两点对应的方差值之差已经很小啦~）
（这里其实有一个疑问，其实本质不就是求解函数的最小值吗？为什么用这么麻烦的算法？求出所有的极值点，进而求出最小值不就好了？...后面才发现，确实可以，并且会给出完整的做法以及MATLAB程序）
随机梯度下降
批梯度下降的缺点。。
当我们的样本数量太大了的时候，嗯，每一次求方差都需要求每一项的样本与预测值的差，这个计算量是我们承载不了的。
同样，样本数量和特征的数量都很大时，计算量也会非常大。
所以呢需要新的算法：就是随机梯度下降
随机梯度下降表达式
每次计算不需要再遍历所有数据，而是只需计算样本i即可。
即批梯度下降中，走一步为考虑m个样本；随机梯度下降中，走一步只考虑1个样本。
每次迭代复杂度为O(n)。当m个样本用完时，继续循环到第1个样本。
增量梯度下降算法可以减少大训练集收敛的时间（比批量梯度下降快很多），但可能会不精确收敛于最小值而是接近最小值。
由于是第一次接触机器学习，对什么都不熟悉，所以我把每一次的算法都自己实现一遍，加深理解。
MATLAB代码：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房价数据集的矩阵
syms x a b x1 y1;
step=0.000000001;%step取0.00000001
hold on;%让屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循环以输出数据集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在输出多个plot时不会多次刷新，加入drawnow后就可以
pause(0.2);%延时0.2秒
end
M=0;
for i=1:5%求得方差的表达式
M=M+(a+b*A(i,1)-A(i,2))^2;
end
M=0.5*M;%是方差的值
m=matlabFunction(M);%转函数
V=0.5*(a+b*x1-y1)^2;%V是某一项的差值的平方
g=matlabFunction(V);%转函数
dda=diff(V,a);%V对a的偏导数
ddb=diff(V,b);%V对b的偏导数
g_da=matlabFunction(dda);%将表达式转化为函数
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
m_change=1;%这里定义的将是我们某一次下降的目标函数（方差）变化量，初始化为1（其实这个数值无所谓，只要大于0.001就可以了）
m_current=m(a1,a2);
k=0;
while 1
for i=1:5
c1=g_da(a1,a2,A(i,1),A(i,2));
c2=g_db(a1,a2,A(i,1),A(i,2));
a1=a1-step*c1;%下降a1
a2=a2-step*c2;%下降a2
m_change=abs(m_current-m(a1,a2));
m_current=m(a1,a2);
k=k+1;%记录迭代的次数
fprintf('第%d次: %.5f\n',k,m(a1,a2));%输出迭代的次数以及方差的数值，便于理解
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%实时输出图像
drawnow;%加上drawnow之后每一次ezplot都实时显示
if m_change<0.0001
break;
end
end
if m_change<0.0001
break;
end
end
hold off;
迭代次数-方差
实时输出的图像
在运行程序过程中，发现step的设置非常重要，设置太大根本无法拟合到我们想要的无法范围内；设置太小则下降得太慢。
而且在这个例子中，程序运行了5分钟才输出最终的图形，而采用批梯度下降算法一瞬间就可以给出图形...
这是为什么呢？因为随即梯度下降的优点只有在数据集特别大的时候才能体现出来，我们这里只有5个输入...所以当然下降得很慢。
另外，我们这里用的是随机梯度下降的最简单的形式，也就是每次只用一个输入来考虑,所以这也是可能的原因之一。
正规方程组
正规方程组表达式
这里略去推导证明的过程，其实思想就是我上面所说的，梯度为0时（梯度和我们一元函数的导数很类似，极值点就在导数为0的地方取到）就是极值点，对于单变量的房价问题来说就是最小值点，所以可以由这一点求出theta(也就是我们线性函数的几个参数值)。
由这个方程给出的theta值并不是逼近，而是精确的最小值。由此可见数学学好有多么重要（捂脸哭555），不然梯度下降算法写的多好，人家只需要一条等式就搞定你了（233）。
这里同样给出matlab实现：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];
X=[1,2104;1,1600;1,2400;1,1416;1,3000];
Y=[400;330;369;232;540];
hold on;
for i=1:5 %for循环以输出数据集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在输出多个plot时不会多次刷新，加入drawnow后就可以
pause(0.2);%延时0.2秒
end
t=inv(((X.')*X))*(X.')*Y; %其实重点就这一行而已....(求心里阴影面积)
syms x;
y=t(1,1)+t(2,1)*x;
ezplot(y,[1200,3200,0,550]);
hold off;
输出的图像
这里有趣的一点是，我们由正规方程组求出的方差最小值是3124.5，而之前梯度下降算法求出的方差值是3246.7。由此可见在房价问题上，正规方程组是全面优于梯度下降算法的。
参考博客：http://blog.csdn.net/crcr/article/details/39481307
吴恩达老师的公开课网址：http://open.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html
网友评论