没错啦，就是Coursera上吴恩达的课。什么，第一篇笔记为啥从第二周开始？不好意思啦，第一周都在笔记本上呢，还没开简书哈哈哈～
多变量回归
第二周V1-V2首先讲了Multiple feature的线性回归梯度下降方法，其实就是多变量函数，大概用到求偏导之类的简单推导即可得到通式，和单变量是一致的。
V3则是说明多feature的情况下，scaling类似非常重要，feature之间相对一致的scaling可以加快梯度下降的迭代速度。实现这一点只要做些normalization之类的统计处理即可，与气象上的变量标准化的思路是一样的，距平除以数据的range或者标准差。
V4首先介绍如何检测正在执行的梯度下降是有效的，很简单，把cost function的值在每轮iteration后拿出来看看就可以啦，在一定迭代次数后cost function收敛到某值即可。当然也可以使用automatic convergence test，就是看每轮梯度下降对cost function的减少是否低于某阈值。之后则是介绍如果发现cost function出现了随着迭代次数增加而发散或周期性振荡的情况，则需要调小learning rate（传说中的调参民工干的事情么）。这和气象模式积分不稳定的时候需要调小积分步长类似，有着一致的出发点和处理思路。当然，随之带来的则是计算量的显著提升。Andrew随后给出了实际应用中他所采取的方法，给一个等比数列的alpha，大概按3x增加，然后都来train一遍，最后选个收敛相对快且足够小的alpha即可。
V5讲了多feature的选择问题，这对建模是非常重要的，也说明背景领域知识的重要性。Andrew举了个具体的例子，比如在有了house长和宽两个指标的情况下，预测房价显然用长宽的乘积，也就是面积，作为新的feature是更合理的。同时，若feature和房价的关系更可能是多项式关系，三次回归显然比二次回归合理，因为二次回归抛物线性质会使得feature大的时候price反而减小，这是不合常识的。当然更合理的假设可能是下面的形式：
当然形式本身并不反映mechanism，我们的目标是凑出最有效的预测嘛。
多项式回归依然采用梯度下降处理（体现出梯度下降相比最小二乘的优势了吧），只是要注意scaling非常重要，因为feature的高次幂值域会显著扩大。
Normal Equation
好吧刚刚怼了最小二乘这里就介绍了。以一阶线性回归为例，求导，set=0，得到解析解。一般化的，对于theta0-n共n+1个feature，构建design matrix X，转置观测列向量并依观测放入X的每一行即可，即m观测行乘以n特征列矩阵：
y则是对应label的列向量。
然后Andrew直接给出了求theta的Normal Equation:
视频中没有给出推导过程，自己试着推导了一下，对cost function求导并set为0向量。还是需要用到一些矩阵运算的性质（好了，不要吐槽我autodraw的清奇画风）：
用Normal equation的话不需要考虑scaling的问题, which is nice。Andrew对梯度下降和NE的优缺点做了个很好的对比：
划重点，由于NE的时间复杂度是O(n^3)，n如果很大，也就是说feature很多的话，NE会很慢，n~10^6必然要使用GD啦，Andrew建议10^4以上采用GD。另外对于clustering类的问题，NE是无效的，GD无敌。
V2介绍NE的noninvertibility的问题。如果X'X是不可逆的话，比如是singular或者degenerate矩阵。Andrew没有讲具体数学细节，而是给出实际应用中出现这样情况的可能情形：
1. redundant features 存在冗余特征。
2. 观测样本太少，而feature太多。
Octave/Matlab Tutorial
来来来，一起复习下matlab语法与交互式操作
2==4
3~=4 注意不是!=
1 && 0 ; 3 || 3; xor (1,0)=1
预定义常量 pi
disp(sprintf('2 decimals: %0.2f', a))
v=1:0.1:2 % from 1 to 2, step 0.1
ones(2,3) % 2x3
zeros(); rand(); randn() % normalized distribution
生成高斯样本：
对角矩阵 eye(n)
size(ones(2,3))
2 3
A=[1 2; 3 4; 5 6]
load('xxx.dat')
who %返回目前内存中的变量
whos %列表化变量
clear A %删除变量
save hello.mat v; %保存目前的交互中使用的内存变量v
subset就不记录了。
append操作
A=[A, [22,33,44] %列向量append
[A B] %行拼接(横向)
[A B] %列拼接(纵向)
A' % transpose A
[val, ind] = max(A)
find(a<3)
sum(a); prod(a)
max(A,[],1) %max among each col
max(A,[],2) %max among each row
flipud(A) %上下翻转
pinv(A) %pseudo求逆
print -dpng 'test.png'
clf %clear all figures
imagesc(A) % gridfilling show the matrix
Vectorization:
当然要向量化操作啦～
所以update假设的向量化非常简单
quiz里注意一下，矩阵按位取平方与矩阵平方是不同概念
A^2 ~= A.^2
编程大作业就实现梯度下降求线性回归啦。submission system还是很牛的，提供邮箱和coursera的token就可以自动上传评分，没想到我这个audit还可以交作业，不错不错。
当然additional也要做得啦
不是总结的总结
第二周感觉还不算难，基本概念还是够用的，只是线性代数不少忘记了，matlab的函数也不太熟悉，向量化操作还要脑补半天矩阵图景。视频1.25x播放速度基本可以接受，讲程序的时候不需要subtitle，慢慢试着讲课也去掉subtitle吧，其实主要是一些符号的名词不熟悉，比如semicolon 什么的要反应半天。toggl记录的总用时如下：
五小时17分，基本都是在今天完成的啦。视频+笔记+编程作业，这个时间还算满意，再接再厉。
网友评论