记初次爬虫

前天在简书看到爬虫系列http://www.jianshu.com/p/dcd6438ce4c7#，感觉很有意思，也想自己照着跑一跑。选了第三个《用Python写一个简单的微博爬虫》，按照文章操作一番，却发现没有出现自己预期的结果，大失所望，只能开始debug分析，作为一个编程小白，这个过程一点不顺利。终于在大神室友YAYA的帮助下，调通了程序。以下记录需要修改的地方。

1、初始的代码是这样的（简书原文被锁定无法查看，下面的链接是百度搜索而来）

用Python写一个简单的微博爬虫

2、需要修改的地方有三处（注意，划重点了）

1）cookie，因为我一开始没调通，第二天再次调试的时候没有更新cookie，而原先的cookie已经过期，走了一会儿弯路，此为修改一

2）urllist= soup.find_all('a',href=re.compile(r'^http://weibo.cn/mblog/oripic', re.I))

这一句也是个坑，由于图片的url一直没有抓取到，后来查看页面HTML，页面显示采用https协议而不是http，此为修改二

3）fo = open("/Users/Personals/%s"%user_id, "wb")

fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")

上面的文件保存路径给的是相对路径，看到另外一篇爬虫文章加上os.getcwd()，使用绝对路径，同时保存文件没有后缀名，最终修改如下

fo=open(os.getcwd()+"/Users/Personals/%s"% user_id +".txt","wb")

fo2=open(os.getcwd()+"/Users/Personals/%s_imageurls"% user_id +".txt","wb")

此为修改三

修改完，发现可以跑通了，真是让人高兴