今天在翻看Evernote的笔记时，看到之前剪辑的一位加国移民文章颇为有趣和实用。于是心血来潮，写个爬虫把所有文章都保存下来，哪知道过程中遇到了各种无奈问题，遂写篇博客以记录学习过程。
坑1：bs4的局限性
打算爬的这个新浪博客，原始URL如下：
rootURL = 'http://blog.sina.com.cn/s/articlelist_1750617077_0_1.html'
用浏览器查看了一下get下来页面的html，里面很标准的用<a标签包含了每篇文章的链接。
之前有用BeautifulSoup和Requests的经验，因此很自然的准备用上这两个工具，利用bs4的解析标签能力，把所有的uri全部提取出来
from bs4 import BeautifulSoup
import requests
r = requests.get(URL)
html = r.text
bs = BeautifulSoup(html).find_all('a')
for u in bs:
uri = item.get('href')
然而，想象很美好，现实很骨感。拿到的uri是None，也就是说，毛都没有解析出来。这可有点奇怪了，遂想起bs4的一些局限性，仔细对照了一下博客的html源码，原来<a全部包含在js里了，难怪bs4毫无作用（坑1：bs4对包含在js里的标签毫无卵用）。
坑2：中文乱码
既然bs4对这个博客无法作用，只有采用方案2：正则表达式。
根据html源码，写出正则：
re_blogs = 'target="_blank"\s*href="(.+.html)">(.+)</a></span>'
用正则parser html的函数：
def parseHtml(RE, URL):
RE_STRING = RE
try:
req = requests.get(URL)
html_doc = req.content
info = re.findall(RE_STRING, html_doc)
return info
except Exception as e:
print(e)
return None
这下总可以了吧？结果，依然没有拿到所有的uri。一度怀疑是自己的正则写错了，可是反复用在线正则工具进行比对，都没有问题。此时博主心中已经一千头草泥马跑过了，设断点debug！结果发现问题出在了req.content问题上，其赋给html_doc的中文部分是乱码，所以导致re.findall出错。查看了百度上的一些解释，猜测是encode格式的问题，加了如下一个debug flag：
req = requests.get(URL)
print(req.encoding)
html_doc = req.content
果然，print出来的是一种ISO-8859-1的格式，时间关系也没深究了，直接转utf-8搞起
def parseHtml(RE, URL):
RE_STRING = RE
try:
req = requests.get(URL)
html_doc = str(req.content,'utf-8')#就是这里改动了一点点
info = re.findall(RE_STRING, html_doc)
return info
except Exception as e:
print(e)
return None
此时终于把所有的uri取出来了！
坑3:file.write()乱码##
继续完善代码，主要考虑到翻页如何实现，继续用万能的正则：
设计提取下一页的正则表达式;
re_next_page = '<a\s*(href=".+.html)"\s*title=".+">\d</a>'
由于新浪博客实在是格式不规整，html源码里缺少换行符，原本应该正常解析成3个的翻页url，愣是被搞成了一个连在一起的四不像，如下这样：
href="http://blog.sina.com.cn/s/articlelist_1750617077_0_2.html" title="跳转至第 2 页">2</a></li><li><a href="http://blog.sina.com.cn/s/articlelist_1750617077_0_3.html" title="跳转至第 3 页">3</a></li><li><a href="http://blog.sina.com.cn/s/articlelist_1750617077_0_4.html
只好继续写一个把uri分离的正则：
re_string = 'href="(.*?)"'
把所有页链接，存到一个list中：
all_urls = parseHtml(re_next_page,rootURL)
pages = re.findall(re_string,all_urls[0])#pages is a list
pages.append(rootURL)
接着是从url中保存html的函数：
def getHtmlFromLink(link,name):
for i,url in enumerate(link):
req = requests.get(url)
html_doc = str(req.content, 'utf-8')#子链接的内容
html_name = name[i]
file_path = 'D://blogs//'+html_name+'.html'
f = open(file_path,'w')
f.write(html_doc)
f.close()
最后是main部分
link = []
name = []
for url in pages:
blogs = parseHtml(re_blogs, url)
for uri in blogs:
link.append(uri[0])
name.append(uri[1])
getHtmlFromLink(link,name)
高潮来了，看着爬虫开始工作并保存，心里爽爽爽！！！然后用浏览器打开保存下来的一个html，他妈的乱码又来了！！！
这里笔者就不是很能理解了，已经把要写入file的string都用utf-8编码好了，为啥中文还是乱码了？！
在百度上苦寻答案依然无所获，和一个朋友交流了一下，试着修改了一下write方法参数
f = open(file_path,'w',-1,'utf-8')
终于正常了，妈蛋！~！
点击查看源网页
至此，完成了一个博客所有文章的爬取过程，深刻描述了三个大坑以及笔者的心路历程。
细心的你们一定发现了，图片好像还没保存到本地呢。这个准备放到下一次的文章中咯~
网友评论