爬取糗事百科基本信息

艾玛，补作业啊补作业。迫不及待的进入到爬数据阶段，这时候真的是发现条条大路通罗马，想抓个数据方法是在是太多了。第一个简单的爬虫折腾了一个下午，Mark一下。

作业题目：

爬取糗百 http://www.qiushibaike.com/text/
包括：作者，性别，年龄，段子内容，好笑数，评论数

对于一个爬虫来说，我们先理解清楚最小系统：

• Url管理器

• HTML下载器
• HTML解析器

1.URL管理器比较好理解，页面中存在链接套链接，只有这样我们的小爬虫才能发挥巨大作用，我们需要把所有的url进行管理，去除重复的url，还有一些高阶提高效率的功能。
2.HTML下载器，大约就是模拟浏览器去请求需要访问的页面，存放在本地。
3.HTML解析器，就是把请求下来的HTML数据进行分析，获取自己想要的有效数据。

OK，大约就是这个套路，开始爬坑~~~
老规矩，直接上代码：

import urllib2
import bs4

from bs4 import BeautifulSoup

url = 'http://www.qiushibaike.com'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
headers = {'User-Agent':user_agent}

#enter headers
request = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(request).read()
# print response.decode('utf-8').encode('gbk')

#create beautiful soap object
soup = BeautifulSoup(response, 'lxml')
for link in soup.find_all('div', class_='article block untagged mb15'):
    # 
    print 'author : %s'%link.find('h2').text
    # print 'gender : %s'%link.select('.articleGender')
    # <div class="articleGender womenIcon">22</div>
    print 'age : %s'%link.find('div',class_='articleGender').text
    #fun number 
    print 'fun number : %s'%link.select('div.stats > span.stats-vote > i')[0].text
    # comments num
    print 'comments num : %s'%link.select('div.stats > span.stats-comments > a > i')[0].text
    # content
    print 'content : %s \n'%link.select('a > div.content > span')[0].text

小白就是小白，一开始报这个错：

url format problem
我天真的不把url带协议头，就丢到了urllib2.request()当中去了，记得要带着http://

下面这个问题，貌似是比较常见的，我请求baidu的时候没有个问题，但是糗百就不行。还是得伪装一下，各种网站都应该会防止这样的爬数据行为，所以以后的hack行为还是得高级一些。

User-agent problem

user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
headers = {'User-Agent':user_agent}

再来就是显示中文乱码问题，电脑开不动虚拟机了，又买不起MAC。win做开发真的不喜欢。

 print response.decode('utf-8').encode('gbk')
#来回倒一下编码方式咯，费劲的很

关键的地方就是解析这下载下来的HTML内容，BS4就是利用DOM的结构，一层层的剥开，找到有效数据的规律。

soup = BeautifulSoup(response, 'lxml')
for link in soup.find_all('div', class_='article block untagged mb15'):
    # 
    print 'author : %s'%link.find('h2').text
    # print 'gender : %s'%link.select('.articleGender')
    # <div class="articleGender womenIcon">22</div>
    print 'age : %s'%link.find('div',class_='articleGender').text
    #fun number 
    print 'fun number : %s'%link.select('div.stats > span.stats-vote > i')[0].text
    # comments num
    print 'comments num : %s'%link.select('div.stats > span.stats-comments > a > i')[0].text
    # content
    print 'content : %s \n'%link.select('a > div.content > span')[0].text

这个里面各种小技巧，针对不同的特点的数据使用不同判断方法，思路就是找出规律定位数据。

总结一下

啊~~~~真心不容易，总的来说，还是利用Beautiful Soup4把一些基础的数据爬出来的。但是也仅限于了解最基本的原理。后面还有很多的路要走。
明天还有一天休息，真心谢谢屈原（其实叫芈原，楚国人大多都是姓这个）
明天打算把爬简书的任务做了，学一些正则，用一下Xpath。
另外还有最好把代码重构为面向对象的方式。~T T，好多事情，加油啦。