爬虫实践

获取百度贴吧的内容

• 以滁州学院吧为例

贴吧地址：

http://c.tieba.baidu.com/f?ie=utf-8&kw=%E6%BB%81%E5%B7%9E%E5%AD%A6%E9%99%A2=utf-8

链接的末尾处：&ie=utf-8 表示该连接采用的是utf-8编码。</br>
windows的默认编码是GBK，在处理这个连接的时候，需要我们在Python里手动设置一下，才能够成功使用

• 目标分析</br>
  1、从网上爬下特定页码的网页</br>
  2、对于爬下的页面内容进行简单的筛选分析</br>
  3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接</br>
  4、将结果保存到文本。</br>

• 如何使用开发者工具</br>
  当浏览器为“火狐”或者是“chrome”时，按“F12”即可打开开发者工具

• 开发者工具的使用</br>
  使用模拟点击工具快速定位到一个单独帖子的位置</br>
  我们仔细的观察一下，发现每个帖子的内容都包裹在一个li标签内：

<li class=" j_thread_list clearfix">

这样我们只要快速找出所有的符合规则的标签，</br>
在进一步分析里面的内容，最后筛选出数据就可以了。

• 代码实现</br>
  爬取框架

import requests 
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数
def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        #这里我们知道滁州学院贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text
    except:
        return " ERROR "

• 具体代码</br>

#!/usr/bin/env python3
# _*_ coding=utf-8 _*_
"""
 @author 张光辉 Administrator
 @version 1.0 , 2017/9/30
 @description
"""

import requests
import time
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数


def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        # 这里我们知道滁州学院贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text
    except:
        return " ERROR "


def get_content(url):
    '''
    分析贴吧的网页文件，整理信息，保存在列表变量中
    '''
    # 初始化一个列表来保存所有的帖子信息：
    comments = []
    # 首先，我们把需要爬取信息的网页下载到本地
    html = get_html(url)
    soup = BeautifulSoup(html, 'lxml')

    # 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})

    # 通过循环找到每个帖子里的我们需要的信息：
    for li in liTags:
        # 初始化一个字典来存储文章信息
        comment = {}
        # 这里使用一个try except 防止爬虫找不到信息从而停止运行
        try:
            # 开始筛选信息，并保存到字典中
            comment['title'] = li.find(
                'a', attrs={'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + \
                              li.find('a', attrs={'class': 'j_th_tit '})['href']
            comment['name'] = li.find(
                'span', attrs={'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(
                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(
                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)
        except:
            print('出了点小问题')
    return comments


def Out2File(dict):
    '''
    将爬取到的文件写入到本地
    保存到当前目录的 TTBT.txt文件中。

    '''
    with open('CZXY.txt', 'a+',encoding="utf-8") as f:
        for comment in dict:
            f.write('标题： {} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量： {} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))

        print('当前页面爬取完成')


def main(base_url, deep):
    url_list = []
    # 将所有需要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('所有的网页已经下载到本地！ 开始筛选信息。。。。')

    #循环写入所有的数据
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('所有的信息都已经保存完毕！')


base_url = 'http://c.tieba.baidu.com/f?ie=utf-8&kw=%E6%BB%81%E5%B7%9E%E5%AD%A6%E9%99%A2=utf-8'
# 设置需要爬取的页码数量
deep = 5

if __name__ == '__main__':
    main(base_url, deep)

获取dota游戏结果

• 网址

http://lol.uuu9.com/s/

• 通过使用浏览器的开发者工具，快速定位到比赛结果的div中。</br>

<div class="matchmain bisai_qukuai">

• bs4css选择器的使用:

如果单单通过class属性来定位我们有更好的方式：css选择器：

soup.find_all("a", class_="xxx")

• 代码实现

import requests
import bs4

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " ERROR "

def print_result(url):
    '''
    查询比赛结果，并格式化输出！
    '''
    html = get_html(url)
    soup =  bs4.BeautifulSoup(html,'lxml')
    match_list = soup.find_all('div', attrs={'class': 'matchmain bisai_qukuai'})
    for match in match_list:
        time = match.find('div', attrs={'class': 'whenm'}).text.strip()
        teamname = match.find_all('span', attrs={'class': 'team_name'})
       
        
        #由于网站的构造问题，队名有的时候会不显示，所以我们需要过滤掉一些注释,方法如下:
        if teamname[0].string[0:3] == 'php':
            team1_name = "暂无队名"
        else:
            team1_name = teamname[0].string
        
        # 这里我们采用了css选择器：比原来的属性选择更加方便
        team1_support_level = match.find('span', class_='team_number_green').string

        team2_name = teamname[1].string
        team2_support_level = match.find('span', class_='team_number_red').string

        print('比赛时间：{}，\n 队伍一：{}      胜率 {}\n 队伍二：{}      胜率 {} \n'.format(time,team1_name,team1_support_level,team2_name,team2_support_level))



def main():
    url= 'http://dota2bocai.com/match'
    print_result(url)

if __name__ == '__main__':
    main()