爬虫基础05

多线程爬虫

队列(from multiprocessing import Queue)
UrlQueue = Queue()
UrlQueue.put(url)
UrlQueue.get() # 阻塞 block=True, timeout=2
UrlQueue.empty() # 返回True | False

线程(from threading import Thread)

from threading import Thread
t = Thread(target=getPage)
t.start()
t.join() # 阻塞等待回收线程

案例：小米应用商店数据爬取(多线程)

分类爬取内容 - 学习教育

BeautifulSoup(解析)

• 本身没有解析功能，都是依赖于其他模块
• HTML或XML解析器，依赖于lxml
• 安装：conda install beautifulsoup4
• 使用流程

# 1.导入模块
from bs4 import BeautifulSoup
# 2.创建解析对象
soup = BeautifulSoup(html, 'lxml')
# 3.查找节点对象
rList = soup.find_all('div', {'id':''})

• 支持的解析库
  1 lxml： 速度快，文档容错能力强
  2 html.parse：python标准库，速度一般，容错能力一般c
  3 xml：

---

Scrapy网络爬虫框架

简介：异步处理框架,可配置和可扩展程度非常高

• 安装
  Windows
  Anaconda Prompt : conda install Scrapy
  如果安装慢(使用如下清华镜像) :

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
conda install Scrapy

• Ubuntu下安装
  安装scrapy框架
  安装依赖包：

sudo apt-get install python3-dev
sudo apt-get install python-pip
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install zlib1g-dev
sudo apt-get install libffi-dev
sudo apt-get install libssl-dev
sudo pip3 install pyasn1==0.4.1
安装Scrapy
sudo pip3  install Scrapy

Scrapy框架组成

• 引擎（Engine）：这个框架核心
• 调度器（Scheduler）
  接收从引擎发过来的URL，加入队列
• 下载器（Downloader）
  获取 response， 返回给爬虫程序
• 项目管道（Item Pipeline）
  数据处理
• 中间件
  1 下载器中间件（Downloader Middlewares）
  处理引擎与下载之间的请求以及相应
  2 蜘蛛中间件（Spider Middlewares）
  处理爬虫程序输入响应和输出结果以及新的请求

Scrapy爬虫项目步骤

• 新建项目
  scrapy startproject 项目名
• 明确目标（items.py）
• 制作爬虫程序
  cd spiders
scrapy genspider 文件名 域名
• 处理数据（pipelines.py）
• 全局配置（settings.py）
• 运行爬虫项目
  scrapy crawl 爬虫名

scrapy项目文件

目录结构

    Baidu/
      |-- scrapy.cfg : 项目基本配置,不用改
      |-- Baidu/     : 项目目录
            |--items.py : 定义爬取数据结构
            |--middlewares.py : 中间件
            |--pipelines.py : 管道文件(数据)
            |--settings.py  : 全局配置
            |--spiders/ 
                  |--baidu.py : 爬虫程序

settings.py配置

    # 只有警告时才会输出
    LOG_LEVEL = "WARNING"
    # 设置User-Agent
    USER_AGENT = 'Mozilla/5.0'
    # 是否遵循robots协议,设置为False
    ROBOTSTXT_OBEY = False
    # 最大并发量,默认16
    CONCURRENT_REQUESTS = 32
    # 下载延迟时间
    DOWNLOAD_DELAY = 1
    # 请求头(也可以设置User-Agent)
    DEFAULT_REQUEST_HEADERS = {
      'User-Agent': 'Mozilla/5.0',
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language': 'en',
     }
    # 下载器中间件
    DOWNLOADER_MIDDLEWARES = {
       'Baidu.middlewares.randomProxyMiddleware': 543,
       'Baidu.middlewares.randomUserAgentMiddleware' : 300,
     }
    # 项目管道
    ITEM_PIPELINES = {
      'Baidu.pipelines.BaiduPipeline': 300,
      'Baidu.pipelines.BaiduMongoPipeline' : 200,
      'Baidu.pipelines.BaiduMysqlPipeline' : 100,
     }

优先级1-1000,数字越小优先级越高

Pycharm运行Scrapy项目

• 项目写完之后创建begin.py(和scrapy.cfg同目录)
• begin.py
  from scrapy import cmdline
  cmdline.execute('scrapy crawl baidu'.split())
• 配置pycharm的python环境
  File -> settings -> Project Interpreter -> 右上角...add -> existinig environment -> 选择你自己Anaconda中python的路径(C:\ProgramData\Anaconda3\python.exe) -> 点击OK