九、多线程爬虫
9.1利用多线程爬虫爬取糗事百科的资源：
十、爬虫代码总结：
要实现一个完整的爬虫，无外乎4个核心步骤：
1.首先我们要确定要爬取的目标url：
a.如果目标url地址有明显的规律，则可直接构建一个url_list来遍历读取数据
b.如果目标url地址不明显，那就先获取第一页的url地址，通过代码提取下一页的url地址
2.获取到url地址后，我们就可以向这个url发送请求，获取响应：
a.添加随机的User-Agent,反反爬虫
b.添加随机的代理ip，反反爬虫
c.在对方判断出我们是爬虫之后，应该添加更多的headers字段，包括cookie
d.cookie的处理可以使用session来解决
e.准备一堆能用的cookie，组成cookie池：
- 如果不登录
- 准备刚开始能够成功请求对方网站的cookie，即接收对方网站设置在response的cookie
- 下一次请求的时候，使用之前的列表中的cookie来请求
- 如果登录
- 准备多个账号
- 使用程序获取每个账号的cookie
- 之后请求登录之后才能访问的网站随机的选择cookie
3.提取数据
a.确定数据的位置
- 如果数据在当前的url地址中：
1.提取的是列表页的数据
- 直接请求列表页的url地址，不用进入详情页
2.提取的是详情页的数据
- 1. 确定url
- 2. 发送请求
- 3. 提取数据
- 4. 返回
- 如果数据不在当前的url地址中：
1.在其他的响应中，寻找数据的位置：
- 从network中从上往下找
- 使用chrome中的过滤条件，选择出了js,css,img之外的按钮
- 使用chrome的search all file，搜索数字和英文
b.数据的提取
- xpath,从html中提取整块的数据，先分组，之后每一组再提取
- re，提取max_time,price,html中的json字符串
- json
4.保存
- 保存在本地，text,json,csv
- 保存在数据库
十一、动态HTML处理：
1.Selenium和PhantomJS介绍：
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，
Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），
可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript
2.Selenium和PhantomJS的使用方法：
加载网页：
* from selenium import webdriver
* driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)
* driver.get("http://www.baidu.com/")
* driver.save_screenshot("长城.png") //截屏
定位和操作：
* driver.find_element_by_id(“kw”).send_keys(“长城”)
* driver.find_element_by_id("su").click()
查看请求信息：
* driver.page_source
* driver.get_cookies()
* driver.current_url
退出
* driver.close() #退出当前页面
* driver.quit() #退出浏览器
页面元素定位方法：
* find_element_by_id (返回一个)
* find_elements_by_xpath （返回一个列表，获取属性和文本需要使用get_attribute() 和.text）
* find_elements_by_link_text （返回全部文本）
* find_elements_by_partial_link_text （返回某个文本）
* find_elements_by_tag_name
* find_elements_by_class_name
* find_elements_by_css_selector
页面等待：
* 如果网站采用了动态html技术，那么页面上的部分元素出现时间便不能确定，
这个时候就可以设置一个等待时间，强制要求在时间内出现，否则报错
* 强制等待：time.sleep(10)
3.Selenium的使用注意点：
1.如果页面中含有iframe、frame，需要先调用driver.switch_to.frame的方法切换到frame中才能定位元素
2.selenium中find_element_by_class_name只能接收一个class对应的一个值，不能传入多个
3.使用selenium登录，遇到验证码
- url不变，验证码不变
- 1.请求验证码的地址，获得相应，识别
- url不变，验证码会变
- 1.selenium请求登录页面，同时拿到验证码的地址
- 2.获取登录页面中driver中的cookie，交给requests模块发送验证码的请求，识别
- 3.输入验证码，点击登录
4.Selenium的使用总结：
a. 应用场景：
1. 动态html页面请求
2. 登录获取cookies
b. 如何使用
1. 导包并且实例化driver
2. 发送请求
3. 定位获取数据
4. 保存
5. 退出driver
c. Cookies相关方法：
1.get_cookies()
d. 页面等待
1.强制等待
5.Tesseract认识：
a.定义：Tesseract是一个将图像翻译成文字的OCR库
b.安装：pip install pytesseract
c.使用方法：
import pytesseract
from PIL import Image
image = Image.open(jpg)
pytesseract.image_to_string(image)
十二、斗鱼爬虫实例：
网友评论