requests,selenium,xpath,bs4

request:
Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的URL和 POST 数据自动编码。
requests 的底层实现其实就是 urllib
使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。
使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。

import requests
params = {'wd': '孙悟空'}
url = 'http://www.baidu.com/s?'
headers = {
    'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
}
# 发起get请求
response = requests.get(url=url, headers=headers, params=params)

# 返回解码后内容
content = response.text
# 获取
print(content)

# 返回二进制
content = response.content.decode()
# 返回响应码
print(response.status_code)
# 请求头
print(response.request.headers)
# 返回当前编码格式
print(response.encoding)
# 查看响应码
print(response.status_code)
with open('baidu.html', 'w') as f:
    f.write(content)

对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

import requests

req_url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&    sessionFrom=null"

#分析表单数据
formdata = {
    'i': '你好',
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_CLICKBUTTION',
    'typoResult': 'false',
}

#添加请求头
req_header = {
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)     Chrome/67.0.3396.99 Safari/537.36'}

response = requests.post(
req_url, 
data = formdata, 
headers = req_header)

#print (response.text)
# 如果是json文件可以直接显示
print (response.json())

xpath:
XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

import requests
import re
import time
import urllib.parse
from lxml import etree


class MeiNv():
    def __init__(self):
       self.url = 'http://www.tieba.baidu.com/category/40076/?page='

        self.headers = {
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0'

    }

def loadpage(self, url):
    response = requests.get(url=self.url)
    html = response.content.decode('utf-8')

    with open('baidu.html', 'w') as f:
        f.write(html)

    #html转成xml
    content = etree.HTML(html)
    # print(content)
    url_list = content.xpath(
        '//div[@class="threadlist_lz clearfix"]/div[@class="threadlist_title pull_left j_th_tit "]/a/@href'
    )
    # print(url_list)
    for detail_url in url_list:
        full_url = 'http://tieba.baidu.com' + detail_url
        self.detail(full_url)


# 详情页
def detail(self, url):
    response = requests.get(url=url)
    html = response.content.decode('utf-8')
    content = etree.HTML(html)
    img_list = content.xpath(
        '//img[@class="BDE_Image"]/@src'
    )
    for img in img_list:
        self.download(img)


#下载
def download(self, url):
    response = requests.get(url=url)
    #无需decode
    self.save(response.content, url)

# 保存
def save(self, content, img_url):
    filename = 'tieba/' + img_url[-10:] + '.jpg'
    print('正在下载' + filename)
    with open(filename, 'wb') as f:
        f.write(content)

def main(self):
    kw = input('请输入网址')
    start = int(input('输入起始页'))
    end = int(input('输入终止页'))
    for i in range(start, end + 1):
        #拼接
        full_url = self.url + 'f?' + 'kw=' + kw + '&' + 'pn=' + str((i-1)*50)
        self.loadpage(full_url)


if __name__ == '__main__':
    mn = MeiNv()
    mn.main()

bs4:
和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。
lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。
BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。

import requests
from bs4 import BeautifulSoup
import urllib.parse
import jsonpath
import json
import re
class QiDianSpider():
    def __init__(self):
        self.url = 'https://www.address.com/all?page=1'
        self.headers = {
            'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
        }


def loadpage(self, url):
    response = requests.get(url=url, headers=self.headers)
    bs = BeautifulSoup(response.text, 'lxml')
    li_list = bs.select('ul[class="all-img-list cf"] li')
    for li in li_list:
        title = li.select('div[class="book-mid-info"] h4 a')[0].get_text()
        href = urllib.parse.urljoin(response.url, li.select('div[class="book-mid-info"] h4 a')[0].get('href'))
        author = li.select('div[class="book-mid-info"] p a')[0].get_text()
        type1 = li.select('div[class="book-mid-info"] p a')[1].get_text()
        type2 = li.select('div[class="book-mid-info"] p a')[2].get_text()
        id = re.search('(\d+)',href).group(1)
        print(id)


        dict = {
            'title':title,
            'author':author,
            'type':type1+'.'+type2,
            'href':href,
            'id':id
        }
    #     print(dict)
        self.loaddetail(id, dict)


def loaddetail(self, bookid, dict):
    response = requests.get(url='https://book.qidian.com/ajax/book/category?_csrfToken=asYDuKBW3fwHjeBdQNcX1GFeE2B9KcEe6dJyt&bookId='+bookid, headers=self.headers)
    html = response.content.decode('utf-8')

    vs = jsonpath.jsonpath(json.loads(html), '$..vs')
    count = sum(jsonpath.jsonpath(json.loads(html), '$..cnt'))
    dict['vs'] = vs[0]
    with open('qidian.html', 'w') as f:
        f.write(json.dumps(dict,ensure_ascii=False)+'\n')



def start(self):
    self.loadpage(self.url)

if __name__ == '__main__':
    qds = QiDianSpider()
    qds.start()

selenium:
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

from selenium import webdriver

driver = webdriver.Chrome(executable_path='/home/hu/下载/chromedriver')
driver.get('https://www.baidu.com/')
driver.save_screenshot('baidu.png')
with open('baidu.html', 'w') as f:
f.write(driver.page_source)

PhantomJS
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

from selenium import webdriver

browseDriver = webdriver.Phantomjs(executable_path="Phantomjs的驱动路径")
browseDriver.get('https://www.baidu.com')
print(browseDriver.page_source)
print(browseDriver.current_url)