1-爬虫基础1

1.爬虫引入

---

  爬虫引入
      用python写爬虫程序最合适
      针对爬虫有一个robots.txt协议，不过我们不需要遵守
      网页的排名使用page_rank算法
      我们写的不是通用爬虫，是聚焦爬虫

  url
      http://www.baidu.com:80/index.html?name=goudan&pwd=123#lala
      协议   主机          端口 请求文件  请求参数             锚点

      协议 http协议（明文） https协议（加密）
      端口 http用80端口 https用443端口
        
  上网原理
      把域名变成ip
      通过ip找到服务器
      服务器返回html
      解析html并请求其中引用的其他资源
      渲染
    
  http协议
      请求
          cookie 携带一些个人信息
          user_agent 客户端先关信息
          referer 从哪个地址来到当前地址
      响应
          状态码 200成功 307重定向 404找不到 500服务器内部错误

2.抓包工具

---

  chrome的开发者工具的使用
      停止录制
      清理
      过滤
      搜索

3.urllib简介

---

  官方文档        
      https://docs.python.org/3/library/urllib.html
      urllib是python自带的一个包，里面有很多处理url的模块

  版本问题
      python2：urllib  urllib2
      python3：urllib

  三个主要模块
      urllib.request   urllib.parse   urlllib.error

4. urllib.request模块

---

  import urllib.request
  url = "http://www.baidu.com"
  response = urllib.request.urlopen(url)
  print(response)

  urllib.request
      获取的方法
          urlopen() 获取response对象 *****

      response对象方法
          read() 获取字节类型的响应内容 *****
          geturl()  获取请求的那个url
          getheaders()  获得响应头信息
          getcode()  获取状态码
          readline()  读取一行  
          readlines() 返回一个列表，列表中是每一行内容

      urlretrieve() 直接获取内容并保存到本地（图片 网页 视频 均可下载）

      urlopen() 获取内容的二进制数据 然后 处理一下 再保存到本地（图片 网页 视频 均可下载）

  urllib.parse
      quote() 编码
      unquote() 解码

      urlencode(dict) 对字典进行编码，并且将其转化为query_string *****

5.构建请求对象

---

  【注1】如果url只是到域名就结束，那么域名的后面需要加/，浏览器不加也行，是因为浏览器会自动添加
  【注2】通过抓包发现，你现在的UA就是python，定制自己的UA，将自己伪装成浏览器
  【注3】跑爬虫代码的时候，要把fiddler关掉，否则速度会很慢

  import urllib.request

  url = "http://www.baidu.com/"
  user_agent = "Mozilla/5.0 (Windows NT 10.0; 
  Win64; x64) AppleWebKit/537.36 " \
               "(KHTML, like Gecko) 
  Chrome/67.0.3396.99 Safari/537.36*jfeng6*"
  headers = {
      "User-Agent": user_agent
  }
  request_obj = urllib.request.Request(url, 
  headers=headers)
  response_obj = 
  urllib.request.urlopen(request_obj)
  print(response_obj.read())

6.HTTP协议

---

1、什么是HTTP协议？

1）是基于请求与响应的应用层协议，底层协议TCP保证了数据可靠传输 2）通过url进行客户端与服务器之间的数据交互 3）是一种C/S（B/S）模式的协议，客户端向服务器发起请求，服务器处理请求并且返回响应 4）该协议是一种无状态的协议（不会记录用户的访问状态）

2、http协议过程：

1）创建TCP链接：客户端与服务器的三次握手：客户端向服务器发出一个是否同意创建连接的信号、服务器回应给客户是否空闲(即是否可以创建连接) 、客户端再次向服务器发起创建连接的信息进而创建连接；通过三次握手以后客户端和服务器就创建出了一数据通路，接下来就可以保证http协议包的可靠传输了

2）客户端向服务器发起http请求：通过url把参数（请求体）以及请求头传递给服务器，请求方式有常见4中，常用get和post

请求头：请求头中包含了本次请求的相关的配置信息（比如数据格式、cookie等），决定了客户端和服务器进行数据交流的方式与格式

请求体：就是参数，客户端向服务提交的内容

get和post请求的区别：
形式上：get请求参数拼接在url后面 post请求不体现在url中
内容上：get请求有数据量的限制（不同的浏览器对url最大长度都有不同的限制），post的请求是不限制请求体数据量的（有的web服务器会有一个最大请求体的限制，比如阿帕奇限制为20M）

3）服务器处理请求，并且把处理结果响应给客户端

4）关闭连接：TCP的四次挥手