什么是爬虫？
就是一段自动抓取互联网数据的程序或脚本
网页的三大特性
1.每个网页都有自己唯一的URL地址（统一资源定位符）
2.网页都是通过HTML(超文本)展示数据的
3.网页是通过HTTP/HTTPS（超文本传输协议）来传输HTML的
爬虫最基本的步骤
1.寻找目标URL地址，发起请求
2.获取请求响应结果，分析相应结果
3.从响应结果中提取数据a.第一部分，从网页中提取的目标数据
b. 如果存在新的URL地址，则提取，继续发起请求
爬虫结束：所有的目标URL全部请求完毕，则爬虫结束
爬虫的分类
- 通用爬虫，聚焦爬虫
七层协议
应用层 表示层 会话层 传输层 网络层 数据链路层 物理层
应用层：http/https
传输层:TCP/UDP
TCP:网络传输协议,面向连接的,长连接,传输的是数据流
,确保数据的安全性和完整性,但是数据传输的效率低
UDP:网络传输协议,是非面向连接的,短连接,传输的是数据包,
传输数据是不安全的,可能会造成数据的丢失,传输速度非常快
http(超文本传输协议，端口号是80)
实现从网络传输草文本数据到本地浏览器的传送协议
https(端口号是443)：是http的安全版本，在http的基础上添加了一个SSL(安全套阶层)，用于WEB端的安全传送，在传输层对网络进行加密
1.构建了一个安全的数据传输通道
2.保证网站的真实性和有效性
常见的请求状态码：
200：请求成功
3xx:重定向 |301永久重定向|302临时重定向
4xx:客户端请求错误|400请求错误，服务器无法解析|401未授权，没有进行身份验证|403服务器拒绝访问|404访问的页面不存在|405请求方式不允许|408请求超时
5xx:服务器出现错误|500服务器内部错误|501服务器暂时不具备完成请求功能|503服务器不可用
URL介绍
- URI:统一资源标志符
- URN:统一资源名称
- URL:统一资源定位符
- URI是URN和URL的父类
scheme:指的是协议(https/http)
host:值得是服务器的ip或者域名
port:指的是端口号
path:资源路径
query_string:url地址后面的查询参数
anchor(锚点):可以指定要跳转的位置
parse
parse：可以对url进行拆分，组合，编码，解码，拼接
parse.urlencode()：将字典类型的参数转为url编码格式
get请求直接使用urlencode将参数转为url编码格式
post请求urlencode将参数转为url编码格式，然后用encode方法将字符串转为bytes类型
parse.parse_qs():将url编码格式转化为字典类型
parse.quote():将中文符转为url编码
parse.unquote():将url编码的字符转为中文字符
parse.urljoin():将不完整的url参照基类url拼接完整
parse.urlparse():解析url，将url拆分
error
error:在我们请求过程中，可能因为服务器错，弱网环境造成请求失败，这时我们需要对这些错误进行处理，不然会造成代码崩溃
error.URLError:
原因：没网络连接
服务器连接失败
找不到指定的服务器
有一个reason属性：返回错误原因
error.HTTPError:
HTTP请求错误
code：请求状态码
reason：返回错误原因
headers：返回响应头部
正则
单个字符
| 字符 | 功能 |
|---|---|
| . | 匹配任意1个字符（除了\n） |
| [ ] | 匹配[ ]中列举的字符 |
| \d | 匹配数字，即0-9 |
| \D | 匹配非数字，即不是数字 |
| \s | 匹配空白，即 空格，tab键 |
| \S | 匹配非空白 |
| \w | 匹配单词字符，即a-z、A-Z、0-9、_ |
| \W | 匹配非单词字符 |
多个字符
| 字符 | 功能 |
|---|---|
| * | 匹配前一个字符出现0次或者无限次，即可有可无 |
| + | 匹配前一个字符出现1次或者无限次，即至少有1次 |
| ? | 匹配前一个字符出现1次或者0次，即要么有1次，要么没有 |
| {m} | 匹配前一个字符出现m次 |
| {m,n} | 匹配前一个字符出现从m到n次 |
| ^ | 开头 |
| $ | 结尾 |
多字符匹配（非贪婪模式）
（*？）（+？）（？？）
网友评论