1. json串,必须是由数组（list）和字典（dict）两种数据结构组成
2.josn串中的非数字数据，都必须使用双引号包裹
１．json.dumps(): 将python数据类型，转换为为json字符串
２．json.loads(): 将json字符串,转换为python的数据类型
３．json.dump()：将python数据类型，转换为json字符串，并且可以将json字符串写入本地
４．json.load()：将本地文件中存储的json字符串，转换为python数据类型
import json
json串 错误：
json.decoder.JSONDecodeError：json 字符串不符合规则
ajax请求：在当前页面结构不变的情况下，不停的能够获取数据，我们就称他为ajax请求
添加 Userr-Agent 的目的是模拟浏览器发起请求
read()方法得到的是一个二进制数据
静态页面提取信息用正则提取
数据持久化向mysql mongodb redis 里面存储
数组越界，说明正则没有找到；IndexError: list index out of range
HTTPError 是 URLError 的子类
get 请求 参数pamars = request.urlencode(pamars)
full_url = url+parmars
免费的代理 第一不稳定 第二可用率不高
cookie 里面存储 的是和用户相关的信息
cookiejar 用来管理ｈｔｔｐ 起到保存/存储cookie 数据 将数据存储到内存中
MozillaCookieJa 同样是用来存储ｃｏｏｋｉｅ的 cookie 数据可以写入本地文件，
写入后要 .save() 保存
HTTPCookieProcessor处理器 用来管理 cookiejar
cookiejar.save() 讲ｃｏｏｋｉｅ保存到本地
设置cookie 是为了模拟用户请求
session是维持会话的
install_......把你定义的opener 设置为全局的opener
总结爬虫流程：爬取--->解析--->存储
什么是爬虫？请求网站并提取数据的自动化程序就叫做爬虫。
爬虫的主要目的？是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。
爬虫的基本流程？
1.用户获取网络数据的方式：
1：浏览器提交请求--->下载网页代码--->解析成页面
2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
爬虫要做的就是方式2；
发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库（MySQL，Mongdb、Redis）
文件
Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）
Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）
request
1、请求方式：常见的请求方式：GET / POST
2、请求的URL
url全球统一资源定位符，用来定义互联网上一个唯一的资源 例如：一张图片、一个文件、一段视频都可以用url唯一确定
url编码
3、请求头
User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host；
cookies：cookie用来保存登录信息
一般做爬虫都会加上请求头,模拟用户请求
请求头需要注意的参数：
1.Referrer：访问源至哪里来（一些大型网站，会通过Referrer 做防盗链策略；所有爬虫也要注意模拟）
User-Agent:访问的浏览器（要加上否则会被当成爬虫程序）
cookie：请求头注意携带
xpath
动态加载：使用json串转换
静态页面：使用正则，ｘｐａｔｈ..
结构化数据：先有结构，在有数据 json path
非结构化数据：先有数据，再有结构 正则，xpath
什么是xpath： 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
什么是xml:是传输数据而并非显示数据
xpath 语法的目的，找到节点，提取信息
xpath 语法
使用xpath 语法提取数据
什么是xpath： 是一门在 XML 文档中提取信息数据的语言，可以用来在xml文档中对元素（标签）的属性进行遍历
xml:是一个可扩展的标记语言，语法和ｈｔｍｌ相像，里面的节点可以自己定义，被设计的目的用来进行数据的传输和保存
安装lxml pip3 install lxml
以起点中文网为例
notename:节点：查找出html中标签名为notname的节点
/ 表示从根节点的地方开始查找，(相对性的)
// 表示从任意位置匹配出你想要的节点
. 表示选取当前节点
.. 表示选取当前节点的父节点
@ 表示选择属性
text() 表示取标签文本内容
notename[1]:表示标签名为的一个的节点
notename[last()]:表示取最后一个
notename[last()-1]:表示取倒数第二个
网友评论