Python版本3.8.0，开发工具：Pycharm
爬虫流程：
1. 获取网页url（网址）
url：统一资源定位符，是要爬取目标网页的地址，例如豆瓣电影：https://movie.douban.com/
2. 发出请求，获得响应
用户在浏览器输入网址之后，经过DNS 服务器，找到服务器主机，向服务器发出访问请求，服务器经过解析之后，发送给用户的浏览器HTML、JS、CSS等文件，浏览器解析出来呈现给用户。
浏览器没有信息，只负责发送请求和得到响应。服务器中存储大量信息，通过响应请求将数据返回给浏览器进行显示。
大部分服务器只能响应浏览器的请求，所以通过 Python 编写的爬虫脚本，如果没有伪装成浏览器，是请求不到数据的。
3. 提取所需数据
服务器返回给浏览器的数据包括HTML 片段、XML 文档、JSON 文件等数据。针对不同数据选择不同的方式进行数据提取。
常用解析方式有：
re 正则表达式；
html.parser；
BeautifulSoup；
lxml（xpath技术）；
ElementTree（解析xml）；
4. 保存数据
一般对规整化的数据直接保存成文件，放在本地。当然，也可以通过连接数据库保存在数据库中
你还需要了解
1. 爬虫是什么？
爬虫，即网络爬虫。当你输入网址或者程序解析到新的网址，这个网址就是一个通道，爬虫通过这个通道到达新的地址，并通过编程获取新地址的数据。说直接点：爬虫就是通过编程从网上获取数据。
2. 什么是浏览器请求？
例如，当你在登录一个网站时，需要输入用户名和密码，此时会有两种数据请求方式：GET 方式和POST 方式。
GET方式：
直接将参数写在网址中，构建一个带参数的url。例如 https://www.wz.com?username='zhiqiuxiaomeng'&passwd='123456'，将 username 和 passwd 直接带入参数中。
POST方式：
将参数保存成一个变量，在请求过程中将变量发送给服务器。例如 values = {"username":"zhiqiuxiaomeng","passwd":"123456"}，在发送请求的时候将 values 一起发送给服务器。
3. 什么是服务器响应？
服务器在接收到浏览器请求后，对请求进行验证，并返回相应的验证结果给浏览器，浏览器对返回结果解析，呈现给用户。
服务器返回结果包括两种：一种是返回数据，在浏览器端进行刷新填充；一种是返回一个新的页面，在浏览器端进行跳转。数据类型包括 html、css、json 等。
4. 什么是html、CSS、jsp、xml？
html 是超文本标记语言，通俗的说就是你现在看到的这个网页的源代码，不同的浏览器都会对这个 html 文本解析，得到一个网页呈现在浏览器中。
css 叫层叠样式表，就来美化 html 页面的，现在主流的是配合 DIV 一起排版。
jsp 是一种服务器编程技术，主要用 java 写服务器页面，这些页面支持 java 语义的标记，到时候都会通过http传输到用户的浏览器解析为标准的 html 页面。
xml 为可扩展的标记语言，就是可以自定义 DOM 节点，现在用 XML 用来支持异步数据传输较多，比如JSON，很多原生的 API 也都是 XML 格式的
在浏览器解析的网页中，虽然用户看到的都是中文（或英文），但实际编码不尽相同，有utf-8编码，有gbk编码，可能还会有 iso8859-1 编码。
5. 什么是ascll、unicode？
ascll 编码：使用一个字节进行编码（因为英文和数字一个字节足够）
unicode 编码：使用两个字节进行编码（因为中文至少需要两个字节）
utf-8 编码：可变长编码，英文通常是1个字节，汉字是三个及以上（生僻字）字节（节省存储空间）
注：utf-8 编码是unicode 编码的实现方式之一
6. 什么是 utf-8、gb2312、gbk、iso8859-1 ？
GB2312 是国家制定的汉字编码标准，使用双子节进行编码，共收入6763个汉字和682个非汉字图形字符。
GBK 即对国标编码的扩展，在GB2312 的基础上进行扩展形成的，使用双子节编码方式，共收入21003个汉字，从而大大满足了汉字使用的需要。
ISO-8859-1 编码是单字节编码 ，向下兼容ASCII，是许多欧洲国家使用的编码标准
准备工作大概就这么些，你们准备好了吗？
网友评论