爬虫的5个步骤
1、需求分析(不需要写成程序,是人处理的)
2、寻找网址(不需要写成程序,是人处理的)
3、下载网站返回内容(通过程序实现,程序包requests)
4、通过返回的信息找到需要爬取的数据内容(通过程序实现,正则表达式re,xpath对应的程序包lxml)
5、存储找到的数据内容(通过程序实现程序包mysql)需要学习python连接mysql
SCRAPY
爬虫的5个步骤
1、需求分析(不需要写成程序,是人处理的)
2、寻找网址(不需要写成程序,是人处理的)
3、下载网站返回内容(通过程序实现,程序包requests)
4、通过返回的信息找到需要爬取的数据内容(通过程序实现,正则表达式re,xpath对应的程序包lxml)
5、存储找到的数据内容(通过程序实现程序包mysql)需要学习python连接mysql
SCRAPY
本文标题:2020-09-09
本文链接:https://www.haomeiwen.com/subject/kkkeektx.html
网友评论