你是不是想自学Python爬虫，但是不知道从哪里入手，可以先参考下面这10步。
01.首先学会基本的Python语法知识
02.学习Python爬虫常用到的几个重要内置库urllib, http等，用于下载网页
03.学习正则表达式re、BeautifulSoup（bs4）、Xpath（lxml）等网页解析工具
04.开始一些简单的网站爬取，了解爬取数据过程
05.了解爬虫的一些反爬机制，header，robot，时间间隔，代理ip，隐含字段等
06.学习一些特殊网站的爬取，解决登录、Cookie、动态网页等问题
07.了解爬虫与数据库的结合，如何将爬取数据进行储存
08.学习应用Python的多线程、多进程进行爬取，提高爬虫效率
09.学习爬虫的框架，Scrapy、PySpider等
10.学习分布式爬虫（数据量庞大的需求）
________________END______________
网友评论