前言
为什么学习Python爬虫？
数据控？！
为什么学习Python爬虫？
酷！效率高！
本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群：960410445一起讨论视频分享学习。Python是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长，掌握Python核心技术，才是掌握真正的价值所在。
学习爬虫前
你得先了解Python的list（队列），dict（字典）
因为爬虫爬取下来的数据要用Python的数据框架来存储，list和dic是基础，另外你还需要了解numpy以及pandas。
推荐书籍
学习Python的数据架构，强烈推荐利用Python进行数据分析
Python爬虫相关的模块
urllib、requests、Bs4、scrapy、pyspider等等。
对于这些模块当中，小编强烈建议用requests、Bs4这样2个包，你会发现写爬虫原来这么简单！
requests负责网站，处理http协议；
bs4负责将网页变成结构化数据，方便爬取。
当然了，你肯定会遇到一些用bs4也很难爬取的内容，这个时候你就需要学一学re(正则表达式)
掌握以上这些知识点内容，那么你就可以开始爬取一些静态网站数据啦！
比如：糗事百科的段子、一些盗版网站的小说等等。
慢慢的你会发现这些静态网站已经不能满足你的欲望了，这个时候就可以开始学习爬取js加载的动态网站了
那你就需要学习的知识点就有selenium、ghost这种包来控制浏览器，学了这些你就可以轻松爬取知乎啦~~~
你以为学完这些就够了？
路漫漫其修远兮，你爬取到的数据，肯定是需要存储的吧，这时你就需要恶补Python数据库连接的知识，爬到的数据你想要展示对吧，那你就需要解除一下Django、flask等一些web开发框架了。
除此之外：
多线程爬虫提高爬取效率！
代理IP池与网站斗智斗勇！
scrapy、pyspider框架部署！
每一个都需要我们学习很久
网友评论