美文网首页
学习python爬虫系列:准备工作--爬虫的具体学习路线

学习python爬虫系列:准备工作--爬虫的具体学习路线

作者: 程凉皮儿 | 来源:发表于2020-05-28 09:17 被阅读0次

学习资料收集自知乎专栏:

具体的学习路线是什么?

总体分为三个大方面:

  • 简单的定向脚本爬虫(request —- bs4 —- re)

  • 大型框架式爬虫(Scrapy框架为主)

  • 浏览器模拟爬虫 (Selenium 模拟)

具体的步骤:

一:Beautiful Soup 爬虫

Ehco:从零开始写Python爬虫 --- 1.1 requests库的安装与使用zhuanlan.zhihu.com

图标 Ehco:从零开始写Python爬虫 --- 1.2 BS4库的安装与使用zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.3 BS4库的解析器zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.5 爬虫实践: 获取百度贴吧内容zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.6 爬虫实践: DOTA'菠菜'结果查询zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.7 爬虫实践: 排行榜小说批量下载zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.8 爬虫实践: 电影排行榜和图片批量下载zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 1.9 爬虫实践:悦音台mv排行榜与反爬虫技术zhuanlan.zhihu.com 图标

二: Scrapy 爬虫框架

Ehco:从零开始写Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍zhuanlan.zhihu.com

图标 Ehco:从零开始写Python爬虫 --- 2.2 Scrapy 选择器和基本使用zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 2.3 爬虫实践:天气预报&数据存储zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 2.4 爬虫实践:代理的爬取和验证zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 2.5 爬虫实践:糗事百科&爬虫攻防zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 2.6 爬虫实践:重构排行榜小说爬虫&Mysql数据库zhuanlan.zhihu.com 图标

三: 浏览器模拟爬虫

Ehco:从零开始写Python爬虫 --- 3.1 Selenium模拟浏览器zhuanlan.zhihu.com

图标 Ehco:从零开始写Python爬虫 --- 3.2 爬虫实践:获取快代理zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 3.3 爬虫实践:漫画批量下载zhuanlan.zhihu.com 图标

四: 练手项目:

Ehco:从零开始写Python爬虫 --- 爬虫实践:螺纹钢数据&Cookieszhuanlan.zhihu.com

图标 Ehco:从零开始写Python爬虫 --- 爬虫实践:登录正方教务系统zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用: requests+django实现微信公众号后台zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用: 12306火车票信息查询zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用: 利用斗鱼Api抓取弹幕zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用: 获取支付宝账单信息zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用:IT之家热门段子(评论)爬取zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 爬虫应用:一号店 商品信息查询程序zhuanlan.zhihu.com 图标 Ehco:从零开始写Python爬虫 --- 老司机开夜车 刹都刹不住zhuanlan.zhihu.com 图标 公司里是怎么做数据抓取的? --- 搜狗词库抓取&解析zhuanlan.zhihu.com 图标 Ehco:上古网盘长啥样?批量下载复古游戏资源zhuanlan.zhihu.com 图标 Ehco:用Python自动填写问卷星zhuanlan.zhihu.com 图标 Ehco:用Python抓腾讯漫画?zhuanlan.zhihu.com 图标

五: 自己写点小工具:

Ehco:爬虫存储海量数据太麻烦? 换个姿势试一试!zhuanlan.zhihu.com

图标 Ehco:爬虫会用到的小工具: LazySpider 发布啦!zhuanlan.zhihu.com 图标

相关文章

网友评论

      本文标题:学习python爬虫系列:准备工作--爬虫的具体学习路线

      本文链接:https://www.haomeiwen.com/subject/axhoahtx.html