1-1Python分布式爬虫打造搜索引擎简介
获取想要的数据
深入认识网络知识和编程知识
学习流程
1.环境配置和基础知识铺垫
2.爬取真实数据
3.Scrapy突破反爬虫技术
4.scrapy进阶
5.scrapy redis分布式爬虫
6.elasticsearch djiango实现搜索引擎
爬虫基础知识
1.正则表达式
2.深度优先和广度优先的遍历算法
3.URL去重的常见策略
scrapy的常见功能(网站结构和网络请求)
知名技术社区
知名问答网站
知名招聘网站
xpath+css来提取数据
scrapy进阶:scrapy的原理 基于scrapy的中间件开发
网友评论