续前节
其实前面应该是对爬虫一些基础的解释和定义,相当于导论部分吧,下面应该会讲一些详细的Python相关的东西咯~
关于Python爬虫--—技能储备
1.Python基本语法
嗯,之前学过,要有一定的基础,暂时不表。
2.如何抓取页面
Pic - 1很复杂的理论吧,其实很简单,一条命令,然后执行就可以抓取到了。然后就是数据处理咯。
3.解析服务器响应的内容
嗯,其实这一块就是数据的处理咯,比较复杂,一步步慢慢来呗。
Pic - 2其实上面也就说的是通过不同的工具分析和处理数据,仅此而已~
4.怎么样能爬取到数据—动态网页 验证码的处理
4.1 动态网页的采集
Pic - 3嗯,乍一看很复杂,简单地说就是调用个库使用个新的函数就行,先不用想那么多
关键词 ajax相关动态网页
4.2 验证码
Pic - 4嗯,一个新的方法,关于机器学习,方法就是调用机器学习的库,执行对应的方法识别验证码。
5.Scrapy框架及特点
Pic - 56.分布式策略
Pic - 6关于怎么提升爬取数据的效率,异步分布式,提高效率
7.关于爬虫攻防
Pic - 7未完待续 2019年10月16日22:36:03
剩余的在开一文吧 慢慢来呗~~
网友评论