美文网首页Python编程学习交流中心大数据 爬虫Python AI Sql程序员
知道为什么没人学习python爬虫了,原来这样的,看完这个就不难

知道为什么没人学习python爬虫了,原来这样的,看完这个就不难

作者: 璃沫仙人 | 来源:发表于2018-12-27 19:41 被阅读13次

    ** 如果小伙伴正在学习python,那么“爬虫”绝对是你不可忽视的。为什么,因为容易,你在学python其他的时候,也随便把爬虫学了。最主要的是学python爬虫,能在爬取的时候很开心。在这个社会有资源才是王道。**

    爬虫四大工具:

    NO.1 F12 开发者工具

    看源代码:快速定位元素

    分析xpath:1、此处建议谷歌系浏览器,可以在源码界面直接右键看


    需要的加小编建的Q群 八八三四四四一零六 文件里有

    NO.2 抓包工具

    推荐httpfox,火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好,可以方便查看网站收包发包的信息

    NO.3 XPATH CHECKER (火狐插件)

    非常不错的xpath测试工具,不过也有几个小缺点,:

    xpath checker生成的是绝对路径,遇到一些动态生成的图标(常见的有列表翻页按钮等),飘忽不定的绝对路径很有可能造成错误,所以这里建议在真正分析的时候,只是作为参考

    记得把如下图xpath框里的“x:”去掉,貌似这个是早期版本xpath的语法,目前已经和一些模块不兼容(比如scrapy),还是删去避免报错。

    NO.4 正则表达测试工具

    在线正则表达式测试 ,拿来多练练手,也辅助分析!里面有很多现成的正则表达式可以用,也可以进行参考!

    相关文章

      网友评论

        本文标题:知道为什么没人学习python爬虫了,原来这样的,看完这个就不难

        本文链接:https://www.haomeiwen.com/subject/ekmdlqtx.html