一、Scrapy
二、PySpider
三、Crawley
四、Portia
五、Newspaper
六、Beautiful Soup
七、Grab
八、Cola
九、selenium
Selenium 是自动化测试工具。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果在这些浏览器里面安装一个 Selenium 的插件,可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。
Selenium支持多种语言开发,比如 Java,C,Ruby等等,PhantomJS 用来渲染解析JS,Selenium 用来驱动以及与 Python 的对接,Python 进行后期的处理。
十、Python-goose框架
Python-goose框架可提取的信息包括:
1.文章主体内容
2.文章主要图片
3.文章中嵌入的任何Youtube/Vimeo视频
4.元描述5.元标签
以上就是十款十款Python爬虫框架大推荐 ,希望可以帮助大家在工作中更加方便高效。
我是白又白i,一名喜欢分享知识的程序媛❤️感兴趣的可以关注我的公众号:白又白学Python【非常感谢你的点赞、收藏、关注、评论,一键三连支持】
网友评论