Python爬虫之爬虫利器集合

作者: 学而不厌888 | 来源:发表于2017-07-18 09:43 被阅读48次

    1,requests库

    pip install requests

    http://docs.python-requests.org/en/master/

    2,Beautiful Soup库

    pip install beautifulsoup4

    http://beautifulsoup.readthedocs.io/zh_CN/latest/

    3,lxml库

    pip install lxml

    http://lxml.de/index.html

    4,phantomJs

    PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG。

    http://phantomjs.org/

    http://phantomjs.org/quick-start.html

    5,Selenium

    selenium,是一个自动化测试工具。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

    PhantomJS 用来渲染解析JS,Selenium 用来驱动以及与 Python 的对接,Python 进行后期的处理,完美的三剑客.

    http://selenium-python.readthedocs.io/index.html

    pip install selenium

    6.pyquery

    pip install pyquery

    https://pythonhosted.org/pyquery/

    pyquery 可让你用 jQuery 的语法来对 xml 进行操作。

    相关文章

      网友评论

        本文标题:Python爬虫之爬虫利器集合

        本文链接:https://www.haomeiwen.com/subject/jiuckxtx.html