1,requests库
pip install requests
http://docs.python-requests.org/en/master/
2,Beautiful Soup库
pip install beautifulsoup4
http://beautifulsoup.readthedocs.io/zh_CN/latest/
3,lxml库
pip install lxml
4,phantomJs
PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG。
http://phantomjs.org/quick-start.html
5,Selenium
selenium,是一个自动化测试工具。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。
PhantomJS 用来渲染解析JS,Selenium 用来驱动以及与 Python 的对接,Python 进行后期的处理,完美的三剑客.
http://selenium-python.readthedocs.io/index.html
pip install selenium
6.pyquery
pip install pyquery
https://pythonhosted.org/pyquery/
pyquery 可让你用 jQuery 的语法来对 xml 进行操作。
网友评论