selenium是python的一个第三方自动化测试库，虽然是测试库，却也非常适合用来写爬虫，而phantomJS是其子包webdriver下面的一个浏览器。phantomJS本身是一个无头浏览器（headless browser），也称无界面浏览器。可以在通过官网下载运行phantomjs.exe，简单几行代码也能访问网页，爬取数据。但本文主要讨论通过python的selenium库使用phantomJS。除了phantomJS浏览器，webdriver还整合了Chrome、Firefox、IE等浏览器，并提供了操作这些浏览器的接口。
1. phantomJS的并发问题
phantomJS爬数据比较慢，并发编程几乎是必选项。最初，我考虑采用多线程/协程的方式，毕竟对于这种IO密集型的程序，多线程/协程比较合适。但多次测试下来，程序却遇到各种问题，有时能成功运行，有时却不能。尝试将phantomJS改成Chrome，程序居然能正常运行，这基本确定是phantomJS的锅了。所以，如果需要并发编程提高效率，用Chrome比较好，虽然内存占用相对较多，况且经下面简友提醒，在没界面的主机上也可以跑Chrome，那自然更好了。
在网上仔细查找了相关资料（这玩意的中文资料极少，只能去国外技术论坛潜水），原来phantomJS本身在多线程方面还有很多bug，建议使用多进程，具体什么原因有时间再去了解。
关于多进程，推荐使用multiprocessing库，简洁、高效！下面几行代码便实现了多进程并发。
from multiprocessing import Pool
pool = Pool(8)
data_list = pool.map(get, url_list)
pool.close()
pool.join()
2. phantomJS进程不自动退出问题
话说，一开始我写好程序后，先在本地测试了一段时间，确认程序各方面都没问题后，直接扔阿里云主机上跑了。过了一段时间，查了下程序运行日志，很好，一切如常。于是我就高高兴兴地摸鱼去了。
第二天准备登录主机验收程序时，却发现居然无法登录！啥，无法登录？难不成这个小爬虫程序还能把主机搞崩？我先在阿里云后台查看了主机的运行日志，发现主机的内存使用越来越高，应该是内存耗尽后，强制关机了。似乎是程序没有回收内存，导致占用的内存越来越大。明确大致原因后，就是痛苦的查bug过程了。
由于bug涉及内存的使用，我自然地想到了用top命令查看进程的内存使用情况。先运行程序，然后运行top命令，实时检测程序的内存使用情况。一开始程序占用内存在正常范围，只有一个phantomJS进程在运行，似乎没有什么不对。但随着时间的增长，内存中居然同时有好几个phantomJS进程在运行，内存所剩空间越来越小！但根据程序的逻辑，任何时候都只有一个phantomJS进程在爬数据。我意识到可能是由于phantomJS进程没有正常关闭，所以在内存中驻留的phantomJS进程越来越多，最终吃光了内存。
带着这个问题，我重新检查了一次代码，尤其在程序异常退出的地方。最终找到了类似下面的代码：
try:
self.driver.get(url)
self.wait_()
return True
except Exception as e:
return False
程序的逻辑是：如果在打开url的过程中报错，那么就返回False，反之返回True。
似乎直接return False的处理太粗心了。我尝试着在return False前加上一行self.driver.quit()。再次运行程序，并用top查看内存使用情况，发现程序的内存使用一直都在正常范围内，并没有出现多个phantomJS进程的情况，问题搞定！后面在网上找到的资料也证实了我的猜想：主程序退出后，selenium不保证phantomJS也成功退出，最好手动关闭phantomJS进程。
看来python的selenium库不是很成熟，还存在一些问题，一些函数的实际运行情况并不是预期的那样，在查bug时，要留意这些问题。
总结
总的来说，selenium库简单，容易上手，是爬动态网页的杀手级武器，但对phantomJS浏览器的支持还不是特别完善。当然，了解存在的问题，并找到对应的解决方法，就能发挥phantomJS的威力了。
网友评论