美文网首页我爱编程
phantomjs抓取完整网页

phantomjs抓取完整网页

作者: 北方蜘蛛 | 来源:发表于2017-02-25 10:16 被阅读2803次

    phantomjs:我的理解就是它是一个无显示的浏览器,也就是说除了不能显示页面内容以外,浏览器能干的活儿它基本上都能干。so,最近由于实验需要,要从某电商爬一点图片,但是它又是AJAX生成的,单纯的爬取HTML的方法是行不通的,o(╯□╰)o,于是在经过一些求助后,;了解到了PHANTOMJS,鉴于网上没找到太多实例,只好自己总结下以备不时之需。另外直接查看官网上的说明文档会有很大收获滴~顺便锻炼下自己英文嘛o(╯□╰)o。下面举个栗子来具体实现:

    把phantom下载解压到D盘,在目录下有phantomjs.exe文件(win7) 通过js文件可以调用这个WebKit来达到需要的目的:比方说生成网页快照之类吧。我要做的是爬AJAX页面上的图片。先看js文件:命名为s.js

    [javascript] view plain copy

    到这里,就得到了所需要的AJAX完整页面的代码字符串了,接下来就可以do whatever you want啦

    http://f2er.info/article/29 则个才是终极方案

    相关文章

      网友评论

        本文标题:phantomjs抓取完整网页

        本文链接:https://www.haomeiwen.com/subject/hmvgwttx.html