美文网首页
(五)获取JS动态内容

(五)获取JS动态内容

作者: 交易狗二哈 | 来源:发表于2017-03-24 20:43 被阅读296次

有关 JS 动态网页的爬取
有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在HTML源码中却发现不了。

今日头条 为例
如果我们要爬取首页滚动的新闻
右键首页新闻滚动框的新闻,点击 检查,可以看到网页加载的元素里有我们想要的内容


但是按 F12 查看源代码,却发现找不到我们想要的新闻了。

对于这种网页,我们应该如何对网页进行爬取呢?有两种方法:

(一)、从网页响应中找到JS脚本返回的JSON数据
(二)、用 Selenium 模拟浏览器对网页进行访问

我们分别来试试这两种方法。
1、通过 json 数据爬取 JS 动态内容
2、通过 selenium 模拟浏览器爬取 JS 动态内容

相关文章

  • (五)获取JS动态内容

    有关 JS 动态网页的爬取有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在...

  • ios提取网页内容

    项目需要通过提取网页的内容。 实现思路:UIWebView的请求拦截——js的动态注入——内容的获取——内容的返回...

  • Jsoup获取动态js生成的内容

    Jsoup本身是只能获取到静态页面的数据,并无法获取动态生成的内容,所以单单使用jsoup是无法获取到js生成的内...

  • javaScript 基础知识

    JavaScript js能干什么? 数据验证 ajax 动态的获取改变页面内容 增加页面动画效果 操作DOM c...

  • iOS中Runtime常用示例

    Runtime的内容大概有:动态获取类名、动态获取类的成员变量、动态获取类的属性列表、动态获取类的方法列表、动态获...

  • iOS-Runtime

    Runtime的内容大概有:动态获取类名、动态获取类的成员变量、动态获取类的属性列表、动态获取类的方法列表、动态获...

  • 爬虫之scrapy-splash——scrapy+js渲染容器

    简介 scrapy作为爬虫利器,我就不多说了。常见的结合js的爬虫,一般用来扒取网页动态内容,就是通过操作js获取...

  • python获取js得内容

    获取js内容

  • runtime基础

    目前我所了解的Runtime内容大约有:动态获取类名、动态获取类的成员变量、动态获取类的属性列表、动态获取类的方法...

  • ng中使用jqcloud随机颜色大小标签

    使用jqcloud-1.0.4 html css js ng动态获取数据

网友评论

      本文标题:(五)获取JS动态内容

      本文链接:https://www.haomeiwen.com/subject/tsfqottx.html