美文网首页Web Scraper
2.6 下滑加载选择器Element scroll down s

2.6 下滑加载选择器Element scroll down s

作者: niujw | 来源:发表于2019-12-02 14:42 被阅读0次

有些下滑到页面底部才会加载内容的网站
林俊杰微博抓取

老规矩只讲关键点
其实就是把我们之前做过的element selector换成 element click selector

  • 1 首先增加父级元素


    父级selector
  • 2抓取微博发布时间数据


    时间-子级selector
  • 3 抓取微博内容


    内容-子级selector

    最后看一下我们抓取的数据格式


    数据格式

总结:
当页面存在下滑至页面底部时才加载内容结构时 采用Element scroll down selector 这种选择器

使用Element selector, Element scroll down selector, Element click selector 这3种选择器时一定要创建子级选择器(link,text等)来采集真实内容,否则不会输出数据

相关文章

网友评论

    本文标题:2.6 下滑加载选择器Element scroll down s

    本文链接:https://www.haomeiwen.com/subject/ouoawctx.html