美文网首页
uibot 之数据抓取功能UiElement.DataScrap

uibot 之数据抓取功能UiElement.DataScrap

作者: 尹楷楷 | 来源:发表于2021-04-06 18:27 被阅读0次
image.png

1、两次选择同一层级下的不同字段
uibot需要至少两次选择不同条目(这里是商品)的相同字段才可以识别特定选中字段;比如这里我选择商品A的评价、然后又再选择商品B的评价;这样商品的评价字段就被识别到添加到返回列表了。

第一次选择


image.png
image.png

第二次选择

image.png

2、使用抓取更多按钮来抓取结构化的更多字段数据
使用数据抓取得到的页面是纯文本,不是结构化的!比如我要得到json,而他却将所有字段以文本加上空格返回了。

image.png
应该是哪里有问题,我看到实例demo。抓取京东商品的程序打印数组其中的一个元素如下:明显使用数组的形式,使用逗号分割开了。肯定是我哪里还需要配置下。
image.png

皇天不负有心人,让我找到了。下面是区分字段后的效果:需要点击抓取更多数据这个按钮添加新的要抓取的字段!

image.png

3、分页抓取
如需要抓取其它页的数据就这样做。选择到翻页的“下一页按钮”,并将按钮位置信息xml设置到语句里面

image.png image.png image.png
这样就能做到一直往下自动翻页了。
当然想要做到没有数据就自动停止抓取那么就需要知道分页的总页数!在一些系统中可以得到(像这种电商网站不会给出的)。我们可以抓取这个数字然后设置到 UiElement.DataScrap的页数参数中。

相关文章

  • uibot 之数据抓取功能UiElement.DataScrap

    1、两次选择同一层级下的不同字段uibot需要至少两次选择不同条目(这里是商品)的相同字段才可以识别特定选中字段;...

  • 通过UIbot抓取京东商品链接

    凡是用过UIBot的用户,应该都会试过运行UIBot自带的《京东商品抓取》脚本。 但是这个脚本使用自带的数据抓取功...

  • Uibot 数据转换

    延时流程运行到延时会等待设置的时间后在执行后面的代码image.png 转为逻辑数据把数据转换为Boolean类型...

  • 04_中央气象台

    简述 再次进行分析抓取气象数据练习,本节主要抓取预报气象数据。抓取数据请勿存档,商用请联系官方。 爬取对象 抓取中...

  • iOS 防止 Charles 抓取数据

    iOS 防止 Charles 抓取数据 iOS 防止 Charles 抓取数据

  • 03_中央气象台

    简述 继续分析抓取气象数据练习,本节主要抓取实时气象数据。抓取数据请勿存档,商用请联系官方。 爬取对象 抓取中央气...

  • BeautifulSoup简介与安装

    Beautiful Soup简介 BeautifulSoup是python的一个库,最主要的功能是从网页抓取数据(...

  • 网络爬虫轻松入门笔记

    常见网页抓取工具 火车头采集器:老牌专业数据采集工具效率高、功能全、接口齐全,可扩展主要缺点:1.只能抓取静态网页...

  • requests-code说明

    Charles抓取的request的raw数据 chrome抓取的network数据

  • 抓包工具-fiddler

    关键词:fiddler功能点:1、HTTP/HTTPS协议数据的抓取与分析2、修改请求/响应数据3、超时和弱网络测...

网友评论

      本文标题:uibot 之数据抓取功能UiElement.DataScrap

      本文链接:https://www.haomeiwen.com/subject/bubjxktx.html