不用写代码的爬虫系列-简介篇

在开始之前，先了解下常用的数据爬取工具有哪些~

一、常见数据爬取工具

常用数据抓取工具.png

图片来源：https://www.zhihu.com/people/chen-da-xin-84/answers

• 八爪鱼、火车头(LocoySpider)采集方便、能适应情况也很多，但是生存能力较差（易被反爬虫机制识别）
• Excel也可以抓取网页，但是生存能力差
• Python，爬虫利器，但是对于一般人来说需要投入的时间精力成本大

二、Web Scraper可以做些什么？

特征

Web Scraper支持动态加载数据类型，如：

• 可以等待页面里数据加载完再开工
• 可以自动点击分页按钮(第1页，第2页...)加载更多数据
• 可以自动点击加载更多按钮，加载更多数据
• 可以自动滚动/下拉页面加载更多数据

1. 分页
   栗子：中国房地产信息网-招拍挂公告

分页

2.加载更多
栗子：虎嗅网

加载更多

3.滚动/下拉
没找到实际页面╭(╯^╰)╮