美文网首页
小白也能用的数据爬虫工具

小白也能用的数据爬虫工具

作者: 诸葛妙计 | 来源:发表于2020-10-20 22:12 被阅读0次

    不会写代码的小白,想快速收集数据,比如,收集公众号的所有历史标题,收集微博评论,收集电商网站商品信息,数据少还好办,一条条复制粘贴就行,数据多了,就需要用到爬虫,但不会写代码怎么办?有没有不用写代码也可以用的爬虫工具呢?当然有,谷歌浏览器下的web scraper插件就是这样一个工具,它基本能满足一般人不写代码也能爬取数据的需求。

    web scraper的安装方式分两种,一种在线安装,需要科学上网。一种是本地安装,把插件安装包下载下来安装。第一种方式,直接访问chrome应用商店,搜索web scraper插件,点击“添加至chrome”然后根据提示安装即可。第二种方式,打开chrome,进入扩展程序管理界面,将下载好的webscraper.crx拖到chrome页面,点击“添加到扩展程序”即可。

    web scraper的使用,一般在想要爬取数据的网页上点击右键,选择检查选项,就可以看到web scraper了,一般默认的面版靠右侧,不好操作,可以点击出现的面板的右侧的竖着的三个点,修改面板停靠方式,选择停靠在下方即可。

    那具体怎么用呢?先简单说一下,主要分两步,一、创建sitemap(站点地图),主要就是设置爬取网站的地址。二、设置selector(选择器),就是设置要抓取的内容及一些基本属性。设置完成后就可以开始抓取,然后将抓取的数据导出即可。具体如何操作的细节,可以搜索视频教程。

    相关文章

      网友评论

          本文标题:小白也能用的数据爬虫工具

          本文链接:https://www.haomeiwen.com/subject/puyjmktx.html