美文网首页大数据 爬虫Python AI Sql
nodejs云采集云爬虫控制台

nodejs云采集云爬虫控制台

作者: 北方蜘蛛 | 来源:发表于2019-02-20 18:12 被阅读2次

简介

本系统是一个完全由后台管理控制台来编写,部署,的智能平台,由nodejs mysql编写。

功能模块

任务配置,日志模块,代理IP模块,模板配置模块,运行异常报警模块。

详细介绍

支持xpath规则,支持json规则

不说太多废话了直接上图了

任务管理列表

新增任务

新增任务

编辑任务 x-path

编辑任务

编辑任务 JSON

编辑任务JSON版本

任务详情

任务详情
新增模板

新增模板就是要配置抓哪一类的网站,需要抓那些字段

新增模板

就先上这些图吧,总之是比较好的云爬虫平台,可以开放给需要采集数据的用户用。目前还没想好如何商业化。

有技术问题,欢迎留言讨论。

相关文章

网友评论

    本文标题:nodejs云采集云爬虫控制台

    本文链接:https://www.haomeiwen.com/subject/btohyqtx.html