简介
本系统是一个完全由后台管理控制台来编写,部署,的智能平台,由nodejs mysql编写。
功能模块
任务配置,日志模块,代理IP模块,模板配置模块,运行异常报警模块。
详细介绍
支持xpath规则,支持json规则
不说太多废话了直接上图了
![](https://img.haomeiwen.com/i996167/bec85e52fed21958.png)
新增任务
![](https://img.haomeiwen.com/i996167/6ae3d4be2059a60a.png)
编辑任务 x-path
![](https://img.haomeiwen.com/i996167/b040db88aa51fbe6.png)
编辑任务 JSON
![](https://img.haomeiwen.com/i996167/ab8d0747418941e5.png)
任务详情
![](https://img.haomeiwen.com/i996167/c9cf8ec3962eb497.png)
新增模板
新增模板就是要配置抓哪一类的网站,需要抓那些字段
![](https://img.haomeiwen.com/i996167/80242b6426b7c277.png)
就先上这些图吧,总之是比较好的云爬虫平台,可以开放给需要采集数据的用户用。目前还没想好如何商业化。
有技术问题,欢迎留言讨论。
网友评论