WebHunter爬虫系统介绍

WebHunter是最近开发的一款新闻爬虫系统，它分为手动和自动两种模式，可以基于web容器如tomcat运行，也能够作为客户端独立运行在命令行模式下，而且能够扩充为GUI客户端。

本文是对WebHunter爬虫系统的介绍。旨在提供一份较为明晰的文档指导用户使用。

手动模式

1. 手动模式基于web平台，部署应用之后访问对应的url，此处是本地模式，即
   http://localhost:8080/EducationNewsHunterSpider/ 如图 launcher.png
2. 输入需要爬取的页面，以腾讯新闻模块为主要对象，以http://edu.qq.com/edunew/为根路径
   此处选取目标链接为http://edu.qq.com/a/20160727/038940.htm，
   其内容为
   target.png
3. 输入目标链接到输入框，点击提交
   ![X@Y4VD5QWZXPK]RV8O`86KS.png](https://img.haomeiwen.com/i120808/ac89c8740845d9c3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

4. 上方红字会提示抓取结果是否成功

   
   result.png

5. 返回结果为“数据添加成功，请继续添加”，查看数据库确认是否持久化成功

   
   database_result.png

6. 打开新闻展示页面，进一步确认结果

   
   (newsmenu.png
   newscontent.png
7. 手动模式运行方式基本如上所述

自动模式，自动模式有两种启动方式

---

a. 命令行模式
b. web模式

---

命令行模式

1. 应用已经打包为JavaSE的jar file，因此可以在命令行中通过java -jar filename加载，如图

   
   CLI.png

2. 命令行下显示为“持久化成功”的则可以在数据库中查看到，内部逻辑已经打包在jar中不对外显示

   
   database2.png

---

web模式

1. 这里和手动方式相同，通过http://localhost:8080/EducationNewsHunterSpider/进入启动页
   

   launcher.png

2. 在上方自动模式区域输入要调用的线程数量，以及命令模式“on”/“off”
   这里输入线程数为3选取on点击submit

   
   auto-launcher.png

3. 进入实时抓取页面，并显示当前扫描到的url

   
   scanner-web.png

4. 同时在控制台也能实时同步抓取数据情况

   
   console.png

5. 如果想要手动强制取消抓取进程，点击web界面中的“返回首页”

   
   scanner-web.png

6. 在首页上方选取“off”选项，submit

   
   off-web.png

7. 即可停止抓取序列

小结

本文主要从操作上对WebHunter整体做了一个详细的讲解，旨在为使用者提供一个演示文档，从而能够更直观的使用该工具抓取新闻页面。