1、登录
网址:http://192.168.4.99:8080/xxl-job-admin
账号：admin
密码：admin
(因为本系统对一些老的IE内容不兼容，请使用有非IE内核的浏览器。比如是360浏览器，请选择急速版，不要选择IE兼容版。)
login
2、内容介绍
布局
采集系统的内容区域左边是导航栏，右边是对应的内容区。
主要有以下10个功能模块：
1、预警统计
预警统计走势图 ：预警走势图主要是通过采集程序不断的发出的MQ消息，形成走势图，以此来观察各个城市的采集是否正常运行。
预警走势图
统计走势图：是通过数据库查询出各个城市各个时间段的采集量走势图，主要是看看每天采集的量是否正常。
在日期后面的月份选择栏中，
如果直接选择的是“月份”（3月），那么就会展示这个城市这个月每天的案例采集量走势图。
城市-网站案例统计图-按月
如果选择的是“全年”，这里将显示的是当年，每个月的总量走势图。
城市-网站案例统计图-整年
预警列表：在通过程序不断地给服务器发送的MQ消息，我们可以根据一定的规则去断定采集程序状态是否正常，如果不正常，会记录在这个预警列表里，同事会给开发人员发送邮件通知。
按条件搜索预警列表
同时，每个预警后面有几个操作项：1、查看 2、编辑 3、查看日志 目前的预警比较多，所以没有处理，以后需要按时去处理这些异常。
查看：这个操作按钮主要是针对“1h抓取量预警”类型的预警才有的，主要是展示这个预警对应的城市-网站的走势，方便分析问题。
编辑：用于处理预警的，未来我们出了预警，要第一时间去找原因、解决。
查看日志：这个主要是给开发人员用的，出了预警后，点击查看日志能打开该预警对应的日志。方便找问题。
编辑预警状态
查勘预警的详细情况-走势图
2、导出案例
导出案例：这个功能是给数据组的同事使用的，用于导出已经标准化的数据。
导出上海市案例
3、任务管理
任务管理：这个是给开发的同事使用的，用于各个网站的的数据采集。建立任务以及管理任务。
特别提醒的是任务描述里面除了可以根据任务描述来搜索外，还可以根据任务的参数进行搜索。
列表里面的各个操作按钮：
启动：启动系统调度，不是立即执行任务
停止：停止系统调度
执行：立即执行任务，不用等系统调度。
日志：点击后查看这个任务最近的执行日志
任务列表
4、调度日志
调度日志：这个是给开发同事使用的，用于查看各个任务的日志，方便找问题。在Python爬虫中的printf打印出来的内容都会被记录到日志里
5、字段标准化规则
字段标准化规则：这个是给开发的同事使用的，用于管理标准化的时候字段管理细则。分了城市、行政区的映射以及一些案例字段的映射标准。可以新增、编辑、删除这些映射字段。
字段标准化时的映射
新增映射字段
修改和删除
6、楼盘坐标管理
楼盘坐标管理：是用于辅助 处理、纠正、核查楼盘坐标的工具。
查询城市-网站楼盘集合列表
这个地方有导入、进入编辑、自动计算、导出。
上传Excel文件导入数据
导入楼盘数据文件的格式
“上传”导入功能：就是在现在我们将楼盘，按照如下的格式整理好，然后通过上传Excel文件，导入我们待处理的楼盘数据。注意状态：0标识需要人工处理的，1标识待审核的，2标识已经经过人工审核了的。
自动计算待人工处理的案例
自动计算：这个是针对于需要人工处理的，服务器后台有一套自动找坐标的方法，能根据楼盘名——城市，自动找坐标。以此降低人工处理的工作量。服务器自动计算出来的楼盘，会由“人工处理”状态变更为“待审核”的状态
导出：导出我们数据库里面这个城市-网站所有的楼盘数据。导出文件为Excel格式的
导出的楼盘数据Excel文件格式
“进入编辑”：进入辅助采集楼盘坐标工具，本工具的坐标都是通过百度地图的坐标计算而出。以后会加入其它的坐标数据源。
处理楼盘坐标
人工处理：点击人工处理的选项，然后在楼盘列表点击楼盘名，在右侧会自动搜索百度，并弹出结果。并且会自动选出最合适的放入到编辑区。然后点击保存修改即可。（修改成功后，案例会自动进入到已审核里）
审核楼盘坐标
待审核：就是对自动计算出来的楼盘坐标进行查看，如果是正确的，那么就点击保存修改，表明已经审核过了。
已审核：表明这个案例是经过认为的去确认或者修改的。
7、楼盘名标准化规则
待开发，用于各个网站的楼盘，跟FDC中的楼盘做管联的工具。
8、系统设置
这个里面的功能有预警的标准设置，通用设置，以及各个城市-网站的案例量预警量的设置。
1h案例最低抓取量：1h内，每个任务的最低采集量，采集低的就会发送预警。（根据MQ消息来进行判断的）
各字段最高缺失率：根据MQ消息，如果MQ里的关键字段缺失率高于这个值，那么就会发送预警
最低标准化率：设置最低标准化值，这个值是用于设置标准化时，如果标准化后案例数目相对于未标注化前的，降低的量高于这个值时，就报出预警，提示标准化时有问题（有可能是网站的字段内容改版导致的）
最低入库率：这个暂未启动
每月的案例量环比涨跌幅：这个是相对于上个月的案例，如果采集量太高月上个月或者低于上个月太多，那么就说明要么采集了太多的重复案例，或者是采集的案例缺失太多。报出预警通知开发人员，做好监控检查。
预警基础信息设置
城市基准采集量配置：这个值对应的是一个月的量，比如北京是2000条，如果月底统计出这个月的案例量低于1380=2000*（1-31%） 或者高于3000=2000*（1+50%），那就就报出预警。
同事这个2000值，适用于每天的采集量预警。2000/30=66.6等于每天的量，如果某天采集的量，低于66条，那么也会报出预警。
城市基准采集量配置
这个是编辑城市采集量的多少的预警开关和数值。
编辑城市基准量预计配置
9、执行器管理
给开发者使用的页面。用于增加采集机器的配置页面。
执行器管理页面
网友评论