背景：
随着公司各项业务的快速发展与扩张，服务器和各种应用系统随之而增加，同时对应用系统、服务器的稳定性，可持续性提出了更高的要求，公司希望搭建一套综合的分析与监控系统，为各个部分提供决策支持。
需要解决的问题：
（1）数据孤岛问题，数据分散在不同的业务系统当中；
（2）服务器日志信息如何有效搜集与存储；
（3）业务部门分析需求不固定，经常有新的需求提出，如何满足各部门的需求；
（4）基于上面的问题如何快速搭建多源的可视化分析系统；
技术选型与整体架构设计：
（方案一：业务数据ETL，基于数仓架构模式）
（方案二：采用数据直接模式）
（1）日志采集主要通过logstash来采集，然后存储到搜索引擎中；
（2）业务系统数据可以采用两种方案架构第一种是建设数仓，将不同数据汇集到数仓中；第二种：采用直连的方式直接对接大数据分析平台；
（3）大数据可视化分析采用NBI大数据可视化分析平台，可以实现多源数据分析，能很好的支持Elasticsearch，关系型数据库，大数据存储平台的数据接入；通过拖拽式和高度灵活的布局模式，可以快速构建各类可视化分析报告应用；通过权限控制，设置编辑与访问权限，保障企业数据资产的安全有效利用；
（4）最终通过NBI大数据可视化分析平台构建各类数据分析应用，输出给对应部门人员使用。
注意事项：
（1）Elasticsearch需要安装一个sql插件elasticsearch-sql，根据es对应版本下载插件，便于做交互式分析；
（2）NBI大数据平台中，目前对Elasticsearch支持的建模方式为SQL建模
操作步骤：
（1）在NBI大数据平台中，通过数据管理模块，添加Elasticsearch数据源；
（2）测试连接，检验是否能正常连接到Elasticsearch
（3）连接成功，通过SQL建立工作表模型
（4）构建数据报告：
（5）设置访问权限：
以上案例通过NBI大数据可视化工具（nbi.easydatavis.com:8033）完成
网友评论