建设目标
以大数据技术为基础的日志存储分析系统建设，主要包含以下建设目标：
1、搭建大数据日志存储分析系统，为日志存储、使用、分析提供数据支持平台。
2、在搭建和使用平台的过程中，为信息技术部门培养出能熟练利用大数据平台进行系统维护和应用开发的人才。
3、为平台建设和人才培养留下充分的扩展接口，利用大数据技术建设数据中心、为各部门提供业务数据集市、为业务发展提供数据支持打下基础。
功能需求
数据采集
1、数据采集模块具备通用性，能采集各类文件（包含但不限于日志文件）、流式数据及各类结构化数据（数据库）
2、采集策略可以配置
3、可以集中、远程方式维护采集工具的数据采集配置（包括文件路径，流量控制，采集速度，缓存配置管理等），做版本变更，控制工具的启／停，以及监控采集进程的状态，并根据监控结果自动对采集工具进行重启或恢复动作
4、采集配置为可视化界面
5、采集代理的资源占用可以设置
6、数据采集包含实时与历史数据采集
数据解析
1、数据解析可以方便地通过配置正则表达式来完成。
2、可以解析各种类型文件及流式数据，文件的任意部分均可作为关键字。
3、数据解析需要能够处理实时与历史数据。
数据存储
1、存储的内容包含全部的日志原始数据。
2、日志数据存储于方便检索的分布式存储设备上，结构化数据存储在方便复杂的大数据处理的存储设备上。
3、三年以内的交易日志和一年以内的网络日志存放在快速检索设备上，三年以上的交易日志和一年以上的网络日志可以归档，归档的日志能够方便快速的恢复和检索。
数据检索
1、具备全文检索功能，支持简单的逻辑操作。
2、支持不同系统日志、事件、指标的关联检索。
3、支持检索结果的聚合统计。
4、支持结果上下文展示，并可以设置展示范围。
5、支持检索结果导出（EXCEL、CSV、文本、PDF等格式）
系统管理
1、集群统一界面管理，组件、机器、应用的状态、版本、控制、配置等由统一的界面进行管理。
2、服务器以及应用程序的加入、移除、启动、停止等均在统一界面管理完成。
3、权限管理，支持用户数据权限和应用权限的设置，支持按角色设置权限。
非功能需求
性能需求：
1、实时日志采集延迟不超过5S，实时报警不超过10S。数据处理能力不低于每天500G。全文检索三年内数据不超过10分钟。
2、三年以上数据恢复检索时间不超过4小时。
3、关键字检索三年内数据不超过3分钟。
4、仪表盘界面响应速度不超过2S。
5、数据展示使用B／S架构，支持100人同时在线。
6、客户端能够支持多种操作系统和浏览器。
安全性需求：
1、采集代理内存占用少于200M，CPU占用小于3%，且可以设置极限值。
2、系统故障解决时间不超过1小时，不会因为系统故障而缺失数据。
3、严格的数据权限和功能权限控制。
4、记录所有用户的操作日志并能很方便的查看。
可拓展性需求：
1、系统能够提供接口对接第三方平台，系统存储组件为开源或基于开源系统，能够提供方案和接口平移到未来选定的其他开源或基于开源的大数据平台。
二次开发需求：
1、项目全部代码及文档在项目结束时归银行所有。
2、提供系统以及各组件用于二次开发的接口及相关文档。
网友评论