前言
数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。
创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。
这里简单介绍一下sqlpro这个项目的核心功能。
这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。送给正在学习python的小伙伴！这里是python学习者聚集地，欢迎初学和进阶中的小伙伴！
来微信公众号：“速学Python”，拿Python学习资料
本项目基于python的flask web框架。提供简单的页面（起初准备用vue写前端，奈何自身能力所限，遂放弃。依然基于flask+jinja2的mvt模式）。
对于数据查询引擎部分，因为需要支持多数据源，所以选用了presto。presto是一个优秀的支持多种数据源联合查询的数据查询引擎。
可视化部分选用了pyecharts进行集成。方便完成多种数据图表的展示，由于前端能力薄弱，只开放了一些通用设置，还需继续完善。
功能特性
动态添加数据源，支持多数据源联合查询
数据处理统一使用pandas库，方便二次开发
基于pyecharts的可视化模块，图表类型齐全
dashboard构建及链接分享
data wrangling功能（后续支持）
在线数据录入及数据下载（后续支持）
当前版本主要实现了基本的数据源管理，数据查询，数据可视化及数据仪表板等功能。在后面的迭代过程中会以data wrangling作为主要功能，方便数据的清洗和预处理。
项目展示
总结
本文没有过多的讨论该项目的实现原理，感兴趣的可以看看源码，比较简单。有兴趣的话可以参与进来一起哦。
同时，该项目也会持续更新，希望未来可以加入更多实用的功能。
网友评论