数据分析报告样例 http://www.linfanli.xyz:8000/report/
一、背景
基于最近自动化实现数据分析报告，支持自动化实现不同分析主题的数据分析项目。例如：空气质量AQI分析报告，股票行情波动分析报表。
数据数据分析报告构成： 图表解释(pyechart只输出图表)、分析结论(文字描述)、统计分析(差别是否有统计学意义)。
二、目的
1. 设计统一报告模板：文字+图表
2. 自动化输出：python脚本一键式输出
3. 图表区可交互： 基于pyecharts库的html，继承echarts交互功能
4. 可扩展：报告模块可以动态扩展，例如样例有7个模块构成(概述/监测点/AQI/首要污染物/结论/源码/致谢)
三、数据来源
3.1 数据源
空气质量监测数据：数据源属主 新浪微博 @王_晓磊; 数据源下载地址: https://beijingair.sinaapp.com/
本次数据采用“中国空气质量数据”：china_cities_***.csv - 城市平均数据，数据采集频率1h/次；数据源同步最近时间：上个周日，即每周一次。
说明：因为数据源是爬虫数据，存在极个别日期的缺失，例如：china_city_20190824.csv
3.2 数据构成
第一行为列名，分别是日期、小时、数据类型、各个监测点名（城市名）；以下每行为某时刻一种类型的数据。
3.3 AQI指标
四、python实现
4.1 技术框架
python第三方库： jinja2 + pyecharts + html样式(css+js)
jinja2 是一个 Python 的功能齐全的模板引擎。它有完整的 unicode 支持，一个可选的集成沙箱执行环境，被广泛使用，以 BSD 许可证授权。以上是官方说明，简单来说，它提供了替换功能（变量替换）和一些强大的特性（控制流、继承等），可以快速生成数据文件，使得业务与数据分离开来，满足一些灵活多变的配置需求。 --摘自Python模板引擎Jinja2使用简介 https://www.jianshu.com/p/c7180eda4889
pyecharts 数据图表可视化工具，目前市面上存在2个版本，v0.5 和 v1.*；本报告脚推荐采用V1版本(v0.5绘图脚本完全区别于V1)，官网http://pyecharts.org/#/
html 渲染报告页面呈现样式，提供用户体验；方便、结构化、交互功能有利于提供报告的潜在价值。本报告脚本中已经提供html模板，包括导航栏、报表模块(单一文字， 图表+文字， Tab键多图表)，如果需要定制html模块需要一定html基础。
4.2 python-script
项目脚本按照功能进行封装，如下所示
4.2.0 报告模块template
报告模块可以拆分成各个模块的html文件，具体如下所示
wrapper.html 报告整体封装模板，主要包括如下部分：
1. title: 页面标题 参数变量
2. navvigation.html 报告导航栏 模板
3. content: 报告主体内容 参数变量
4. footer.html 报告页脚 模板
base.html 报告主体模板，可以扩展填充各模块： part0_html ~ part6_html 参数变量
navigation.html 报告导航栏模板，注意导航栏的模块数应和base.html参数保持一致，以便通过锚点实现快速导航定位
foot.html 页脚模板
section.html 报告模块模板，如下图所示包括模块标题和模块主题
tabs.html 报告Tab键切换模板，tab_title* 上述section.html的标题锚点，tab_content*的图形区组成
4.2.1 python-script 报告主脚本
1. Report.py 报告主脚本，调用模板生成报告，如下进行祥解
2. get_pyecharts.py 基于pyecharts的二次封装，生成图表对象
3. get_api.py 通过各个监测项目，计算AQI
4. templates.py 基于jinja2创建template调用函数
Report.py通过嵌套的方式，调用template，生成报告；根据python预编译流程，依次调用 wrapper.html -> base.html -> section.html -> tabs.html
4.4 现存问题及迭代方向
1. 结合Django 实现报告Web端访问，进行尝试后端管理平台实现自动化
2. 图表区目前不支持自适应，图表模块实现基于屏幕的自适应，需要前端资源支持
3. 数据层同步更新，本例仅是基于本地的离线数据
5. 项目创新及亮点
* 基于pyhton第三方库Jinja2通过调用模板的方式生成报告，以一已之力实现分析报告自动化输出；
* 解决之初报告图表静态的样式，可交互显示目标图形
6. 源码
由于简书不支持文件上传，且自带的引用格式不友好，后续尝试源码同步到百度云(链接: https://pan.baidu.com/s/1OxueUpLO6gESwTPYnAVkfQ 提取码: nwpm 永久有效，由于部分监测点未纳入echarts城市字典表，需要人肉录入)
a. 报告框架：Jinja2模板进行报表输出.
b. 报告样例：参照pandas_profile库的样式风格.
c. 报告图表：pyecharts库的图形输出.
致谢
项目背景: 监控数据报表需要以报告(有指标有纣)的形式输出,尝试落地输出html格式,附带图形交互功能.
a. 技术架构：Jinja2框架、pandas_profile样式、pyecharts图形.
b. 空气质量监测数据：数据源属主 新浪微博 @王_晓磊; 数据源下载地址: https://beijingair.sinaapp.com/.
c. 空气质量标准参照国家生态环保部 HJ 633--2012 http://kjs.mee.gov.cn/hjbhbz/bzwb/jcffbz/201203/W020120410332725219541.pdf
d. IAQI计算脚本 https://www.cnblogs.com/Kevin-WangXinzheng/p/9801041.html
e. 徒手人肉出报表，欢迎转发和打赏
网友评论