流程：
1.scrapy采集豆瓣图书数据存入sqlite便携式内嵌数据库,从sqlite导出csv文件，使用pandas+numpy/MapReduce数据清洗再次生成清洁的.csv文件；
2.使用hive数仓工具进行建库建表操作并导入.csv文件数据；
3.离线分析采用hive_sql完成，实时计算采用Spark+Scala完成；
4.离线+实时计算的结果指标使用sqoop导入mysql数据库；
5.使用Flask+Echarts搭建可视化大屏展示；
创新点：scrapy分布式爬虫、可视化大屏、离线+实时计算双实现防止导师喷人！
注意：如果你还觉得本系统太low了，可以选装如下系统的后台管理系统、推荐系统、预测系统、知识图谱等。
1.png
2.png
3.png
4.png
5.png
6.png
7.png
8.png
9.png
10.png
11.png
12.png
13.png
14.png
网友评论