流程：
1.DrissionPage自动化爬虫框架采集猫眼电影数据约10万条存入mysql数据库、.csv文件作为数据集(旅游数据、用户数据、评论数据)；
2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs(含nlp情感分析)；
3.使用hive数仓技术建表建库，导入.csv数据集；
4.离线分析采用hive_sql完成，实时分析利用Spark之Scala完成;
5.统计指标使用sqoop导入mysql数据库；
6.使用flask+echarts进行可视化大屏幕炫酷展示；
电影票房预测[00h00m00s-00h00m20s].gif
创新点/特色：
1.全新DrissionPage爬虫框架，性能强悍碾压selenium/requests等常见传统Python爬虫技术；
2.可视化炫酷大屏幕；
3.虚拟机显摆敲命令碾压答辩现场(市面上全是假算法假爬虫假大数据都不带用虚拟机的)；
4.CNN K-Means深度学习票房预测；
5.Spark实时计算+Hive、Hadoop离线计算双实现有效避免导师喷你；
可选装web电影推荐系统 APP电影推荐系统 小程序电影推荐系统 电影后台管理系统
1.png
2.png
3.png
4.png
5.png
6.png
7.png
8.png
9.png
10.png
11.png
12.png
13.png
14.png
15.png
16.png
17.png
18.png
网友评论