步骤:
1.Python采集深圳政府公开数据平台的共享单车数据(最大可采集上亿2017-2021数据),并用百度逆地理编码服务解析经纬度获取位置信息。并将数据上传hdfs;
2.可使用sklearn、卷积神经网络等算法对数据进行分析,对共享单车的订单量进行有效预测;
3.使用PyHive、Hadoop等技术对hdfs中的共线单车数据进行离线分析(有需要的话后期可以改造成PySpark Scala Spark Flink PyFlink分析);
4.对3中的分析指标使用sqoop导入到mysql数据库;
5.使用flask+echarts+layui搭建可视化系统、hive数据查询系统;
6.大屏端直接查询Mysql指标表的数据完成可视化。hive数据仓库查询系统连接虚拟机中的hive进行多条件数据检索;
创新点、爬虫、百度逆地理编码解析、预测算法、可视化大屏、PyHive新技术的应用
![](https://img.haomeiwen.com/i21576447/d106e17ef8e1953e.jpg)
![](https://img.haomeiwen.com/i21576447/db3c6cc78abcb395.png)
![](https://img.haomeiwen.com/i21576447/c7d422c676c04551.png)
![](https://img.haomeiwen.com/i21576447/0708425a147a1322.png)
![](https://img.haomeiwen.com/i21576447/2f55fb7019497b10.png)
![](https://img.haomeiwen.com/i21576447/e0377097dac786d4.png)
![](https://img.haomeiwen.com/i21576447/0d0d2c4f187346d9.png)
![](https://img.haomeiwen.com/i21576447/20fbb028025ed38b.png)
![](https://img.haomeiwen.com/i21576447/360e42c3b91ebbd0.png)
![](https://img.haomeiwen.com/i21576447/8690a54df92a5667.png)
![](https://img.haomeiwen.com/i21576447/005a5b7af8db84f5.png)
网友评论