流程:
1.Python爬虫采集物流数据等存入mysql和.csv文件;
2.使用pandas+numpy或者MapReduce对上面的数据集进行数据清洗生成最终上传到hdfs;
3.使用hive数据仓库完成建库建表导入.csv数据集;
4.使用hive之hive_sql进行离线计算,使用spark之scala进行实时计算;
5.将计算指标使用sqoop工具导入mysql;
6.使用Flask+echarts进行可视化大屏实现、数据查询表格实现、含预测算法;
![](https://img.haomeiwen.com/i21576447/b79c420185125d93.png)
![](https://img.haomeiwen.com/i21576447/a31b82f3a10ae414.png)
![](https://img.haomeiwen.com/i21576447/8fa1f505d60d1506.png)
![](https://img.haomeiwen.com/i21576447/d2f57451092b5e0b.png)
![](https://img.haomeiwen.com/i21576447/123e0037420ee69f.png)
![](https://img.haomeiwen.com/i21576447/b63ff67d267df35f.png)
![](https://img.haomeiwen.com/i21576447/5700478e0ad8eb65.png)
![](https://img.haomeiwen.com/i21576447/70a8cbbc26dae453.png)
![](https://img.haomeiwen.com/i21576447/fe352877195a951e.png)
1.Python爬虫采集物流数据等存入mysql和.csv文件;
2.使用pandas+numpy或者MapReduce对上面的数据集进行数据清洗生成最终上传到hdfs;
3.使用hive数据仓库完成建库建表导入.csv数据集;
4.使用hive之hive_sql进行离线计算,使用spark之scala进行实时计算;
5.将计算指标使用sqoop工具导入mysql;
6.使用Flask+echarts进行可视化大屏实现、数据查询表格实现、含预测算法;
本文标题:计算机毕业设计hadoop+spark+hive物流预测系统 物
本文链接:https://www.haomeiwen.com/subject/tltzkjtx.html
网友评论