计算机毕业设计Hadoop+Spark+Hive招聘可视化招聘

作者: 计算机毕业设计大全 | 来源:发表于2024-09-26 17:00 被阅读0次

本文阐述了一款基于大数据计算框架对招聘信息进行智能分析的软件系统，实现了对数据采集、数据处理与分析、数据可视化展示为一体的操作，基本满足各类求职者所提出的求职需求。
本系统主要是由大数据系统以及可视化前端子系统组成。在可视化前端子系统中主要是采用了Springboot框架，mybatis框架，因为其去繁就简的特点，很容易创建一个独立的产品级应用，在可视化阶段采用Echarts来提供可交互的直观数据可视化图表。本系统采用的数据库是MySQL数据库，其目的是用来存储利用爬虫爬取到的大量招聘信息数据集和数据处理之后的分析结果。大数据系统中主要是对招聘信息数据集通过使用Hive进行数据清洗，然后再导入Hadoop HDFS中分布存储。在通过Spark并行计算进行数据抽取，多维分析，查询统计等操作来完成数据分析部分。在前端子系统中的数据明细查询功能中读取到MySQL数据库中的数据分析结果，最后生成Echarts图表展示给用户，为用户对于职业的分析比较大大节省了时间与金钱。