美文网首页
计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程

计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程

作者: 计算机毕业设计大全 | 来源:发表于2023-09-01 14:23 被阅读0次

    流程

    1. selenium爬取慕课网的课程、章节、评论数据集分别存两个地方:mysql数据库[便于后期选装推荐、预测算法、知识图谱、后台]、.csv文件;【需要注意的是慕课网评分不准,需要使用深度学习知识NLP模型进行文本分类、情感分析!!!】
    2. 将.csv上传到hdfs中,并使用hive建表后导入.csv数据;
    3. 9个指标,一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处理计算,并使用sqoop把hive分析结果导入mysql;
    4. 最终使用flask+echarts制作可视化统计大屏图;


      1.png
    2.png 3.png 7.png 8.png

    创新点

    NLP模型进行文本分类情感分析、Python爬虫采集50万+数据集、可视化大屏、spark+hive离线计算实时计算混合开发双实现防止被导师喷

    注意:如果导师或者你个人还觉的这个项目工作量不够,可以选装推荐系统、预测系统、知识图谱、后台管理,我保证无缝衔接1秒内安装+选装成功!因为下面的系统和现在的可视化系统是姊妹关系,共用数据库表、CSV等,直接可以对接上!如下↓

    1.png 2.png 3.png 4.png 5.png 6.png 10.png 12.png 15.png 23.png 24.png 25.png

    相关文章

      网友评论

          本文标题:计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程

          本文链接:https://www.haomeiwen.com/subject/yyytvdtx.html