美文网首页
网络媒体大数据平台项目第一阶段验收心得

网络媒体大数据平台项目第一阶段验收心得

作者: Susy_ca6f | 来源:发表于2018-08-13 20:38 被阅读0次

    首先。本项目开展时长已有20天了,每天非常充实又忙碌的过着,一直忽略了记录一些东西。比如说新学到的知识,新接触的技术,新解决的问题,这些对我而言都是进步的印迹。

    1.mongodb数据库的使用,具体用法需要在项目中重温。

    2.jsp直接写action和sevlet,我觉得这方便极了。也容易修改。

    3.大数据读取问题:

    (1)本项目数据量极大,二十多亿条,在没有分布式和机械硬盘的情况下, 就要尽可能改善读写速度。

    (2)利用翻页加limit避免一次性读完所有数据再前台显示,可以几秒内出结果。

    (3)利用list<类名> 存储每次翻页读到的100条数据,我们通过语料标题点进去原文,就可以不需要从数据库里面存储,极大提升了耗时问题

    (4)调用腾讯api进行语义分析。

    (5)对于新闻语料进行检索,检索结果在前端要进行伪分页,优化查看效果

    4.注意事项:

    (1)同一个jsp页面,只能做一次request传值,所以我用REQUEST传页面数,再利用session传递list.

    int hash=Integer.parseInt(request.getParameter("fid"));

    List list=(List)session.getAttribute("forumlist");

    ……未完待续,具体代码以后附上。

    相关文章

      网友评论

          本文标题:网络媒体大数据平台项目第一阶段验收心得

          本文链接:https://www.haomeiwen.com/subject/mqcpbftx.html