首先。本项目开展时长已有20天了,每天非常充实又忙碌的过着,一直忽略了记录一些东西。比如说新学到的知识,新接触的技术,新解决的问题,这些对我而言都是进步的印迹。
1.mongodb数据库的使用,具体用法需要在项目中重温。
2.jsp直接写action和sevlet,我觉得这方便极了。也容易修改。
3.大数据读取问题:
(1)本项目数据量极大,二十多亿条,在没有分布式和机械硬盘的情况下, 就要尽可能改善读写速度。
(2)利用翻页加limit避免一次性读完所有数据再前台显示,可以几秒内出结果。
(3)利用list<类名> 存储每次翻页读到的100条数据,我们通过语料标题点进去原文,就可以不需要从数据库里面存储,极大提升了耗时问题
(4)调用腾讯api进行语义分析。
(5)对于新闻语料进行检索,检索结果在前端要进行伪分页,优化查看效果
4.注意事项:
(1)同一个jsp页面,只能做一次request传值,所以我用REQUEST传页面数,再利用session传递list.
int hash=Integer.parseInt(request.getParameter("fid"));
List list=(List)session.getAttribute("forumlist");
……未完待续,具体代码以后附上。
网友评论