网络媒体大数据平台项目第一阶段验收心得

首先。本项目开展时长已有20天了,每天非常充实又忙碌的过着,一直忽略了记录一些东西。比如说新学到的知识,新接触的技术,新解决的问题,这些对我而言都是进步的印迹。

1.mongodb数据库的使用,具体用法需要在项目中重温。

2.jsp直接写action和sevlet,我觉得这方便极了。也容易修改。

3.大数据读取问题:

(1)本项目数据量极大,二十多亿条,在没有分布式和机械硬盘的情况下, 就要尽可能改善读写速度。

(2)利用翻页加limit避免一次性读完所有数据再前台显示,可以几秒内出结果。

(3)利用list<类名> 存储每次翻页读到的100条数据,我们通过语料标题点进去原文,就可以不需要从数据库里面存储,极大提升了耗时问题

(4)调用腾讯api进行语义分析。

(5)对于新闻语料进行检索,检索结果在前端要进行伪分页,优化查看效果

4.注意事项:

(1)同一个jsp页面,只能做一次request传值,所以我用REQUEST传页面数,再利用session传递list.

int hash=Integer.parseInt(request.getParameter("fid"));

List list=(List)session.getAttribute("forumlist");

……未完待续,具体代码以后附上。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 32,057评论 18 399
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,759评论 19 139
  • 在管理学中,有两个我们熟知的概念:进取心和幸福感。宁老师的管理课024讲中提到,工作的目标,应该基于员工的 “ 进...
    黄振国阅读 4,189评论 1 1
  • 在我们的国度里,人们对孩子的宠爱,估计是世界上最奢侈的,中国的父母太宠爱溺爱孩子了,只要自己有的,全都给了孩子,自...
    古城苍狼阅读 3,177评论 0 10