问题描述：在hive里运行select count(1)操作一个表时，老是失败，但是其它sql确不报错能正常跑出结果
问题解决：查看日志，发现会出现如下错误
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
首先想到的是可能内存不够啊，于是增加以下两个参数分别设置为2048和-Xmx1638m
mapred-site.xml中以下两个参数
yarn.app.mapreduce.am.resource.mb
yarn.app.mapreduce.am.command-opts
重新跑还是报这个错，继续调大参数还是报错
后来感觉问题不是出在这，查看50070上的节点状态和该表的存储分布，发现该表发生了数据倾斜
而且有两台服务器有问题，修改两台服务器的问题（服务器上的可用物理内存不够，进行手动释放缓存解决）并让开发重新创建表后，问题解决
IT新一代运维大屏，数据驱动运维智能化 重新定义，运维监控平台 运维数据融合集成，构建最强运维平台 用户知识图谱化...
问题描述：在hive里运行select count(1)操作一个表时，老是失败，但是其它sql确不报错能正常跑出结...
需求描述：开发通过jenkins打包成功运维推送一条打包数据，测试部署成功运维推送一条部署数据，同1个版本记录部署...
问题描述:部门承接的某运营商的CRM项目日志查询出现延迟，最高延迟达半小时，严重影响业务运行。问题解决:首先对他们...
问题描述：在resourcemanager页面查看到一些节点的Health report中报 1/4 local-...
问题描述：一个项目组的同事反应他们的集群hive突然出现了问题，走mr就报错 问题解决：首先问了下他们最近做了些什...
问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们...
问题描述：集群中原有采集程序从源文件入hbase出现积压，优化修改程序都无济于事，需要赶紧出个方案进行解决 问题解...
问题描述:公司之前的采集产品由于对大数据这块水土不服,入库慢等原因,再加上负责这个产品的团队全部走光,导致现在出了...
问题描述:一个hbase集群出现数据倾斜，并且服务器经常会宕机问题解决:登录60010界面查看region的分布情...
本文标题：大数据运维问题记录(一)
本文链接：https://www.haomeiwen.com/subject/actejttx.html
网友评论