美文网首页
2018-10-16

2018-10-16

作者: 福莱得 | 来源:发表于2018-10-16 20:37 被阅读0次

    日记10月16日

    今天和后端大数据服务死磕了一天。前一段时间大数据服务停了,就改了mysql连接配置,还以为自己解决了问题,周一试图打开直播统计数据,结果怎么也打不开。后台一看数据库,中文全变成??了。昨天先看了看代码,看了个轮廓,分析应该不是代码问题。估计还是数据库的配置和连接问题。于是计划好了早上一来就试试测试环境。于是先跟kafka环境磕,kafka、zookeeper,好不容易反复重启后,终于把kafka弄稳定了。然后是和spark磕,自己提交的任务总是跑不了几步就死掉。于是又开始跟hdfs、hadoop磕。把hdfs、hadoop、flume折腾稳定了,再试数据库。根据网上找来的修改字符集的语句修改了单个字段字符集编码,尝试修改表字符编码时报错了,于是只能修改字段字符集,修改成utf8mb4,为了支持emoji字符。然后把mysql连接部分配置代码改会之前的改动,再次提交spark任务,终于spark任务畅快的跑了起来。

    自己对大数据这块还是没什么概念,为了工作需要,必须把大数据这块东西的学习排上日程。总得来说,大数据的环境搭建还是有些复杂与繁琐。比如想要停止一个spark任务,必须要在页面上找到application,然后在一个很不起眼的地方去停止它。

    还有新起动flume和spark任务的时候,最好把hdfs上的数据清除一下,不容易出错。hdfs 的相关命令如下:

    hdfs dfs -ls /目录

    hdfs dfs -rm /文件

    修改表字符集命令:alter table cloudpDB.liveRecord change  nickname nickname VARCHAR(191)     CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

    注意:这里的nickname 原来是varchar(255), 原来的utf8编码一个字符占3个字节,255x3=765, utf8mb4 一个字符4字节,191x4=764,这里只能放下191个字符了。

    相关文章

      网友评论

          本文标题:2018-10-16

          本文链接:https://www.haomeiwen.com/subject/hwhkzftx.html