生疏

作者: 阳春没有雪 | 来源:发表于2019-01-16 23:02 被阅读0次

        今天说实话,不太好过,2个问题,一个问题是sqoop导数报错,从HDFS导MYSQL,其实这个错误已经出现过好几次了,但是出现的频率不是很高,简而言之就是隔三差五给你来一次,真的很让人恶心,究其原因,错误是主键重复,但是查阅集群上的文件主键并没有重复,但是经过多次重试,又可以导进去,总结来说,就是:主键不重复但是入MYSQL时报主键重复,重试后成功但是重试的次数不定,最后我们能想到的可能触发错误的点是这个表定义的主键有一个是中文,有可能导入MYSQL中会发生转义,因为从日志看到的错误是乱码,且汉字发生了截取,入库部分乱码相同导致主键重复,但是一切都是猜想,需要验证!!

        第二个问题是:指标0407缺陷的原因找到了,缺少一个关联条件,简单描述就是:我会拿今天的数据和昨天的数据作比较,对于同一个客户如果关键信息发生了变化,我就认为它是新增,如果没有变化就是修改,在比较的过程中,由于关联字段个数不够,也就是粒度不够,导致数据量反而大增,而且标识也不对,这个问题已经解决,明天提交测试中心测试。

    

相关文章

  • 生疏

    好久都没有自己做一人份的饭了,今天打算吃米饭跟火锅,在煮米饭时没有把握量,结果煮出来的米饭有点不熟,火锅还好因为只...

  • 生疏

    两天没吃饭,终于感觉到饿了,就骑着小蓝车出去吃了点儿东西。回到学校后拿着东西准备往办公室走,可是突然一个陌生又熟悉...

  • 生疏

    其实真的当有一个曾经关系特别好的朋友 与你现在的联系微乎极微的时候 是有点落寞的 你会去审视你自己 你们,怎么就这...

  • 生疏

    下午的2点,晴天,暖阳,朗风。好天气啊。可惜,这份会心没人看重了。成年人的习以为常把活泼抹杀一个干净。 孤独,并不...

  • 生疏

    许久没有写文章 陈词滥调,逻辑不通,词句重复 那就每几天写个几百字的小短文吧 练起来

  • 生疏

    开的玩笑只是笑笑 丢出的梗摔在地上 伸出的手悬在空中 阔别八月有余 刚见面的我们 像一支刚刚从热水中拿出来的温度计...

  • 生疏

    太久不动笔杆, 久而久之 内心的悸动便没了 只留下 当初的那份初衷 悔不过 来去匆匆 愿只愿 还能再不生疏 了我心...

  • 生疏

    不過三天不寫 “詩”就從我身體裏溜走 總是凝視地鐵窗外面的那個影子 我看著他的時候,他也在看著我的靈魂 我應該是他...

  • 生疏

    任何东西,事情,放的久了,重新再捡起来就会变得生疏。 说话,做事,做人好像都是这样。习惯了独处,那么在人多的地方就...

  • 生疏

    有些生疏了,这么多年下来竟然完全不知道从何着笔。 小学的时候懵懵懂懂的,因为贪玩一次周末作文没有及时做...

网友评论

      本文标题:生疏

      本文链接:https://www.haomeiwen.com/subject/pgnvdqtx.html