欢乐的周五

    今天说实话，心情还不错，两个问题得到了解决，第一，Sqoop由Hdfs入Mysql数据库主键重复的问题，真相已经浮出了水面，因为Mysql中默认是不区分大小写的，所以如果两条数据出了一个字段其他字段相同，而这个字段数据中除了大小写其他一样，那么这样的情况是会造成主键重复的，所以在定义表的时候需要对主键可能含有大小写的字段加上Binary，这样问题就会得到解决。第二，0601指标问题得到了改善，首先我先简要的说一下，该指标的作用,它主要是加工同IP地址在指定时间范围内连续登录次数大于指定值的客户，但是要剔除夫妻关系，也就是说，如果你登录了，你配偶也登录了，且两者的时间范围小于指定值的这种情况，只能算作一次，这个问题刚刚我又想了想还是不太对，暂时保留吧，问题还是未解决。