使用datax归档mysql数据到hdfs,发现hive中始终多出一些脏数据（id = 8），内容如下:
脏数据
排查最终定位datax读取数据时产生了脏数据，原因在于datax类型转换：varhcar → string
根据最靠近8这个值的id回到mysql中查处这样的数据，明显string_data存在特殊字符：
查看原数据
mysql中对这两种特殊符号的存储为：
char(10): 换行符 char(13): 回车符
那我们可以用replace函数做查询转换：SELECT id,replace(string_data, char(10), '') FROM tb_querytable where id =178877467;
替换特殊符号
这个问题本质上还是应用上写入不合法造成的，对varchar，text等类型的数据写入应该要通知到研发做数据的合法约束。
背景： 使用datax归档mysql数据到hdfs,发现hive中始终多出一些脏数据（id = 8），内容如下: ...
一、概念： 换行符‘\n’和回车符‘\r’ （1）换行符就是另起一行 --- '\n' 10 换行（newline...
CHAR(10): 换行符CHAR(13): 回车符
换行[NSString stringWithFormat:@"注解：\n%@",noteStr] 换行加回车[NS...
资料来源1：回车与换行的区别 资料来源2：换行符‘\n’和回车符‘\r’ 图片来源： 回车：光标重新回到本行开头，...
来源 换行和回车容易搞混淆，其实它们是有区别的 换行符：作用为新（new）建一行，转义表示\n 回车符：作用为将光...
在pdf文字转换为word时，总会有不期然的换行符和回车符，下面的图示就是展示怎么消除大段的文字里面夹杂的换行符和...
8、9、10 和 13 可以分别转换为退格符、制表符、换行符和回车符32 为空格符
转义字符 \0 (空字符)、 \\ (反斜线)、 \t (水平制表符)、 \n (换行符)、 \r (回车符)、 ...
“ ” = 32 空格“\r” = 13 回车符"\n" = 10 换行符“\t” = 9 tab 键 删除文件中空行
本文标题：MySQL存储换行和回车符问题
本文链接：https://www.haomeiwen.com/subject/zvnbrrtx.html
网友评论