-
本文虽然针对的是特殊字符“^@”，但对于其他不可见的特殊字符依然适用。核心思想就是利用cat -v将不可见字符转变为可见字符，而可见字符是可以利用各种命令处理的。
-
今天处理一个文件的时候发现文件中字符间夹杂着特殊字符“^@”，这些特殊字符常态下是看不见的，但是可能会引发程序运行问题。此文件是从windows SQL Server中导出的数据，并传到Linux上来进行处理了。可以使用cat -v查看不可打印字符:
#看似正常 [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG !@#qweasd412 19960718.+0. 513321262@qq.com qqq3356273 13260362351 wucheng25 ZHAOGANG55555 zl13994178341 ytmfnia qaz911018 #查看不可打印字符 [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG | cat -v ^@!^@@^@#^@q^@w^@e^@a^@s^@d^@4^@1^@2^@ ^@1^@9^@9^@6^@0^@7^@1^@8^@.^@+^@0^@.^@ ^@5^@1^@3^@3^@2^@1^@2^@6^@2^@@^@q^@q^@.^@c^@o^@m^@ ^@q^@q^@q^@3^@3^@5^@6^@2^@7^@3^@ ^@1^@3^@2^@6^@0^@3^@6^@2^@3^@5^@1^@ ^@w^@u^@c^@h^@e^@n^@g^@2^@5^@ ^@Z^@H^@A^@O^@G^@A^@N^@G^@5^@5^@5^@5^@5^@ ^@z^@l^@1^@3^@9^@9^@4^@1^@7^@8^@3^@4^@1^@ ^@y^@t^@m^@f^@n^@i^@a^@ ^@q^@a^@z^@9^@1^@1^@0^@1^@8^@ -
查看文件类型
可以发现文件类型是data，根据man手册，data是file命令不能识别的文件类型[root@localhost]/home/NEW_HW1# file OLD.ZIP-SHEGONG OLD.ZIP-SHEGONG: data -
dos2unix 命令无效
-
去除特殊字符^@
特殊字符^@并不是两个字符，而是一个字符，一个使用“ctrl+V ctrl+@”才能打出来的字符。
网上提供了几种办法，但是没有解决问题：# 方法1 [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG | tr -d '^@' | cat -v ^@!^@^@#^@q^@w^@e^@a^@s^@d^@4^@1^@2^@ ^@1^@9^@9^@6^@0^@7^@1^@8^@.^@+^@0^@.^@ ^@5^@1^@3^@3^@2^@1^@2^@6^@2^@^@q^@q^@.^@c^@o^@m^@ ^@q^@q^@q^@3^@3^@5^@6^@2^@7^@3^@ ^@1^@3^@2^@6^@0^@3^@6^@2^@3^@5^@1^@ ^@w^@u^@c^@h^@e^@n^@g^@2^@5^@ ^@Z^@H^@A^@O^@G^@A^@N^@G^@5^@5^@5^@5^@5^@ ^@z^@l^@1^@3^@9^@9^@4^@1^@7^@8^@3^@4^@1^@ ^@y^@t^@m^@f^@n^@i^@a^@ ^@q^@a^@z^@9^@1^@1^@0^@1^@8^@ # 方法2 [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG | sed 's/\^@//g' | cat -v ^@!^@@^@#^@q^@w^@e^@a^@s^@d^@4^@1^@2^@ ^@1^@9^@9^@6^@0^@7^@1^@8^@.^@+^@0^@.^@ ^@5^@1^@3^@3^@2^@1^@2^@6^@2^@@^@q^@q^@.^@c^@o^@m^@ ^@q^@q^@q^@3^@3^@5^@6^@2^@7^@3^@ ^@1^@3^@2^@6^@0^@3^@6^@2^@3^@5^@1^@ ^@w^@u^@c^@h^@e^@n^@g^@2^@5^@ ^@Z^@H^@A^@O^@G^@A^@N^@G^@5^@5^@5^@5^@5^@ ^@z^@l^@1^@3^@9^@9^@4^@1^@7^@8^@3^@4^@1^@ ^@y^@t^@m^@f^@n^@i^@a^@ ^@q^@a^@z^@9^@1^@1^@0^@1^@8^@ -
试了网上的方法，没有成功，思考片刻，灵机一动，解决了问题：
# 先使用cat -v将不可见字符转为可见字符再转换不就可以了吗 # 注意，因为转变为了可见字符，所以^@成为了两个字符^和@ [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG | cat -v | tr -d '^@' | cat -v !#qweasd412 19960718.+0. 513321262qq.com qqq3356273 13260362351 wucheng25 ZHAOGANG55555 zl13994178341 ytmfnia qaz911018 # or [root@localhost]/home/NEW_HW1# head OLD.ZIP-SHEGONG | cat -v | sed 's/\^@//g' | cat -v !@#qweasd412 19960718.+0. 513321262@qq.com qqq3356273 13260362351 wucheng25 ZHAOGANG55555 zl13994178341 ytmfnia qaz911018 -
进行真正的转换
[root@localhost]/home/NEW_HW1# cat -v OLD.ZIP-SHEGONG | tr -d '^@' > t # Everything is OK [root@localhost]/home/NEW_HW1# du -mh t 1.1G t [root@localhost]/home/NEW_HW1# du -mh OLD.ZIP-SHEGONG 2.2G OLD.ZIP-SHEGONG # 文件类型也被file命令识别了 [root@localhost]/home/NEW_HW1# file t t: ASCII text [root@localhost]/home/NEW_HW1# head -2 t | cat -v !#qweasd412 19960718.+0.
网友评论