從linux拷貝到HDFS分區表報錯,查看是編碼問題,應該是解析的哥們用dos。
在分區字段出現亂碼 ,導致分區亂倫。
^M 應該是windows \n
--怎麼解決? 那就用dos2unix 轉一下編碼。
1.首先安裝包。
[root@jiexi_71 Packages]# rpm -ivh dos2unix-3.1-37.el6.x86_64.rpm warning: dos2unix-3.1-37.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY Preparing... ########################################### [100%] 1:dos2unix ########################################### [100%] [root@jiexi_71 Packages]#2. 後台運行
[root@jiexi_71 finish]# more do.sh
#!/bin/sh
cd /data1/load/finish
dos2unix *
例子:
[root@jiexi_71 finish]# dos2unix S_COM_GN__20160507__00108__20160518145218-897888-4.dat dos2unix: converting file S_COM_GN__20160507__00108__20160518145218-897888-4.dat to UNIX format ... [root@jiexi_71 finish]#3.執行hdfs拷貝, 執行應該不會報錯。