第一,如何進行文件轉換:
DOS/Windows和Linux/Unix的文件換行回車格式不同,基於 DOS/Windows 的文本文件在每一行末尾有一個 CR(回車)和 LF(換行),而 UNIX 文本只有一個換行。
1,把Dos/Windows下的文件移至Linux/Unix系統
雖然很多程序不在乎 DOS/Windows 格式的 CR/LF 文本文件,但是有幾個程序卻在乎 -- 最著名的是 bash,只要一遇到回車,它就會出問題。以下 sed 調用將把 DOS/Windows 格式的文本轉換成可信賴的 UNIX 格式:
$ sed -e 's/.$//' mydos.txt > myunix.txt
該腳本的工作原理很簡單:替代規則表達式與一行的最末字符匹配,而該字符恰好就是回車。我們用空字符替換它,從而將其從輸出中徹底刪除。如果使用該腳本並注意到已經刪除了輸出中每行的最末字符,那麼,您就指定了已經是 UNIX 格式的文本文件。也就沒必要那樣做了!
2,把Linux/UNIX 文本移至 Windows 系統,使用以下腳本執行必需的格式轉換:
$ sed -e 's/$/\r/' myunix.txt > mydos.txt
在該腳本中,'$' 規則表達式將與行的末尾匹配,而 '\r' 告訴 sed 在其之前插入一個回車。在換行之前插入回車,立即,每一行就以 CR/LF 結束。請注意,僅當使用 GNU sed 3.02.80 或以後的版本時,才會用 CR 替換 '\r'。
第二,文件編碼
1,查看文件編碼
可以在VI中使用:set fileencoding來查看當前文件的編碼
2,利用iconv命令進行文件內容編碼轉換
用法: iconv [選項...] [文件...]
有如下選項可用:
輸入/輸出格式規范:
-f, --from-code=名稱 原始文本編碼
-t, --to-code=名稱 輸出編碼
例子:
iconv -f gb2312 -t utf-8 aaa.txt >bbb.txt
這個命令讀取aaa.txt文件,從gb2312編碼轉換為utf-8編碼,其輸出定向到bbb.txt文件。
3,文件名編碼轉換
convmv可以將windows中GBK編碼的文件的中文文件名轉換成UTF-8編碼。
convmv -f GBK -t UTF-8 *.mp3
不過這個命令不會直正的轉換,你可以看到轉換前後的對比。如果要直正的轉換要加上參數 --notest
convmv -f GBK -t UTF-8 --notest *.mp3
-f 參數是指出轉換前的編碼,-t 是轉換後的編碼。-r 這個表示遞歸轉換當前目錄下的所有子目錄。
4,enca,不但能智能的識別文件的編碼,而且還支持成批轉換。
1)查看當前文件編碼
enca -L zh_CN ip.txt
Simplified Chinese National Standard; GB2312
Surrounded by/intermixed with non-text data
2)轉換
命令格式如下
$enca -L 當前語言 -x 目標編碼 文件名
例如要把當前目錄下的所有文件都轉成utf-8
enca -L zh_CN -x utf-8 *
enca -L zh_CN file 檢查文件的編碼
enca -L zh_CN -x UTF-8 file 將文件編碼轉換為"UTF-8"編碼
enca -L zh_CN -x UTF-8 < file1 > file2 如果不想覆蓋原文件可以這樣,很簡單吧。