I/O重定向詳解及應用實例
1、基本概念(這是理解後面的知識的前提,請務必理解)
a、I/O重定向通常與 FD有關,shell的FD通常為10個,即 0~9;
b、常用FD有3個,為0(stdin,標准輸入)、1(stdout,標准輸出)、2(stderr,標准錯誤輸出),默認與keyboard、monitor、monitor有關;
c、用 < 來改變讀進的數據信道(stdin),使之從指定的檔案讀進;
d、用 > 來改變送出的數據信道(stdout, stderr),使之輸出到指定的檔案;
e、0 是 <的默認值,因此 < 與 0<是一樣的;同理,> 與 1> 是一樣的;
f、在IO重定向中,stdout 與 stderr的管道會先准備好,才會從 stdin 讀進資料;
g、管道“|”(pipe line):上一個命令的stdout 接到下一個命令的stdin;
h、tee命令是在不影響原本 I/O的情況下,將stdout 復制一份到檔案去;
i、bash(ksh)執行命令的過程:分析命令-變量求值-命令替代(``和$( ))-重定向-通配符展開-確定路徑-執行命令;
j、( )將command group置於sub-shell去執行,也稱nested sub-shell,它有一點非常重要的特性是:繼承父shell的Standard input, output, and error plus any other open file descriptors。
k、exec命令:常用來替代當前shell並重新啟動一個 shell,換句話說,並沒有啟動子 shell。使用這一命令時任何現有環境都將會被清除。exec在對文件描述符進行操作的時候,也只有在這時,exec 不會覆蓋你當前的shell 環境。
2、基本IO
cmd > file把stdout重定向到file文件中;
cmd >> file把stdout重定向到file文件中(追加);
cmd 1> fiel把stdout重定向到file文件中;
cmd > file 2>&1把stdout和stderr 一起重定向到file文件中;
cmd 2> file把stderr重定向到file文件中;
cmd 2>> file把stderr重定向到file文件中(追加);
cmd >> file 2>&1把stderr和stderr 一起重定向到file文件中(追加);
cmd < file >file2 cmd命令以 file文件作為stdin,以 file2文件作為stdout;
cat <>file 以讀寫的方式打開 file;
cmd < file cmd命令以 file文件作為stdin;
cmd << delimiter Here document,從 stdin中讀入,直至遇到delimiter 分界符。
3、進階IO
>&n 使用系統調用 dup (2)復制文件描述符 n並把結果用作標准輸出;
<&n 標准輸入復制自文件描述符 n;
<&- 關閉標准輸入(鍵盤);
>&- 關閉標准輸出;
n<&- 表示將n號輸入關閉;
n>&- 表示將n號輸出關閉;
上述所有形式都可以前導一個數字,此時建立的文件描述符由這個數字指定而不是缺省的0 或 1。如:
... 2>file運行一個命令並把錯誤輸出(文件描述符 2)定向到file。
... 2>&1運行一個命令並把它的標准輸出和輸出合並。(嚴格的說是通過復制文件描述符 1 來建立文件描述符 2 ,但效果通常是合並了兩個流。)
我們對 2>&1詳細說明一下 :2>&1 也就是 FD2=FD1 ,這裡並不是說FD2的值等於FD1的值,因為> 是改變送出的數據信道,也就是說把 FD2的“數據輸出通道” 改為FD1的“數據輸出通道”。如果僅僅這樣,這個改變好像沒有什麼作用,因為FD2的默認輸出和 FD1的默認輸出本來都是 monitor,一樣的! 但是,當 FD1 是其他文件,甚至是其他 FD 時,這個就具有特殊的用途了。請大家務必理解這一點。
exec 0exec 1>outfilename # 打開文件outfilename作為stdout。
exec 2>errfilename # 打開文件errfilename作為stderr。
exec 0<&- # 關閉FD0。
exec 1>&- # 關閉FD1。
exec 5>&- # 關閉FD5。
問: 如果關閉了FD0、FD1、FD2,其後果是什麼? 恢復 FD0、FD1、FD2與 關閉FD0、FD1、FD2 有什麼區別?代碼分別是什麼? 打開了FD3~FD9,我們用完之後,你覺得是將他們關閉還是恢復?
下面是提示(例子來源於CU一帖子,忘記出處,來日再補上):
exec 6>&2 2>ver
command >>dev/null &
exec 2>&6 # 恢復 FD2
4、簡單舉例
a、stdout和stderr都通過管道送給egrep了:
(ls you no 2>&1;ls yes 2>&1)2>&1|egrep \* >file
(ls you no 2>&1;ls yes 2>&1)|egrep \* >file
(ls you no;ls yes)2>&1|egrep \* >file
這個例子要注意的就是:
理解命令執行順序和管道“|”:在命令執行前,先要進行重定向的處理,並將把 nested sub-shell的stdout 接到egrep命令的stdin。 nested sub-shell ,在 ( )中的兩個命令加上(),可以看作一個命令。其FD1 已經連接到“|”往egrep送了,當遇到2>&1時,也就是FD2=FD1,即FD2同FD1一樣,往管道 “|”那邊送。
b、沒有任何東西通過管道送給egrep,全部送往monitor。 (ls you no 2>&1;ls yes 2>&1)>&2|egrep \* >file。雖然在()裡面將FD2轉往FD1,但在()外,遇到>&2 ,結果所有的都送到monitor。 請理解:
(ls you no 2>&1)1>&2|egrep \* >file ##送到monitor
ls you no 2>&1 1>&2|egrep \* >file ##送給管道 “|”
ls you no 1>&2 2>&1|egrep \* >file ##送到monitor
5、中階例子
條件: stderr通過管道送給egrep,正確消息仍然送給monitor(不變)
exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls yes 2>&1 1>
&4 4>&-)|egrep \* >file;exec 4>&-
或者
exec 4>&1;(ls you no;ls yes)2>&1 1>
&4 4>&-|egrep \* >file;exec 4>&-
如果加兩個條件:
(1)要求cmd1和cmd2並行運行;
(2)將cmd1的返回值賦給變量ss。
則為:
exec 3>&1;exec 4>&1
ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file)4>&1)
exec 3>&-;exec 4>&-
說明:
exec 3>&1;4>&1 建立FD3,是用來將下面ls那條語句(子shell)中的FD1 恢復到正常FD1,即輸出到monitor,你可以把FD3看作最初始的FD1的硬盤備份(即輸出到monitor);建立FD4,到時用作保存ls的返回值(echo $?),你可以將FD4看作你考試時用於存放計算“echo $?”的草稿紙;
(ls you no 2>&1 1>&3 3>&-;echo $? >&4)大家還記得前面說的子shell和管道吧。這條命令首先會繼承FD0、FD1、FD2、FD3、FD4,它位於管道前,所以在運行命令前會先把子shell自己的FD1和管道“|”相連。但是我們的條件是stderr通過管道送往egrep,stdout仍然輸出到monitor。 於是通過2>&1,先把 子shell的FD1的管道“送給”FD2,於是子shell中的stderr送往管道“|”;再通過 1>&3,把以前的“硬盤備份”恢復給子shell的FD1,於是子shell中的FD1變成送到monitor了。再通過3>&- ,將3關閉;接著運行echo $? ,本來其輸出值應該送往管道的,通過 >&4 ,將輸出送往 “草稿紙”FD4,留以備用。
((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 於是,stderr 通過管道送給 egrep ,stdout 送給monitor,但是,還有 FD4,它送到哪去了? $(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)最後的 4>&1 ,就是把FD4 重定向到 FD1。但由於其輸出在 $( )中,其值就賦給變量ss了。最後一行關閉 FD3、FD4。
6、高階例子
命令 cmd1, cmd2, cmd3, cmd4. 如何利用單向管道完成下列功能:
1. 所有命令並行執行。
2. cmd1和cmd2 不需要 stdin。
3. cmd1和cmd2的stdout定向到cmd3的stdin。
4. cmd1和cmd2的stderr定向到cmd4的stdin。
5. cmd3的stdout定向到文件a, stderr定向到屏幕。
6. cmd4的stdout定向到文件b, stderr定向到屏幕。
7. cmd1的返回碼賦給變量s。
8. 不能利用臨時文件。
解決方法:
exec 3>&1; exec 4>&1
s=$(((((cmd1 1>&3 ; echo $? >&4 )| cmd2 )3>
&1 | cmd3 >a 2>&3 )2>&1 | cmd4 >b )4>&1)
exec 3>&-; exec 4>&-
這個我一步步解釋(好復雜,自己感覺看明白了,過一會再看,大腦仍然有幾分鐘空白~~~,沒想到我也能看明白。exec 3>&1; exec 4>&1 前面的例子都有說明了,就是建立FD3 ,給cmd1恢復其FD1用和給cmd3 恢復其FD2用,建立FD4,保存“echo $?”輸出值的“草稿紙”。
第一對括號:(cmd1 1>&3 ; echo $? >&4 )和其後(第一個)管道。在第一個括號(子shell)中,其FD1已經連到管道中了,所以用 FD3 將FD1恢復正常,不讓他往管道跑;這裡的cmd1沒有stdin,接著將cmd1運行的返回碼 保存到FD4中。
第二對括號:((cmd1 1>&3 ; echo $? >&4 )| cmd2 )3>&1 和其後(第二個)管道。前面的FD1 已經不送給cmd2了,FD2 默認也不送過來,所以cmd2 也沒有stdin ,所以在第二對括號裡面:cmd1和cmd2的stdout、stderr 為默認輸出,一直遇到“3>&1”為止。請注意:“3>&1”,先將第二對括號看出一個命令,他們遇到第二個管道時,其FD1 連到管道 “|”,由於“3>&1”的作用,子shell的FD1送給FD3 使用,所以所有FD3的輸出都 “流往”cmd3,又由於繼承關系(繼承第一行的命令),FD3實際上就是cmd1和cmd2的stdout,於是“ cmd1和cmd2的stdout定向到cmd3的stdin”
第三對括號:(((cmd1 1>&3 ; echo $? >&4 )| cmd2 )3>&1 | cmd3 >a 2>&3 )2>&1 和其後的第三個管道。cmd1和cmd2的stdout 已經定向到cmd3的stdin,處理之後,cmd3 >a 意味著將其stdout送給a文件。而2>&3的意思是:恢復cmd3的錯誤輸出為FD3,即送往 monitor。於是“cmd3的stdout定向到文件a, stderr定向到屏幕”。如果沒有“2>&3”,那麼cmd3的錯誤輸出就會干擾cmd1和cmd2的錯誤輸出,所以它是必須的!請注意第三對括號後的“2>&1”| ,其子shell的FD1 本來連接著管道“|”,但子shell FD1 慷慨大方,送給了FD2,於是FD2 連接著管道。還記得前面的cmd1和cmd2 嗎?他們的stderr一直沒動了。於是在這裡,通過管道送給了第四個命令cmd4了。即“cmd1和cmd2的stderr定向到cmd4的stdin”。後面就比較簡單了。cmd4 >b 表示“cmd4的stdout定向到文件b, stderr定向到屏幕(默認)”
第四對括號:((((cmd1 1>&3 ; echo $? >&4 )| cmd2 )3>&1 | cmd3 >a 2>&3 )2>&1 | cmd4 >b )與其後的4>&1。四對括號裡面的FD1、FD2都處理完了。但是還記得前面“echo $? >&4”那塊“草稿紙”嗎?“4>&1”的作用就是“將草稿紙上的內容送給monitor”,但是由於最外面還有 $()將其“包著”。於是其值賦給變量“s”。