linux shell必知必會sed、awk
sed是一種在線編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容並沒有改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反復操作；編寫轉換程序等。以下介紹的是Gnu版本的Sed 3.02。
2. 定址
可以通過定址來定位你所希望編輯的行，該地址用數字構成，用逗號分隔的兩個行數表示以這兩行為起止的行的范圍（包括行數表示的那兩行）。如1，3表示1，2，3行，美元符號($)表示最後一行。范圍可以通過數據，正則表達式或者二者結合的方式確定 。
3. Sed命令
調用sed命令有兩種形式：
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
a\
在當前行後面加入一行文本。
b lable
分支到腳本中帶有標記的地方，如果分支不存在則分支到腳本的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊（Pattern space）位置刪除行。
D
刪除模板塊的第一行。
i\
在當前行上面插入文本。
h
拷貝模板塊的內容到內存中的緩沖區。
H
追加模板塊的內容到內存中的緩沖區
g
獲得內存緩沖區的內容，並替代當前模板塊中的文本。
G
獲得內存緩沖區的內容，並追加到當前模板塊文本的後面。
l
列表不能打印字符的清單。
n
讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。
N
追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。
p
打印模板塊的行。
P（大寫）
打印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
T label
錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
w file
寫並追加模板塊到file末尾。
W file
寫並追加模板塊的第一行到file末尾。
!
表示後面的命令對所有沒有被選定的行發生作用。
s/re/string
用string替換正則表達式re。
=
打印當前行號碼。
#
把注釋擴展到下一個換行符以前。
以下的是替換標記
g表示行內全面替換。
p表示打印行。
w表示把行寫入一個文件。
x表示互換模板塊中的文本和緩沖區中的文本。
y表示把一個字符翻譯為另外的字符（但是不用於正則表達式）
4. 選項
-e command, --expression=command
允許多台編輯。
-h, --help
打印幫助，並顯示bug列表的地址。
-n, --quiet, --silent
取消默認輸出。
-f, --filer=script-file
引導sed腳本文件名。
-V, --version
打印版本和版權信息。
5. 元字符集
^
錨定行的開始 如：/^sed/匹配所有以sed開頭的行。
$
錨定行的結束 如：/sed$/匹配所有以sed結尾的行。
.
匹配一個非換行符的字符 如：/s.d/匹配s後接一個任意字符，然後是d。
*
匹配零或多個字符 如：/*sed/匹配所有模板是一個或多個空格後緊跟sed的行。
[]
匹配一個指定范圍內的字符，如/[Ss]ed/匹配sed和Sed。
[^]
匹配一個不在指定范圍內的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭，緊跟ed的行。
\(..\)
保存匹配的字符，如s/\(love\)able/\1rs，loveable被替換成lovers。
&
保存搜索字符用來替換其他字符，如s/love/**&**/，love這成**love**。
\<
錨定單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。
\>
錨定單詞的結束，如/love\>/匹配包含以love結尾的單詞的行。
x\{m\}
重復字符x，m次，如：/0\{5\}/匹配包含5個o的行。
x\{m,\}
重復字符x,至少m次，如：/o\{5,\}/匹配至少有5個o的行。
x\{m,n\}
重復字符x，至少m次，不多於n次，如：/o\{5,10\}/匹配5--10個o的行。
6. 實例
刪除：d命令
$ sed '2d' example-----刪除example文件的第二行。
$ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
$ sed '$d' example-----刪除example文件的最後一行。
$ sed '/test/'d example-----刪除example文件所有包含test的行。
替換：s命令
$ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記，則只有每行第一個匹配的test被替換成mytest。
$ sed -n 's/^test/mytest/p' example-----(-n)選項和p標志一起使用表示只打印那些發生替換的行。也就是說，如果某一行開頭的test被替換成mytest，就打印它。
$ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加localhost，變成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example-----love被標記為1，所有loveable會被替換成lovers，而且替換的行會被打印出來。
$ sed 's#10#100#g' example-----不論什麼字符，緊跟著s命令的都被認為是新的分隔符，所以，“#”在這裡是分隔符，代替了默認的“/”分隔符。表示把所有10替換成100。
選定行的范圍：逗號
$ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內的行都被打印。
$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----對於模板test和west之間的行，每行的末尾用字符串sed test替換。
多點編輯：e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項允許在同一行裡執行多條命令。如例子所示，第一條命令刪除1至5行，第二條命令用check替換test。命令的執行順序對結果有影響。如果兩個命令都是替換命令，那麼第一個替換命令將影響第二個替換命令的結果。
$ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。
從文件讀入：r命令
$ sed '/test/r file' example-----file裡的內容被讀進來，顯示在與test匹配的行後面，如果匹配多行，則file的內容將顯示在所有匹配行的下面。
寫入文件：w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file裡。
追加命令：a命令
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行後面，sed要求命令a後面有一個反斜槓。
插入：i命令
$ sed '/test/i\\
new line
-------------------------' example
如果test被匹配，則把反斜槓後面的文本插入到匹配行的前面。
下一個：n命令
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，則移動到匹配行的下一行，替換這一行的aa，變為bb，並打印該行，然後繼續。
變形：y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內所有abcde轉變為大寫，注意，正則表達式元字符不能使用這個命令。
退出：q命令
$ sed '10q' example-----打印完第10行後，退出sed。
保持和獲取：h命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed處理文件的時候，每一行都被保存在一個叫模式空間的臨時緩沖區中，除非行被刪除或者輸出被取消，否則所有被處理的行都將打印在屏幕上。接著模式空間被清空，並存入新的一行等待處理。在這個例子裡，匹配test的行被找到後，將存入模式空間，h命令將其復制並存入一個稱為保持緩存區的特殊緩沖區內。第二條語句的意思是，當到達最後一行後，G命令取出保持緩沖區的行，然後把它放回模式空間中，且追加到現在已經存在於模式空間中的行的末尾。在這個例子中就是追加到最後一行。簡單來說，任何包含test的行都被復制並追加到該文件的末尾。
保持和互換：h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。
7. 腳本
Sed腳本是一個sed的命令清單，啟動Sed時以-f選項引導腳本文件名。Sed對於腳本中輸入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多個命令，要用分號分隔。以#開頭的行為注釋行，且不能跨行。
8. 小技巧
在sed的命令行中引用shell變量時要使用雙引號，而不是通常所用的單引號。下面是一個根據name變量的內容來刪除named.conf文件中zone段的腳本：
name='zone\ "localhost"'
sed "/$name/,/};/d" named.conf
Table of Contents
1. awk簡介
2. awk命令格式和選項
2.1. awk的語法有兩種形式
2.2. 命令選項
3. 模式和操作
3.1. 模式
3.2. 操作
4. awk的環境變量
5. awk運算符
6. 記錄和域
6.1. 記錄
6.2. 域
6.3. 域分隔符
7. gawk專用正則表達式元字符
8. POSIX字符集
9. 匹配操作符(~)
10. 比較表達式
11. 范圍模板
12. 一個驗證passwd文件有效性的例子
13. 幾個實例
14. awk編程
14.1. 變量
14.2. BEGIN模塊
14.3. END模塊
14.4. 重定向和管道
14.5. 條件語句
14.6. 循環
14.7. 數組
14.8. awk的內建函數
15. How-to
1. awk簡介
awk是一種編程語言，用於在linux/unix下對文本和數據進行處理。數據可以來自標准輸入、一個或多個文件，或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能，是linux/unix下的一個強大編程工具。它在命令行中使用，但更多是作為腳本來使用。awk的處理文本和數據的方式是這樣的，它逐行掃描文件，從第一行到最後一行，尋找匹配的特定模式的行，並在這些行上進行你想要的操作。如果沒有指定處理動作，則把匹配的行顯示到標准輸出(屏幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。awk分別代表其作者姓氏的第一個字母。因為它的作者是三個人，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell實驗室和GNU的一些擴展。下面介紹的awk是以GUN的gawk為例的，在linux系統中已把awk鏈接到gawk，所以下面全部以awk進行介紹。
2. awk命令格式和選項
2.1. awk的語法有兩種形式
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)
2.2. 命令選項
-F fs or --field-separator fs
指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
-v var=value or --asign var=value
賦值一個用戶定義變量。
-f scripfile or --file scriptfile
從腳本文件中讀取awk命令。
-mf nnn and -mr nnn
對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標准awk中不適用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下運行awk。所以gawk的行為和標准的awk完全一樣，所有的awk擴展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印簡短的版權信息。
-W help or --help, -W usage or --usage
打印全部awk選項和每個選項的簡短說明。
-W lint or --lint
打印不能向傳統unix平台移植的結構的警告。
-W lint-old or --lint-old
打印關於不能向傳統unix平台移植的結構的警告。
-W posix
打開兼容模式。但有以下限制，不識別：\x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval
允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作為源代碼，可與-f命令混用。
-W version or --version
打印bug報告信息的版本。
3. 模式和操作
awk腳本是由模式和操作組成的：
pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。
兩者是可選的，如果沒有模式，則action應用到全部記錄，如果沒有action，則輸出匹配全部記錄。默認情況下，每一個輸入行都是一條記錄，但用戶可通過RS變量指定不同的分隔符進行分隔。
3.1. 模式
模式可以是以下任意一個：
/正則表達式/：使用通配符的擴展集。
關系表達式：可以用下面運算符表中的關系運算符進行操作，可以是字符串或數字的比較，如$2>%1選擇第二個字段比第一個字段長的行。
模式匹配表達式：用運算符~(匹配)和~!(不匹配)。
模式，模式：指定一個行的范圍。該語法不能包括BEGIN和END模式。
BEGIN：讓用戶指定在第一條輸入記錄被處理之前所發生的動作，通常可在這裡設置全局變量。
END：讓用戶在最後一條輸入記錄被讀取之後發生的動作。
3.2. 操作
操作由一人或多個命令、函數、表達式組成，之間由換行符或分號隔開，並位於大括號內。主要有四部份：
變量或數組賦值
輸出命令
內置函數
控制流命令
4. awk的環境變量
Table 1. awk的環境變量
變量 描述
$n 當前記錄的第n個字段，字段間由FS分隔。
$0 完整的輸入記錄。
ARGC 命令行參數的數目。
ARGIND 命令行中當前文件的位置(從0開始算)。
ARGV 包含命令行參數的數組。
CONVFMT 數字轉換格式(默認值為%.6g)
ENVIRON 環境變量關聯數組。
ERRNO 最後一個系統錯誤的描述。
FIELDWIDTHS 字段寬度列表(用空格鍵分隔)。
FILENAME 當前文件名。
FNR 同NR，但相對於當前文件。
FS 字段分隔符(默認是任何空格)。
IGNORECASE 如果為真，則進行忽略大小寫的匹配。
NF 當前記錄中的字段數。
NR 當前記錄數。
OFMT 數字的輸出格式(默認值是%.6g)。
OFS 輸出字段分隔符(默認值是一個空格)。
ORS 輸出記錄分隔符(默認值是一個換行符)。
RLENGTH 由match函數所匹配的字符串的長度。
RS 記錄分隔符(默認是一個換行符)。
RSTART 由match函數所匹配的字符串的第一個位置。
SUBSEP 數組下標分隔符(默認值是\034)。
5. awk運算符
Table 2. 運算符
運算符 描述
= += -= *= /= %= ^= **= 賦值
?: C條件表達式
|| 邏輯或
&& 邏輯與
~ ~! 匹配正則表達式和不匹配正則表達式
< <= > >= != == 關系運算符
空格 連接
+ - 加，減
* / & 乘，除與求余
+ - ! 一元加，減和邏輯非
^ *** 求冪
++ -- 增加或減少，作為前綴或後綴
$ 字段引用
in 數組成員
6. 記錄和域
6.1. 記錄
awk把每一個以換行符結束的行稱為一個記錄。
記錄分隔符：默認的輸入和輸出的分隔符都是回車，保存在內建變量ORS和RS中。
$0變量：它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的所有記錄。
變量NR：一個計數器，每處理完一條記錄，NR的值就增加1。如$ awk '{print NR,$0}' test將輸出test文件中所有記錄，並在記錄前顯示記錄號。
6.2. 域
記錄中每個單詞稱做“域”，默認情況下以空格或tab分隔。awk可跟蹤域的個數，並在內建變量NF中保存該值。如$ awk '{print $1,$3}' test將打印test文件中第一和第三個以空格分開的列(域)。
6.3. 域分隔符
內建變量FS保存輸入域分隔符的值，默認是空格或tab。我們可以通過-F命令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test將打印以冒號為分隔符的第一，第五列的內容。
可以同時使用多個域分隔符，這時應該把分隔符寫成放到方括號中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒號和tab作為分隔符。
輸出域的分隔符默認是一個空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號就是OFS的值。
7. gawk專用正則表達式元字符
一般通用的元字符集就不講了，可參考我的Sed和Grep學習筆記。以下幾個是gawk專用的，不適合unix版本的awk。
\Y
匹配一個單詞開頭或者末尾的空字符串。
\B
匹配單詞內的空字符串。
\<
匹配一個單詞的開頭的空字符串，錨定開始。
\>
匹配一個單詞的末尾的空字符串，錨定末尾。
\w
匹配一個字母數字組成的單詞。
\W
匹配一個非字母數字組成的單詞。
\‘
匹配字符串開頭的一個空字符串。
\'
匹配字符串末尾的一個空字符串。
8. POSIX字符集
可參考我的Grep學習筆記
9. 匹配操作符(~)
用來在記錄或者域內匹配正則表達式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。
10. 比較表達式
conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大於第三個域，$1就賦值給max，否則$3就賦值給max。
$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大於100，則打印這些行。
$ awk '$1 > 5 && $2 < 10' test,如果第一個域大於5，並且第二個域小於10，則打印這些行。
11. 范圍模板
范圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間所有行。如果有一個模板沒出現，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的所有行。
12. 一個驗證passwd文件有效性的例子
$ cat /etc/passwd | awk -F: '\
NF != 7{\
printf("line %d,does not have 7 fields:%s\n",NR,$0)}\
$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %s\n,NR,$0)}\
$2 == "*" {printf("line %d, no password: %s\n",NR,$0)}'
cat把結果輸出給awk，awk把域之間的分隔符設為冒號。
如果域的數量(NF)不等於7，就執行下面的程序。
printf打印字符串"line ?? does not have 7 fields"，並顯示該條記錄。
如果第一個域沒有包含任何字母和數字，printf打印“no alpha and numeric user id" ，並顯示記錄數和記錄。
如果第二個域是一個星號，就打印字符串“no passwd”，緊跟著顯示記錄數和記錄本身。
13. 幾個實例
$ awk '/^(no|so)/' test-----打印所有以模式no或so開頭的行。
$ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就打印這個記錄。
$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個域以兩個數字結束就打印這個記錄。
$ awk '$1 == 100 || $2 < 50' test-----如果第一個或等於100或者第二個域小於50，則打印該行。
$ awk '$1 != 10' test-----如果第一個域不等於10就打印該行。
$ awk '/test/{print $1 + 10}' test-----如果記錄包含正則表達式test，則第一個域加10並打印出來。
$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個域大於5則打印問號後面的表達式值，否則打印冒號後面的表達式值。
$ awk '/^root/,/^mysql/' test----打印以正則表達式root開頭的記錄到以正則表達式mysql開頭的記錄范圍內的所有記錄。如果找到一個新的正則表達式root開頭的記錄，則繼續打印直到下一個以正則表達式mysql開頭的記錄為止，或到文件末尾。
14. awk編程
14.1. 變量
在awk中，變量不需要定義就可以直接使用，變量類型可以是數字或字符串。
賦值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先掃描第一個域，一旦test匹配，就把第二個域的值加上第三個域的值，並把結果賦值給變量count，最後打印出來。
awk可以在命令行中給變量賦值，然後將這個變量傳輸給awk腳本。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定義變量，分別被賦值為4和2004。在awk腳本中，這些變量使用起來就象是在腳本中建立的一樣。注意，如果參數前面出現test，那麼在BEGIN語句中的變量就不能被使用。
域變量也可被賦值和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，如果第二個域不存在，awk將計算表達式100加$1的值，並將其賦值給$2，如果第二個域存在，則用表達式的值覆蓋$2原來的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，如果第一個域的值是“root”，則把它賦值為“test”，注意，字符串一定要用雙引號。
內建變量的使用。變量列表在前面已列出，現在舉個例子說明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE設為1代表忽略大小寫，打印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。
14.2. BEGIN模塊
BEGIN模塊後緊跟著動作塊，這個動作塊在awk處理任何輸入文件之前執行。所以它可以在沒有任何輸入的情況下進行測試。它通常用來改變內建變量的值，如OFS,RS和FS等，以及打印標題。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在處理輸入文件以前，域分隔符(FS)被設為冒號，輸出文件分隔符(OFS)被設置為制表符，輸出記錄分隔符(ORS)被設置為兩個換行符。$ awk 'BEGIN{print "TITLE TEST"}只打印標題。
14.3. END模塊
END不匹配任何的輸入文件，但是執行動作塊中的所有動作，它在整個輸入文件處理完成後被執行。如$ awk 'END{print "The number of records is" NR}' test，上式將打印所有被處理的記錄數。
14.4. 重定向和管道
awk可使用shell的重定向符進行重定向輸出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一個域的值等於100，則把它輸出到output_file中。也可以用>>來重定向輸出，但不清空文件，只做追加操作。
輸出重定向需用到getline函數。getline從標准輸入、管道或者當前正在處理的文件之外的其他輸入文件獲得輸入。它負責從輸入獲得下一行的內容，並給NF,NR和FNR等內建變量賦值。如果得到一條記錄，getline函數返回1，如果到達文件的末尾就返回0，如果出現錯誤，例如打開文件失敗，就返回-1。如：
$ awk 'BEGIN{ "date" | getline d; print d}' test。執行linux的date命令，並通過管道輸出給getline，然後再把輸出賦值給自定義變量d，並打印它。
$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。執行shell的date命令，並通過管道輸出給getline，然後getline從管道中讀取並將輸入賦值給d，split函數把變量d轉化成數組mon，然後打印數組mon的第二個元素。
$ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的輸出傳遞給geline作為輸入，循環使getline從ls的輸出中讀取一行，並把它打印到屏幕。這裡沒有輸入文件，因為BEGIN塊在打開輸入文件前執行，所以可以忽略輸入文件。
$ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在屏幕上打印”What is your name?",並等待用戶應答。當一行輸入完畢後，getline函數從終端接收該行輸入，並把它儲存在自定義變量name中。如果第一個域匹配變量name的值，print函數就被執行，END塊打印See you和name的值。
$ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk將逐行讀取文件/etc/passwd的內容，在到達文件末尾前，計數器lc一直增加，當到末尾時，打印lc的值。注意，如果文件不存在，getline返回-1，如果到達文件的末尾就返回0，如果讀到一行，就返回1，所以命令 while (getline < "/etc/passwd")在文件不存在的情況下將陷入無限循環，因為返回-1表示邏輯真。
可以在awk中打開一個管道，且同一時刻只能有一個管道存在。通過close()可關閉管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print語句的輸出通過管道作為linux命令sort的輸入,END塊執行關閉管道操作。
system函數可以在awk中執行linux的命令。如：$ awk 'BEGIN{system("clear")'。
fflush函數用以刷新輸出緩沖區，如果沒有參數，就刷新標准輸出的緩沖區，如果以空字符串為參數，如fflush(""),則刷新所有文件和管道的輸出緩沖區。
14.5. 條件語句
awk中的條件語句是從C語言中借鑒過來的，可控制程序的流程。
14.5.1. if語句
格式：
{if (expression){
statement; statement; ...
}
}
$ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一個域小於第二個域則打印。
$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一個域小於第二個域，則count加一，並打印ok。
14.5.2. if/else語句，用於雙重判斷。
格式：
{if (expression){
statement; statement; ...
}
else{
statement; statement; ...
}
}
$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。如果$1大於100則打印$1 bad,否則打印ok。
$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。如果$1大於100，則count加一，並打印$1，否則count減一，並打印$1。
14.5.3. if/else else if語句，用於多重判斷。
格式：
{if (expression){
statement; statement; ...
}
else if (expression){
statement; statement; ...
}
else if (expression){
statement; statement; ...
}
else {
statement; statement; ...
}
}
14.6. 循環
awk有三種循環:while循環；for循環；special for循環。
$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變量的初始值為1，若i小於可等於NF(記錄中域的個數),則執行打印語句，且i增加1。直到i的值大於NF.
$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。
breadkcontinue語句。break用於在滿足條件的情況下跳出循環；continue用於在滿足條件的情況下忽略後面的語句，直接返回循環的頂端。如：
{for ( x=3; x<=NF; x++)
if ($x<0){print "Bottomed out!"; break}}
{for ( x=3; x<=NF; x++)
if ($x==0){print "Get next item"; continue}}
next語句從輸入文件中讀取一行，然後從頭開始執行awk腳本。如：
{if ($1 ~/test/){next}
else {print}
}
exit語句用於結束awk程序，但不會略過END塊。退出狀態為0代表成功，非零值表示出錯。
14.7. 數組
awk中的數組的下標可以是數字和字母，稱為關聯數組。
14.7.1. 下標與關聯數組
用變量作為數組下標。如：$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test。數組name中的下標是一個自定義變量x，awk初始化x的值為0，在每次使用後增加1。第二個域的值被賦給name數組的各個元素。在END模塊中，for循環被用於循環整個數組，從下標為0的元素開始，打印那些存儲在數組中的值。因為下標是關健字，所以它不一定從0開始，可以從任何值開始。
special for循環用於讀取關聯數組中的元素。格式如下：
{for (item in arrayname){
print arrayname[item]
}
}
$ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。打印有值的數組元素。打印的順序是隨機的。
用字符串作為下標。如：count["test"]
用域值作為數組的下標。一種新的for循環方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。該語句將打印$1中字符串出現的次數。它首先以第一個域作數組count的下標，第一個域變化，索引就變化。
delete函數用於刪除數組元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。分配給數組line的是第一個域的值，所有記錄處理完成後，special for循環將刪除每一個元素。
14.8. awk的內建函數
14.8.1. 字符串函數
sub函數匹配記錄中最大、最靠左邊的子字符串的正則表達式，並用替換字符串替換這些字符串。如果沒有指定目標字符串就默認使用整個記錄。替換只發生在第一次匹配的時候。格式如下：
sub (regular expression, substitution string):
sub (regular expression, substitution string, target string)
實例：
$ awk '{ sub(/test/, "mytest"); print }' testfile
$ awk '{ sub(/test/, "mytest"); $1}; print }' testfile
第一個例子在整個記錄中匹配，替換只發生在第一次匹配發生的時候。如要在整個文件中進行匹配需要用到gsub
第二個例子在整個記錄的第一個域中進行匹配，替換只發生在第一次匹配發生的時候。
gsub函數作用如sub，但它在整個文檔中進行匹配。格式如下：
gsub (regular expression, substitution string)
gsub (regular expression, substitution string, target string)
實例：
$ awk '{ gsub(/test/, "mytest"); print }' testfile
$ awk '{ gsub(/test/, "mytest"), $1 }; print }' testfile
第一個例子在整個文檔中匹配test，匹配的都被替換成mytest。
第二個例子在整個文檔的第一個域中匹配，所有匹配的都被替換成mytest。
index函數返回子字符串第一次被匹配的位置，偏移量從位置1開始。格式如下：
index(string, substring)
實例：
$ awk '{ print index("test", "mytest") }' testfile
實例返回test在mytest的位置，結果應該是3。
length函數返回記錄的字符數。格式如下：
length( string )
length
實例：
$ awk '{ print length( "test" ) }'
$ awk '{ print length }' testfile
第一個實例返回test字符串的長度。
第二個實例返回testfile文件中第條記錄的字符數。
substr函數返回從位置1開始的子字符串，如果指定長度超過實際長度，就返回整個字符串。格式如下：
substr( string, starting position )
substr( string, starting position, length of string )
實例：
$ awk '{ print substr( "hello world", 7,11 ) }'
上例截取了world子字符串。
match函數返回在字符串中正則表達式位置的索引，如果找不到指定的正則表達式則返回0。match函數會設置內建變量RSTART為字符串中子字符串的開始位置，RLENGTH為到子字符串末尾的字符個數。substr可利於這些變量來截取字符串。函數格式如下：
match( string, regular expression )
實例：
$ awk '{start=match("this is a test",/[a-z]+$/); print start}'
$ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
第一個實例打印以連續小寫字符結尾的開始位置，這裡是11。
第二個實例還打印RSTART和RLENGTH變量，這裡是11(start)，11(RSTART)，4(RLENGTH)。
toupper和tolower函數可用於字符串大小間的轉換，該功能只在gawk中有效。格式如下：
toupper( string )
tolower( string )
實例：
$ awk '{ print toupper("test"), tolower("TEST") }'
split函數可按給定的分隔符把字符串分割為一個數組。如果分隔符沒提供，則按當前FS值進行分割。格式如下：
split( string, array, field separator )
split( string, array )
實例：
$ awk '{ split( "20:18:00", time, ":" ); print time[2] }'
上例把時間按冒號分割到time數組內，並顯示第二個數組元素18。
14.8.2. 時間函數
systime函數返回從1970年1月1日開始到當前時間(不計閏年)的整秒數。格式如下：
systime()
實例：
$ awk '{ now = systime(); print now }'
strftime函數使用C庫中的strftime函數格式化時間。格式如下：
systime( [format specification][,timestamp] )
Table 3. 日期和時間格式說明符
格式 描述
%a 星期幾的縮寫(Sun)
%A 星期幾的完整寫法(Sunday)
%b 月名的縮寫(Oct)
%B 月名的完整寫法(October)
%c 本地日期和時間
%d 十進制日期
%D 日期 08/20/99
%e 日期，如果只有一位會補上一個空格
%H 用十進制表示24小時格式的小時
%I 用十進制表示12小時格式的小時
%j 從1月1日起一年中的第幾天
%m 十進制表示的月份
%M 十進制表示的分鐘
%p 12小時表示法(AM/PM)
%S 十進制表示的秒
%U 十進制表示的一年中的第幾個星期(星期天作為一個星期的開始)
%w 十進制表示的星期幾(星期天是0)
%W 十進制表示的一年中的第幾個星期(星期一作為一個星期的開始)
%x 重新設置本地日期(08/20/99)
%X 重新設置本地時間(12：00：00)
%y 兩位數字表示的年(99)
%Y 當前月份
%Z 時區(PDT)
%% 百分號(%)
實例：
$ awk '{ now=strftime( "%D", systime() ); print now }'
$ awk '{ now=strftime("%m/%d/%y"); print now }'
14.8.3. 內建數學函數
Table 4.
函數名稱 返回值
atan2(x,y) y,x范圍內的余切
cos(x) 余弦函數
exp(x) 求冪
int(x) 取整
log(x) 自然對數
rand() 隨機數
sin(x) 正弦
sqrt(x) 平方根
srand(x) x是rand()函數的種子
int(x) 取整，過程沒有捨入
rand() 產生一個大於等於0而小於1的隨機數
14.8.4. 自定義函數
在awk中還可自定義函數，格式如下：
function name ( parameter, parameter, parameter, ... ) {
statements
return expression # the return statement and expression are optional
}
15. How-to
如何把一行豎排的數據轉換成橫排？
awk '{printf("%s,",$1)}' filename
