shell sed過濾器詳解
1. Sed簡介
sed 是一種在線編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容並沒有 改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反復操作；編寫轉換程序等。以下介紹的是Gnu版本的Sed 3.02。
2. 定址
可以通過定址來定位你所希望編輯的行，該地址用數字構成，用逗號分隔的兩個行數表示以這兩行為起止的行的范圍（包括行數表示的 那兩行）。如1，3表示1，2，3行，美元符號($)表示最後一行。范圍可以通過數據，正則表達式或者二者結合的方式確定。
3. Sed命令
調用sed命令有兩種形式：
*
sed [options] 'command' file(s)
*
sed [options] -f scriptfile file(s)
a\
在當前行後面加入一行文本。
b lable
分支到腳本中帶有標記的地方，如果分支不存在則分支到腳本的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊（Pattern space）位置刪除行。
D
刪除模板塊的第一行。
i\
在當前行上面插入文本。
h
拷貝模板塊的內容到內存中的緩沖區。
H
追加模板塊的內容到內存中的緩沖區
g
獲得內存緩沖區的內容，並替代當前模板塊中的文本。
G
獲得內存緩沖區的內容，並追加到當前模板塊文本的後面。
l
列表不能打印字符的清單。
n
讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。
N
追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。
p
打印模板塊的行。
P（大寫）
打印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
T label
錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
w file
寫並追加模板塊到file末尾。
W file
寫並追加模板塊的第一行到file末尾。
!
表示後面的命令對所有沒有被選定的行發生作用。
s/re/string
用string替換正則表達式re。
=
打印當前行號碼。
#
把注釋擴展到下一個換行符以前。
以下的是替換標記
*
g表示行內全面替換。
*
p表示打印行。
*
w表示把行寫入一個文件。
*
x表示互換模板塊中的文本和緩沖區中的文本。
*
y表示把一個字符翻譯為另外的字符（但是不用於正則表達式）
（可以轉換字母大小寫，但tr更方便）
4. 選項
-e command, --expression=command
允許多台編輯。
-h, --help
打印幫助，並顯示bug列表的地址。
-n, --quiet, --silent
取消默認輸出。
-f, --filer=script-file
引導sed腳本文件名。
-V, --version
打印版本和版權信息。
5. 元字符集^
錨定行的開始如：/^sed/匹配所有以sed開頭的行。
$
錨定行的結束 如：/sed$/匹配所有以sed結尾的行。
.
匹配一個非換行符的字符 如：/s.d/匹配s後接一個任意字符，然後是d。
*
匹配零或多個字符 如：，love這成**love**。
\<
錨定單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。
\>
錨定單詞的結束，如/love\>/匹配包含以love結尾的單詞的行。
x\{m\}
重復字符x，m次，如：/0\{5\}/匹配包含5個o的行。
x\{m,\}
重復字符x,至少m次，如：/o\{5,\}/匹配至少有5個o的行。
x\{m,n\}
重復字符x，至少m次，不多於n次，如：/o\{5,10\}/匹配5--10個o的行。
6. 實例
刪除：d命令
*
$ sed '2d' example-----刪除example文件的第二行。
*
$ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
*
$ sed '$d' example-----刪除example文件的最後一行。
*
$ sed '/test/'d example-----刪除example文件所有包含test的行。
替換：s命令
*
$ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記，則只有每行第一個匹配的test被替換成mytest。
*
$ sed -n 's/^test/mytest/p' example-----(-n)選項和p標志一起使用表示只打印那些發生替換的行。也就是說，如果某一行開頭的test被替換成mytest，就打印 它。
*
$ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加 localhost，變成192.168.0.1localhost。
*
$ sed -n 's/\(love\)able/\1rs/p' example-----love被標記為1，所有loveable會被替換成lovers，而且替換的行會被打印出來。
*
$ sed 's#10#100#g' example-----不論什麼字符，緊跟著s命令的都被認為是新的分隔符，所以，“#”在這裡是分隔符，代替了默認的“/”分隔符。表示把所有10替 換成100。
選定行的范圍：逗號
*
$ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內的行都被打印。
*
$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的所有行。
*
$ sed '/test/,/check/s/$/sed test/' example-----對於模板test和west之間的行，每行的末尾用字符串sed test替換。
多點編輯：e命令
*
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項允許在同一行裡執行多條命令。如例子所示，第一條命令刪除1至5行，第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令，那麼第一個替換命令將影響第二個替換命令的結果。
*
$ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。
從文件讀入：r命令
*
$ sed '/test/r file' example-----file裡的內容被讀進來，顯示在與test匹配的行後面，如果匹配多行，則file的內容將顯示在所有匹配行的下面。
寫入文件：w命令
*
$ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file裡。
追加命令：a命令
*
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行後面，sed要求命令a後面有一個反斜槓。
插入：i命令
$ sed '/test/i\\
new line
-------------------------' example
如果test被匹配，則把反斜槓後面的文本插入到匹配行的前面。
下一個：n命令
*
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，則移動到匹配行的下一行，替換這一行的aa，變為bb，並打印該行，然後繼續。
變形：y命令
*
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內所有abcde轉變為大寫，注意，正則表達式元字符不能使用這個 命令。
退出：q命令
*
$ sed '10q' example-----打印完第10行後，退出sed。
保持和獲取：h命令和G命令
*
$ sed -e '/test/h' -e '$G example-----在sed處理文件的時候，每一行都被保存在一個叫模式空間的臨時緩沖區中，除非行被刪除或者輸出被取消，否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空，並存入新的一行等待處理。在這個例子裡，匹配test的行被找到後，將存入模式空間，h命令將其復制並存入一個稱為保 持緩存區的特殊緩沖區內。第二條語句的意思是，當到達最後一行後，G命令取出保持緩沖區的行，然後把它放回模式空間中，且追加到現在已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最後一行。簡單來說，任何包含test的行都被復制並追加到該文件的末尾。
保持和互換：h命令和x命令
*
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。
7. 腳本
Sed腳本是一個sed的命令清單，啟動Sed時以-f選項引導腳本文件名。Sed對於腳本中輸入的命令非常挑剔，在命令的末 尾不能有任何空白或文本，如果在一行中有多個命令，要用分號分隔。以#開頭的行為注釋行，且不能跨行。
===================
linux tr 命令詳解(轉換字母大小寫更方便)
1、關於tr
通過使用 tr，您可以非常容易地實現 sed 的許多最基本功能。您可以將 tr 看作為 sed 的（極其）簡化的變體：它可以用一個字符來替換另一個字符，或者可以完全除去一些字符。您也可以用它來除去重復字符。這就是所有 tr 所能夠做的。
tr用來從標准輸入中通過替換或刪除操作進行字符轉換。tr主要用於刪除文件中控制字符或進行字符轉換。使用tr時要轉換兩個字符串：字符串1用於查詢， 字符串2用於處理各種轉換。tr剛執行時，字符串1中的字符被映射到字符串2中的字符，然後轉換操作開始。
帶有最常用選項的tr命令格式為：
tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] < input-file
這裡：
-c 用字符串1中字符集的補集替換此字符集，要求字符集為ASCII。
-d 刪除字符串1中所有輸入字符。
-s 刪除所有重復出現字符序列，只保留第一個；即將重復出現字符串壓縮為一個字符串。
input-file是轉換文件名。雖然可以使用其他格式輸入，但這種格式最常用。
2、字符范圍
指定字符串1或字符串2的內容時，只能使用單字符或字符串范圍或列表。
[a-z] a-z內的字符組成的字符串。
[A-Z] A-Z內的字符組成的字符串。
[0-9] 數字串。
\octal 一個三位的八進制數，對應有效的ASCII字符。
[O*n] 表示字符O重復出現指定次數n。因此[O*2]匹配OO的字符串。
tr中特定控制字符的不同表達方式
速記符含義八進制方式
\a Ctrl-G 鈴聲\007
\b Ctrl-H 退格符\010
\f Ctrl-L 走行換頁\014
\n Ctrl-J 新行\012
\r Ctrl-M 回車\015
\t Ctrl-I tab鍵\011
\v Ctrl-X \030
3、應用例子
（1）去除oops.txt裡面的重復的小寫字符
tr -s "[a-z]"<oops.txt >result.txt
（2）刪除空行
tr -s "[\012]" < plan.txt 或 tr -s ["\n"] < plan.txt
（3）有時需要刪除文件中的^M，並代之以換行
tr -s "[\015]" "[\n]" < file 或 tr -s "[\r]" "[\n]" < file
（4）大寫到小寫
cat a.txt |tr "[a-z]" "[A-Z]" >b.txt
（5）刪除指定字符
一個星期的日程表。任務是從其中刪除所有數字，只保留日期。日期有大寫，也有小寫格式。因此需指定兩個字符范圍[a-z]和[A-Z]，命令tr -cs "[a-z][A-Z]" "[\012*]" 將文件每行所有不包含在[a-z]或[A-Z]（所有希臘字母）的字符串放在字符串1中並轉換為一新行。-s選項表明壓縮所有新行， -c表明保留所有字母不動。原文件如下，後跟tr命令：
tr -cs "[a-z][A-Z]" "[\012*]" <diary.txt
（6）轉換控制字符
tr的第一個功能就是轉換控制字符，特別是從dos向UNIX下載文件時，忘記設置ftp關於回車換行轉換的選項時更是如此。cat -v filename 顯示控制字符。
cat -v stat.txt
box aa^^^^^12^M
apple bbas^^^^23^M
^Z
猜想‘^ ^ ^ ^ ^ ^’是tab鍵。每一行以Ctrl-M結尾，文件結尾Ctrl-Z，以下是改動方法。
使用-s選項，查看ASCII表。^的八進制代碼是136，^M是015，tab鍵是011，^Z是032 ,下面將按步驟完成最終功能。
用tab鍵替換^ ^ ^ ^ ^ ^，命令為"\136" "[\011*]"。將結果重定向到臨時工作文件stat.tmp
tr -s "[\136]" "[\011*]" <stat.txt >stat.tmp
用新行替換每行末尾的^M，並用\n去除^Z，輸入要來自於臨時工作文件stat.tmp。
tr -s "[\015][\032]" "\n" <stat.tmp
要刪除所有的tab鍵，代之以空格，使用命令
tr -s "[\011]" "[\040*]" <input.file
（7）替換passwd文件中所有冒號，代之以tab鍵，可以增加可讀性
tr -s "[:]" "[\011]" < /etc/passwd 或 tr -s "[:]" "[\t]" < /etc/passwd
（8）使路徑具有可讀性
如果用 echo $PATH 或者 echo $LD_LIBRARY_PATH 等類似的命令來顯示路徑信息的話，我們看到的將會是一大堆用冒號連接在一起的路徑， tr命令可以把這些冒號轉換為回車，這樣，這些路徑就具有很好的可讀性了
echo $PATH | tr ":" "\n"
（9）可以在vi內使用所有這些命令！只要記住：在tr命令前要加上您希望處理的行范圍和感歎號 （！），如 1,$!tr -d '\t'（美元符號表示最後一行）。
（10）另外，當有人給您發送了一個在 Mac OS 或 DOS/Windows 機器上創建的文本文件時，您會發現tr非常有用。
如果沒有將文件保存為使用 UNIX 換行符來表示行結束這種格式，則需要將這樣的文件轉換成本機 UNIX 格式，否則一些命令實用程序不會正確地處理這些文件。Mac OS 的行尾以回車字符(\r)結束，許多文本處理工具將這樣的文件作為一行來處理。為了糾正這個問題，可以用下列技巧：
Mac -> UNIX：tr "\r" "\n"<macfile > unixfile
UNIX -> Mac：tr "\n" "\r"<unixfile > macfile
Microsoft DOS/Windows 約定，文本的每行以回車字符(\r)並後跟換行符(\n)結束。為了糾正這個問題，可以使用下列命令：
DOS -> UNIX：tr -d "\r"<dosfile > unixfile
UNIX -> DOS：在這種情況下，需要用awk，因為tr不能插入兩個字符來替換一個字符。要使用的 awk 命令為 awk '{ print $0"\r" }'<unixfile > dosfile
注：都可以用sed 來完成。
