歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> SHELL編程

速查筆記(Linux Shell編程<上>)

零、shell中的內部變量:


1.    $?:    表示shell命令的返回值.
2.    $$:    表示當前shell的pid.
3.    $!:    最後一個放入後台作業的PID值.
4.    $0:    表示腳本的名字.
5.    $1--$9,${10}: 表示腳本的第一到九個參數,和第十個參數.
6.    $#:    表示參數的個數.
7.    $*,$@: 表示所有的參數.
       兩者的區別如下: //都是雙引號惹的禍^-^
       /> set 'apple pie' pears peaches
       /> for i in $*
       >  do
       >  echo $i
       >  done
       apple
       pie
       pears
       peaches
   
       /> set 'apple pie' pears peaches
       /> for i in $@
       >  do
       >  echo $i
       >  done
       apple
       pie
       pears
       peaches
   
       /> set 'apple pie' pears peaches
       /> for i in "$*"
       >  do
       >  echo $i
       >  done
       apple pie pears    peaches
   
       /> set 'apple pie' pears peaches
       /> for i in "$@"
       >  do
       >  echo $i
       >  done
       apple pie    //這裡的單引號將兩個單詞合成一個.
       pears
       peaches

 

一、正則表達式在vi中的用法:


1.    ^:      如/^love,表示所有以love開頭的行.
2.    $:      如/love$,表示所有以love結尾的行.
3.    .:       如/l..e, dot表示任意字符,如love,l22e,live等.
4.    *:      如/*love, *表示0多多個字符,這裡表示love前面可以有0個多任意多個空格字符,如/go*gle,可以表示ggle,gogle,google,goooooooogle.
5.    []:     如/[Ll]ove,[]中的任意一個字符都可能成為候選者,如Love和love.
6.    [x-y]: 如/[A-Z]t, 表示[]中指定范圍內的字符都可能成為候選者,如At, It等, 也可表示多個區間段如:[a-zA-TV-Z]表示所有除V之外的所有大小寫英文字符.
7.    [^]:   如/[^A-Z]ove,表示A-Z之內的任意字符都是非法的, 如Love,Dove等.
8.    \:      轉義符,    如果想表示任何meta字符的原義, 需使用在meta字符前加轉義符\, 如\.將只表示dot,而不能在表示任何其他字符了.
9.    \<:    如/\<love, 表示任何單詞的開始, 如love和lover, 但是glove將非法.
10.  \>:   如/love\>, 表示任何單詞的結束, 如love和glove, 但是lover將非法.
11.  \(..\):      如/\(love\)able/\1rs/, 這裡的\1表示love, 這種標簽替代最多達到\9, 該例子表示用lovers代替loveable.
12.  x\{m\}:   如x\{5\}, 表示x被重復5次,如xxxxx.
13.  x\{m,\}:  如x\{5,\}, 表示x被至少重復5次,如xxxxx,xxxxxxxx.
14.  x\{m,n\}:如x\{5,10\}, 表示x被重復5-10次,如xxxxx,xxxxxxxx.
以下為grep的正則表示式用法:
15.  \w和\W: 等同於[a-zA-Z0-9].
16.  \b: 等同於\<和\>,均表示單詞的邊界.
以下為grep的正則表示式的擴展用法(grep -E或egrep):
17.  +:   如/lo+ve, +表示1個或者多個先前的字符,這裡表示love,loove,但是lve非法.
18.  ?:   如/lo?ve, ?表示0個或者1個先前的字符, 這裡只表示love和lve.
19.  (a|b|c):  如/l(o|i)ve, 表示或的意思,這裡表示love和live. (o|i)和[oi]的主要區別就是(word|word)可以表示單詞之間或的關系,[]只能表示字符.
20.  x{m},x{m,},x{m,n}  等同於grep普通模式中的x\{m\},x\{m,\},x\{m,n\}.

 

二、grep家族:


1.    家族成員:
       egrep: 執行帶有擴展正則表達式元字符的grep搜索.
       fgrep:  將關閉grep的所有正則功能, 即搜索字符串中所有正則元字符都將只是表示其字符本意.
2.    返回值:
       0: 表示成功
       1: 表示搜索字符串不存在
       2: 表示搜索文件不存在.   
3.    grep的選項規則:
       -#,-A#和-B#: 表示在輸出匹配內容的時候同時也輸出其上下指定數量的行數, 如grep -2 "love" *, 該例輸出匹配love的上下兩行,
       grep -A2 "love" * 該例輸出匹配love的後兩行, grep -B2 "love" * 該例輸出匹配love的前兩行. 這裡A表示after,B表示before.
       -F: 等同於fgrep, 這個選項將關閉所有正則功能,即所有正則的元字符均表示其本身含義.
       -c: 不輸出找到的內容,只是輸出在該文件中有多少匹配的行數.
       -h: 不輸出匹配搜索字符串的文件的文件名,只是輸出內容.
       -i:  搜索時忽略大小寫.
       -l:  只顯示匹配搜索內容的文件名, 不顯示具體的內容.
       -L: 只顯示沒有包含搜索內容的文件名.
       -n: 輸出匹配內容的同時也輸出其所在的行號.
       -v: 反向搜索,輸出不匹配搜索字符串的行.
       -w:只打印以完整單詞形式匹配的行, 如果該搜索字符為某個單詞的部分內容,將不會被輸出.
       -x: 只打印以行形式匹配的行, 如果該搜索字符為行的部分內容,將不會被輸出.
       -q: 不會輸出任何信息, 該選項主要用於測試某個搜索字符或搜索pattern在執行grep命令之後的返回值.
       -r: 表示遞歸的搜索當前目錄的子目錄中的文件. 
4.    對於普通模式的grep,如果搜索的字符中普通字符前面加入\,則該字符按照擴展grep(egrep或者grep -E)的正則規則進行查找.如grep "love\|live" filename,
       將等同於egrep "love|live" filename,這裡的\|將按照egrep中的|元字符處理, 再如, egrep "3+" filename等同於grep "3\+" filename.

 

三、sed:


1.    sed命令:
       ,:  表示范圍.
       1) sed -n '/west/,/east/p' datafile 表示打印所有從包含west開始到包含east的行,如果直到文件的結尾都沒有包含east的行,將打印west後面的所有行.
           其實邏輯很簡單, 就是sed在發現包含west行之後開發打印該行,直到發現包含east的行打印才結束,否則一直打印直到文件的末尾.
       2) sed -n '5,/^northeast/p' datafile 表示從第五行開始打印,直到遇到以northeast開始的行結束打印.
       
       !:  表示對匹配結果取反.
       1) sed '/north/!d' datafile 將刪除所有不包含north的行.

       a: 追加命令.
       1) sed '/^north/a first line \
           second line \
           third line' datafile 將會在所有包含north行的後面追加first line \r second line \n third line. 其中\表示下一行還有內容的連詞. 如果是c-shell:
           sed '/^north/a first line \\
           second line \\
           third line' datafile 其中多出來的\是轉義符.
       
       d: 表示刪除.
       1) sed '/north/d' datafile 將刪除所有包含north的行.
       2) sed '3d' datafile    將刪除第三行.
       3) sed '3,$d' datafile    將刪除第三行到文件的結尾行.
       4) sed 'd' datafile 將刪除所有行.
       
       e: 表示多點編輯.
       1) sed -e '1,3d' -e 's/Hemenway/Jones/' datafile    一個sed語句執行多條編輯命令, 因此命令的順序會影響其最終結果.
       2) sed -e 's/Hemenway/Jones/' -e 's/Jones/Max/' datafile 先用Jones替換Hemenway, 再用Max替換Jones.

       h和g/G: 保持和獲取命令.
       1) sed -e '/northeast/h' -e '$G' datafile sed將把所有包含northeast的行輪流緩存到其內部緩沖區, 最後��只是保留最後一個匹配的行,
           $G是將緩沖區的行輸出到$G匹配行的後面, 該例表示將最後一個包含northeast的行追加到文件的末尾.
       2) sed -e '/WE/{h; d;}' -e '/CT/{G;}' datafile 表示將包含WE的行保存到緩沖區, 然後刪除該行,最後將緩沖區中保存的那份輸出到CT行的後面.
       3) sed -e '/northeast/h' -e '$g' datafile 表示將包含northeast的行保存到緩沖區, 再將緩沖區中保存的那份替換文件的最後一行並輸出.
           再與h合用時, g表示替換, G表示追加到匹配行後面.
       4) sed -e '/WE/{h; d;}' -e '/CT/{g;}' datafile 保留包含WE的行到緩沖區, 如果有新的匹配行出現將會替換上一個存在緩沖區中的行, 如果此時發現有
           包含CT的行出現, 就用緩沖區中的當前行替換這個匹配CT的行, 之後如果有新的WE出現, 將會用該新行替換緩沖區中數據, 當前再次遇到CT的時候,將用最
           新的緩沖區數據替換該CT行.
   
       i: 表示插入.
       1) sed '/north/i first line \
           second line \
           third line' datafile    其規則和a命令基本相同, 只是a是將額外的信息輸出到匹配行的後面, i是將額外信息輸出到匹配行的前面.
       
       p: 表示打印.
       1) sed '/north/p' datafile 將打印所有包含north的行.
       2) sed '3p' datafile    將打印第三行.
       3) sed '3,$p' datafile    將打印第三行到文件的結尾行.
       4) sed 'p' datafile 將打印所有行.
       注: 使用p的時候sed將會輸出指定打印的行和所有行, 當其與-n選項組合時候,將只是打印輸出匹配的行.
       
       n: 下一行命令.
       1) sed '/north/ {n; s/Chin/Joseph/}' datafile 將先定位包含north的行, 然後取其下一行作為目標行, 再在該目標行上執行s/Chin/Joseph/的替換操作.
       2) sed '/north/ {n; n; s/Chin/Joseph/}' datafile 將取north包含行的後兩行作為目標行.
       注: {}作為嵌入的腳本執行.
       
       q: 退出命令.
       1) sed '5q' datafile 到第五行退出(輸出第五行).
       2) sed '/north/q' datafile 輸出到包含north的行退出(輸出包含north的行).
       3) sed '/Lewis/ {s/Lewis/Joseph/; q}' datafile 將先定位包含Lewis的行, 然後用Joseph替換Lewis,最後退出sed操作.
       
       r: 文件讀入.
       1) sed '/Suan/r newfile' datafile    在輸出時,將newfile的文件內容跟隨在datafile中包含Suan的行後面輸出,如果多行都包含Suan,則文件被多次輸出.
   
       s: 表示替換.
       1) sed 's/west/north/g' datafile    將所有west替換為north, g表示如果一行之內多次出現west,將全部替換, 如果沒有g命令,將只是替換該行的第一個匹配.
       2) sed -n 's/^west/north/p' datafile    將所有以west開頭的行替換為north, 同時只是輸出替換匹配的行.
       3) sed -n '1,5 s/\(Mar\)got/\1ianne/p' datafile    將從第一行到第五行中所有的Margot替換為Marianne, \1是\(Mar\)的變量替代符.
       
       w: 文件寫入.
       1) sed -n '/north/w newfile2' datafile    將datafile中所有包含north的行都寫入到newfile2中.
       
       x: 互換命令.
       1) sed -e '/pat/h' -e '/Margot/x' datafile x命令表示當定位到包含Margot行,互換緩沖區和該匹配Margot行的數據, 即緩沖區中的數據替換該匹配行顯示,
           該匹配行進入緩沖區, 如果在交換時緩沖區是空, 則該匹配行被換入緩沖區, 空行將替換該行顯示, 後面依此類推. 如果交換後, 再次出現匹配pat的行, 該
           行將仍然會按照h命令的規則替換(不是交換, 交換只是發生在發現匹配Margot的時候)緩沖區中的數據.
   
       y: 變形命令.
       1) sed '1,3y/abcd/ABCD/' datafile 將1到3行中的小寫abcd對應者替換為ABCD,注意abcd和ABCD是一一對應的. 如果他們的長度不匹配,sed將報錯.
       2) sed 'y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' datafile 將datafile中所有的小寫字符替換為大寫字母.


四、awk家族:


1.    執行方式:
      1) awk 'pattern' filename 如awk '/Mary/' employees
      2) awk '{action}' filename 如awk '{print $1}' employees
      3) awk 'pattern {action}' filename 如awk '/Mary/ {print $1}' employees
      注: 模式/Mary/對action的作用范圍是從其後面的第一個左花括號開始,到第一個右花括號結束. 其後的pattern將不會影響前面的action.
   
2.    內置變量:
       $0:    表示一整行(相當於數據庫中一條記錄).
       NR:    當前行號.
       NF:    當前記錄的域(相當於數據庫中的字段)數量
       RS:    行分隔符(缺省為回車).
       FS:    域分隔符,缺省為\t. awk -F: '{print $1,$2,$3}' employees 這裡FS等於":".
       OFS:輸出域分隔符, awk  -F: '{print $1,$2,$3}' employees 這裡OFS等於" "空格, 因為在$1和$2之間是空格分開的.
       ARGC: 命令行參數的數量.
       ARGV: 命令行參數數組.
       ENVIRON: 從shell傳遞來的包含當前環境變量的數組.
       ERRNO: 錯誤號.
       FILENAME: 當前的輸入文件名.
   
3.    格式化輸出:
       轉義碼:
       \b:    Backspace.
       \n:    換行.
       \r:    回車.
       \t:    制表符.   
   
       格式化說明符:
       %c:    單個ASCII字符.
       %d:    十進制數字.
       %e:    科學記數法表示的數字.
       %f:    浮點數.
       %o:    八進制數字.
       %s:    打印字符串.
       %x:    十六進制數字.
       -:    表示左對齊,如%-15d, 在十進制數字的後面會有一些空格,同時該數字是左對齊的. %+15d或%15d表示右對齊,當數字不足15位的時候.
       #:    如%#o或%#x, 會在八進制的數字前面加入0,十六進制前加0x.

4.    操作符:
       ~:    匹配運算符. 如awk '$1~/Mary/' employees, 表示第一個域($1)中包含Mary的被打印, 如果其他域包含,第一個域沒有,則仍然視為無效.
       !~:    不匹配運算符. 如awk '$1!~/Mary/' employees, 表示第一個域($1)中不包含Mary的被打印, 如果其他域包含,第一個域沒有,則仍然視為有效.
       <,>,<=,>=,!=,==: 關系運算符. awk '$3>5000 {print $3}' datafile
       cond ? expr1 : expr2 條件表達式 awk '{max = $1 > $2 ? $1 : $2; print max}' datafile
       =,+=,-=,*=,/=,%=: 賦值運算符.
       -,+,*,/,%,^(x^y[乘方]): 數學運算符.
       &&, ||, !: 邏輯運算符.
       ,: 表示范圍, awk '/Tom/,/Mary/' datafile 其規則可參照sed中逗號運算符.
   
5.    選項:
       -F:    指定特定的分隔符,而不是缺省的\t, 如-F:,這裡分隔符是":".   

6.    awk編程:
       1) BEGIN: 其後緊跟著動作塊, 該塊將會在任何輸入文件被讀入之前執行, 如一些初始化工作, 或者打印一些輸出標題.
       awk 'BEGIN{FS=":"; OFS="\t";ORS="\n\n"} {print $1,$2,$3}' file
       即使輸入文件不存在, BEGIN塊動作仍然會被執行.
       
       2) END: 其後也緊隨動作塊, 該動作模塊將在整個輸入文件處理完畢之後被處理, 但是END需要有文件名的輸入.
       awk 'END {print "The end\n"} filename.
       
       3) 輸入輸出重新定向:
       awk 'BEGIN {print "Hello" > "newfile"}' datafile 文件名一定要用雙引號擴起來, > 如果文件存在,則清空後重寫新文件.
       awk 'BEGIN {print "Hello" >> "newfile"}' datafile 文件名一定要用雙引號擴起來, > 如果文件存在, 則在文件末尾追加寫入.
       awk 'BEGIN {getline name < "/dev/tty"; print name}' getline是awk的內置函數, 就像c語言的gets, 將輸入賦值給name變量.
       
       4) system函數可以執行shell中的命令,這些命令必須用雙引號擴起.
       awk 'END { system("clear"); system ("cat " FILENAME)}' filename
       
       5) 條件語句:
       if (expr) { stat; } else { stat; }
       if (expr) { stat; } else if { stat; } else { stat; }
       awk '{ if ($7 <= 2) { print "less than 2", $7 } else if ($7 <= 4) { print "less than 4", $7 } else { print "the others", $7 } }' datafile
       
       6) 循環語句:
       while (expr) { stat; }
       for (i = 1; i <= NF; i++) { stat; }
       break;
       continue;
       exit(exitcode);    awk 將退出. 退出後的$?將會是這裡的exitcode.
       next; 讀取下一條記錄. awk '{ if ($7 == 3) { next } else { print $0 }}' datafile 將不會輸出$7等於3的記錄.
       
       7) 數組:
       awk的數組和pl/sql中數組有些類似, 都是通過哈希表來實現的,其下標可以是數字, 也可以是字符串.
       awk '{name[x++]=$3};END{for(i = 0; i < NR; i++) { print i, name[i]}}' employees
       awk '{id[NR]=$3};END{for (x = 1; x <= NR; x++) { print id[x]} }' employees
       awk '/^Tom/{name[NR]=$1}; END{for (i in name) { print name[i]}}' employees 特殊的for語句
       awk '/Tom/{count["tom"]++}; /Mary/{count["mary"]++}; END{print "count[tom] = ",count["tom"]; print "count[mary] = ", count["mary"]}' employees
       awk '{count[$2]++};END{for (name in count) {print name,count[name]}}' datafile 域變量也可以作為數組的下標.

7.    內置函數:
       1) sub/gsub(regexp, substitution string, [target string]); gsub和sub的差別是sub只是替換每條記錄中第一個匹配正則的, gsub則替換該記錄中所有匹配
       正則的, 就是vi中s/src/dest/ 和s/src/dest/g的區別, 如果target string沒有輸入, 其缺省值是$0.
       awk '{sub(/Tom/,"Thomas"); print}' employees
       awk '{sub(/Tom/,"Thomas",$1); print}' employees
       
       awk '{gsub(/Tom/,"Thomas"); print}' employees
       awk '{gsub(/Tom/,"Thomas",$1); print}' employees
       
       2) index(string ,substring) 返回子字符串第一次被匹配的位置(1開始)
       awk 'BEGIN{print index("hollow", "low") }'
       
       3) length(string) 返回字符串的長度.
       awk 'BEGIN{print length("hello")}'
       
       4) substr(string, starting position, [length])
       awk 'BEGIN{print substr("Santa Claus",7,6)}'
       awk 'BEGIN{print substr("Santa Claus",7)}'
       
       5) match(string, regexp) 返回正則表示在string中的位置, 沒有定位返回0
       awk 'BEGIN{print match("Good ole USA",/[A-Z]+$/)}'

       6) toupper(string)和tolower(string) 僅僅gawk有效.
       awk 'BEGIN{print toupper("linux"), tolower("BASH")}'

       7) split(string, array, [field seperator]) 如果不輸入field seperator, FS內置變量作為其缺省值.
       awk 'BEGIN{split("12/24/99",date,"/"); for (i in date) {print date[i]} }'
       
       8) variable = sprintf(format, ...) 和printf的最大區別就是他返回格式化後的字符串.
       awk '{line = sprintf("%-15s %6.2f ",$5,$6); print line}' datafile
       
       9) systime() 返回1970/1/1到當前時間的整秒數.
       
       10) variable = strftime(format, [timestamp])
       
       11) 數學函數: atan2(x,y), cos(x), exp(x)[求冪], int(x)[求整數], log(x), rand()[隨機數], sin(x), sqrt(x), srand(x)

Copyright © Linux教程網 All Rights Reserved