shell中(字符串截取)
cut是以每一行為一個處理對象的,這種機制和sed是一樣的。(關於sed的入門文章將在近期發布)
2 cut一般以什麼為依據呢? 也就是說,我怎麼告訴cut我想定位到的剪切內容呢?
cut命令主要是接受三個定位方法:
第一,字節(bytes),用選項-b
第二,字符(characters),用選項-c
第三,域(fields),用選項-f
3 以“字節”定位,給個最簡單的例子?
舉個例子吧,當你執行ps命令時,會輸出類似如下的內容:
[rocrocket@rocrocket programming]$ who
rocrocket :0 2009-01-08 11:07
rocrocket pts/0 2009-01-08 11:23 (:0.0)
rocrocket pts/1 2009-01-08 14:15 (:0.0)
如果我們想提取每一行的第3個字節,就這樣:
[rocrocket@rocrocket programming]$ who|cut -b 3
c
c
c
看明白了吧,-b後面可以設定要提取哪一個字節,其實-b和3之間沒有空格也是可以的,但推薦有空格:)
4 如果“字節”定位中,我想提取第3,第4、第5和第8個字節,怎麼辦?
-b支持形如3-5的寫法,而且多個定位之間用逗號隔開就成了。看看例子吧:
[rocrocket@rocrocket programming]$ who|cut -b 3-5,8
croe
croe
croe
但有一點要注意,cut命令如果使用了-b選項,那麼執行此命令時,cut會先把-b後面所有的定位進行從小到大排序,然後再提取。可不能顛倒定位的順序哦。這個例子就可以說明這個問題:
[rocrocket@rocrocket programming]$ who|cut -b 8,3-5
croe
croe
croe
5 還有哪些類似“3-5”這樣的小技巧,列舉一下吧!
[rocrocket@rocrocket programming]$ who
rocrocket :0 2009-01-08 11:07
rocrocket pts/0 2009-01-08 11:23 (:0.0)
rocrocket pts/1 2009-01-08 14:15 (:0.0)
[rocrocket@rocrocket programming]$ who|cut -b -3
roc
roc
roc
[rocrocket@rocrocket programming]$ who|cut -b 3-
crocket :0 2009-01-08 11:07
crocket pts/0 2009-01-08 11:23 (:0.0)
crocket pts/1 2009-01-08 14:15 (:0.0)
想必你也看到了,-3表示從第一個字節到第三個字節,而3-表示從第三個字節到行尾。如果你細心,你可以看到這兩種情況下,都包括了第三個字節“c”。
如果我執行who|cut -b -3,3-,你覺得會如何呢?答案是輸出整行,不會出現連續兩個重疊的c的。看:
[rocrocket@rocrocket programming]$ who|cut -b -3,3-
rocrocket :0 2009-01-08 11:07
rocrocket pts/0 2009-01-08 11:23 (:0.0)
rocrocket pts/1 2009-01-08 14:15 (:0.0)
6 給個以字符為定位標志的最簡單的例子吧!
下面例子你似曾相識,提取第3,第4,第5和第8個字符:
[rocrocket@rocrocket programming]$ who|cut -c 3-5,8
croe
croe
croe
不過,看著怎麼和-b沒有什麼區別啊?莫非-b和-c作用一樣? 其實不然,看似相同,只是因為這個例子舉的不好,who輸出的都是單字節字符,所以用-b和-c沒有區別,如果你提取中文,區別就看出來了,來,看看中文提取的情況:
[rocrocket@rocrocket programming]$ cat cut_ch.txt
星期一
星期二
星期三
星期四
[rocrocket@rocrocket programming]$ cut -b 3 cut_ch.txt
�
�
�
�
[rocrocket@rocrocket programming]$ cut -c 3 cut_ch.txt
一
二
三
四
看到了吧,用-c則會以字符為單位,輸出正常;而-b只會傻傻的以字節(8位二進制位)來計算,輸出就是亂碼。
既然提到了這個知識點,就再補充一句,如果你學有余力,就提高一下。
當遇到多字節字符時,可以使用-n選項,-n用於告訴cut不要將多字節字符拆開。例子如下:
[rocrocket@rocrocket programming]$ cat cut_ch.txt |cut -b 2
�
�
�
�
[rocrocket@rocrocket programming]$ cat cut_ch.txt |cut -nb 2
[rocrocket@rocrocket programming]$ cat cut_ch.txt |cut -nb 1,2,3
星
星
星
星
6 域是怎麼回事呢?解釋解釋:)
為什麼會有“域”的提取呢,因為剛才提到的-b和-c只能在固定格式的文檔中提取信息,而對於非固定格式的信息則束手無策。這時候“域”就派上用場了。
(下面的講解內容是在假設你對/etc/passwd文件的內容和組織形式比較了解的情況下進行的。)
如果你觀察過/etc/passwd文件,你會發現,它並不像who的輸出信息那樣具有固定格式,而是比較零散的排放。但是,冒號在這個文件的每一行中都起到了非常重要的作用,冒號用來隔開每一個項。
我們很幸運,cut命令提供了這樣的提取方式,具體的說就是設置“間隔符”,再設置“提取第幾個域”,就OK了!
以/etc/passwd的前五行內容為例:
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1
root
bin
daemon
adm
lp
看到了吧,用-d來設置間隔符為冒號,然後用-f來設置我要取的是第一個域,再按回車,所有的用戶名就都列出來了!呵呵 有成就感吧!
當然,在設定-f時,也可以使用例如3-5或者4-類似的格式:
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
root:0:0:root
bin:1:1:bin
daemon:2:2:daemon
adm:3:4:adm
lp:4:7:lp
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5,7
root:0:0:root:/bin/bash
bin:1:1:bin:/sbin/nologin
daemon:2:2:daemon:/sbin/nologin
adm:3:4:adm:/sbin/nologin
lp:4:7:lp:/sbin/nologin
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f -2
root:x
bin:x
daemon:x
adm:x
lp:x
7 如果遇到空格和制表符時,怎麼分辨呢?我覺得有點亂,怎麼辦?
有時候制表符確實很難辨認,有一個方法可以看出一段空格到底是由若干個空格組成的還是由一個制表符組成的。
[rocrocket@rocrocket programming]$ cat tab_space.txt
this is tab finish.
this is several space finish.
[rocrocket@rocrocket programming]$ sed -n l tab_space.txt
this is tab\tfinish.$
this is several space finish.$
看到了吧,如果是制表符(TAB),那麼會顯示為\t符號,如果是空格,就會原樣顯示。
通過此方法即可以判斷制表符和空格了。
注意,上面sed -n後面的字符是L的小寫字母哦,不要看錯。(字母l、數字1還有或運算|真是難分辨啊…,看來這三個比制表符還難分辨…)
8 我應該在cut -d中用什麼符號來設定制表符或空格呢?
悄悄的告訴你,cut的-d選項的默認間隔符就是制表符,所以當你就是要使用制表符的時候,完全就可以省略-d選項,而直接用-f來取域就可以了!放心,相信我!
如果你設定一個空格為間隔符,那麼就這樣:
[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ' ' -f 1
this
this
注意,兩個單引號之間可確實要有一個空格哦,不能偷懶。
而且,你只能在-d後面設置一個空格,可不許設置多個空格,因為cut只允許間隔符是一個字符。
[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ' ' -f 1
cut: the delimiter must be a single character
Try `cut --help' for more information.
9 我想將ps和cut命令配合使用時,怎麼總是在最後兩行出現重復現象?
這個問題的具體描述是如下這樣的。
當cut和ps配合時:
[rocrocket@rocrocket programming]$ ps
PID TTY TIME CMD
2977 pts/0 00:00:00 bash
5032 pts/0 00:00:00 ps
[rocrocket@rocrocket programming]$ ps|cut -b3
P
9
0
0
看,最後的0重復了兩次!!而且,我也試過ps ef或ps aux均有此問題。
而當ps和其他命令配合時,均無此問題,例如cut和who配合則正常:
[rocrocket@rocrocket programming]$ who
rocrocket :0 2009-01-08 11:07
rocrocket pts/0 2009-01-08 11:23 (:0.0)
rocrocket pts/1 2009-01-08 14:15 (:0.0)
[rocrocket@rocrocket programming]$ who|cut -b3
c
c
c
這個看似怪異的令我百思不得其解的問題,得到了sunway的解答,在此非常感謝他。我發問的原帖地址在[此處]。
其實這個問題是這樣的,ps|cut會自身創建一個進程,所以當ps時也會提取出這個進程,然後通過管道輸出到cut,所以cut截取後,就多出了一行,之所以會重復上一行內容,是由於我們恰巧取到了和上一行內容相同的字符而已。
你測試下執行ps和ps|cat就知道原因了!:)
10 cut有哪些缺陷和不足?
猜出來了吧?對,就是在處理多空格時。
如果文件裡面的某些域是由若干個空格來間隔的,那麼用cut就有點麻煩了,因為cut只擅長處理“以一個字符間隔”的文本內容
在shell中遇到字符串問題,首先考慮的是grep ,sed ,awk , cut
不先講這幾個命令了,先來看一下字符串截取中用簡單方法就能做到的事情 ${}
(1)shell中的單引號比雙引號的區別:單引號關閉所有有特殊作用的字符,而雙引號只要求shell忽略大多數,具體的說,就是①美元符號②反引號③反斜槓,這3種特殊字符不被忽略
(2)求字符串長度 ----- (1)expr $x:‘.*’(2)${#x}
(3)求字符串子串 ----- ${x:$pos:$len},其中$pos位置,$len長度,其中$len可省略
(4)字符串替換 ----- ${x/a/b} 用b替換a ; ${x//a/b}用b替換所有的a
(5)字符串首尾截取----- ${x##*/}去掉所有/左邊的字符,也可用其它匹配代替*/ ${x#*/}只去掉第一次出現/左邊所有的字符。順序為從左到右.${x%%/*}去掉所有/右邊的字符,${x%/*}去掉第一次出現/右邊的字符,順序為從右到左.
eg,
#!/bin/bash
y=kdjfkd:dfkdjfkd:8888:9899899:kdjfkdfj
q=`echo $y | cut -d":" -f4` //以:截取,取第四個字段即9899899
m=${q##*8} //去掉所有8左邊的字符
echo $m
n=${q#*8} //去掉第一個8左邊的字符
echo $n
result:99
99899
(6)Shell數組定義 a=(1 2 3 4),不能有空格,比如a =(1 2 3 4)和a=(1 2 3 4)都是不允許的。
(7)數組長度: ${#a[@]}或者 ${#a[*]} ;全部數組 ${a[@]}或{$a[*]}返回1 2 3 4
(8)數組元素的長度 ${#a[i]},i為下標,和其它語言一樣,從0開始,數組元素${a[i]}
(9)awk默認使用空格作為域分隔符,
"+"和"?"只適用awk而不適用sed和grep
awk條件操作符:<,<=,>=,==,!=,~,!~
awk字符串處理函數:gsub(r,s),gsub(r,s,t),index(s,t)等
awk自定義環境變量:FILENAME,FNR,FS,NF,NR等
awk -F : '{print $1}' /etc/passwd 打印第一列的值, $0 打印全部的值
awk -F : 'BEGIN {print "name passwd\n-----------------"} {print $1"\t"$5}'END {print "End of file"}' /etc/passwd 輸出增加頭尾
awk '{if($0~/root/) print $0}' /etc/passwd輸出匹配"root"的行,等價於awk '$0~/root/' /etc/passwd
(10)無論命令是什麼?sed並不與初始化文件打交道,它操作的只是文件的一個拷貝。如果不重定向到一個文件,直接在標准輸出(顯示屏)顯示。
搜索替換是sed的拿手好戲。
sed -n '1,$p' /etc/passwd 打印從1到最後一行的所有內容
sed -e '/root/=' /etc/passwd打印出現"root"的行號和所有行
sed -n '/root/=' /etc/passwd只打印行號
sed -n -e '/root/p' /etc/passwd 只打印出現"root"的匹配行
sed -n -e '/root/p' -e '/root/=' /etc/passwd 打印匹配行和行號
sed 's/^M//g' /etc/passwd 刪除行尾控制字符(^M)= ctrl+v+m
sed 's/^0*//g' /etc/passwd 刪除行首的多個零
(11)grep 一般用來搜索字段或字串,sed用來搜索或者替換,awk可以進行復雜的運算和定制操作
(12)先不要管Shell的版本,來看看Shell 變量,在Shell中有三種變量:系統變量,環境變量,用戶變量
系統變量:
$# 傳遞到腳本的參數個數;
$$腳本運行的當前進程id;
$?最後命令的退出狀態,0表成功;
$!上一個命令的PID ;
$@ 以"參數1" "參數2" ... 形式保存所有參數 ;
$* 以"參數1 參數2 ... " 形式保存所有參數 ;$0表示腳本名稱
用戶變量:用set命令查看
環境變量:用setenv查看
(13)不同的shell版本有不同數組賦值方法,而bourne shell (如bash)中不支持數組方式。
(14)查看目錄或者文件,符號鏈接:ls -l | grep '^d' 或者 ls -l | grep '^-',ls -l | grep '^l'
(15)查看最後一列的指:ls -l | grep '^l' | awk '{print $NF}' (默認以空格分隔),在awk中,NF表示字段數,$NF表示最後一個字段
0
0