Linux Shell文本處理命令技巧

find命令

按正則表達式來匹配文件

find -regex 貌似這裡的正則表達式規則和一般的正則表達式規則有點不一樣 還沒有弄清楚

按照時間搜索 -號表示小於 +號表示大於

find . [-atime | -mtime | -ctime] [+|-]n[smhdw]

按大小搜索 單位k M G

find . -type f -size [-|+]2k

按權限搜索

find -perm mode 嚴格匹配模式

find -perm -mode 表示權限位轉換為二進制後，1的比特位要匹配，0的比特位不用匹配

find -perm +mode 與 -mode的區別是+mode只需其中的任意一個1比特位被匹配，-mode是所有1比特位都必須被匹配，同樣+mode也不管0位

將找到的文件拷貝到文檔目錄

find . -type f -mtime +10 -name “*.txt” -exec cp {} ~/Documents/ \;

-exec中指定腳本執行

-exec ./commands.sh {} \;

grep命令

-o 只輸出匹配的文本行

-v 只輸出沒有匹配的文本行

-c 統計文件中包含文本的次數

-n 打印匹配的行號

-i 搜索時忽略大小寫

-l 只打印文件名

遞歸搜索某個目錄，並打印出行號

grep “Jonathan” . -R -n

將找到的匹配高亮

grep test . -R -n –colour

匹配多個模式

grep -e “test” -e “image” . -R -n –colour

xargs命令

xargs命令的作用是講stdin的輸入按照一定的方式組織，然後把組織好的結果當做參數傳給下一個命令

-0 當sdtin含有特殊字元時候，將其當成一般字符

sort命令

-n 按數字進行排序

-d 按字典序進行排序

-r 逆序排序

-k N 指定按第N列排序

uniq命令

uniq消除重復行

sort unsort.txt | uniq

統計各行在文件中出現的次數

sort unsort.txt | uniq -c

找出重復行

sort unsort.txt | uniq -d

tr命令

echo 12345 | tr ‘0-9’ ‘9876543210’ // 0對應9 1對應8 。。。

字符類

alnum：字母和數字

alpha：字母

digit：數字

space：空白字符

lower：小寫

upper：大寫

cntrl：控制（非可打印）字符

print：可打印字符

使用方法：tr [:class:] [:class:]

eg: tr ‘[:lower:]’ ‘[:upper:]’

paste命令拼接兩個文件

paste file1 file2

wc命令

wc -l file // 統計行數

wc -w file // 統計單詞數

wc -c file // 統計字符數

sed命令

首處替換

sed ‘s/text/replace_text/’ file //替換每一行的第一處匹配的text

全局替換

sed ‘s/text/replace_text/g’ file

默認替換後，輸出替換後的內容，如果需要直接替換原文件,使用-i：

sed -i ‘s/text/repalce_text/g’ file

移除空白行

sed ‘/^$/d’ file

變量轉換

已匹配的字符串通過標記&來引用.

echo this is en example | seg ‘s/\w+/[&]/g’

$>[this] [is] [en] [example]

子串匹配標記

第一個匹配的括號內容使用標記 \1 來引用

sed ‘s/hello([0-9])/\1/’ file

雙引號求值

sed通常用單引號來引用；也可使用雙引號，使用雙引號後，雙引號會對表達式求值：

sed ‘s/$var/HLLOE/’

awk命令

結構

awk ’ BEGIN{ statements } {statements} END{ statements } ’

NR:表示記錄數量，在執行過程中對應當前行號；

NF:表示字段數量，在執行過程總對應當前行的字段數；

0:這個變量包含執行過程中當前行的文本內容；0:這個變量包含執行過程中當前行的文本內容；

1:第一個字段的文本內容；

$2:第二個字段的文本內容；

打印每一行的第二和第三個字段：

awk '{print $2, $3}' file

[code]awk ' END {print NR}' file

[code]awk 'NR < 5 {print $0}' file

[code]awk 'NR==1,NR==4 {print $0}' file

[code]awk '/text/ {print $0}'

[code]awk '!/linux/ {print $0}'