正則表達式

grep

主要用來過濾的。

cp /etc/passwd 1.txt

grep --color 'root' 1.txt                       #打印符合的行并用顏色顯示

vim .bashrc

#添加

alias grep='grep –color’

grep -c 'root' 1.txt                               #過濾行號

grep -n 'root' 1.txt                               #打印符合要求的行，并顯示行號

grep -v 'root' 1.txt                               #取反，打印不符合要去的行

grep –E = egrep                                  #表示特殊符號如()+?，不用脫義，脫義符號\

-A ：后跟一個數字（有無空格都可以），例如 –A2則表示打印符合要求的行以及下面兩行

-B ：后跟一個數字，例如 –B2 則表示打印符合要求的行以及上面兩行

-C ：后跟一個數字，例如 –C2 則表示打印符合要求的行以及上下各兩行

-r : 會把目錄下面所有的文件全部遍歷

grep 'r.t' 1.txt                                       #r和t一定要打印，并且中間還要有一個字符

grep 'r*t' 1.txt                                      #表示t一定要打印，r可以有零個或者多個

grep 'r.*t' 1.txt                                              #r和t一定要打印，中間可以任意個任意字符

grep '[0-9]' 1.txt                                   #打印所有包含數字的行

grep '[^0-9]' 1.txt                                 #打印所有非數字的行，如字符，空行

grep '^[0-9]' 1.txt                                 #打印所有以數字開頭的行

grep '[0-2]' txt = grep '[0,1,2]' 1.txt

grep '^$' 1.txt                                       #打印空行

grep 'in$' 1.txt                                      #打印以in結尾的行

grep '[a-z]' 1.txt                                   #打印所有的小字母的行

grep '[a-zA-Z]' 1.txt                             #打印所有的大小字母的行

grep 'root\|mysql' 1.txt                     #或者，但是要脫義\

^：以什么開頭

$：以什么結尾

*：表示*前面的那個字符可以有零個或者多個。

.*：任意個任意字符

+：一個或多個+前面的字符

?：零個或一個?前面的字符

需要脫義的字符：? + () [] \

sed

grep能用的，sed都能用，sed的功能還要多，可以刪除d，替換g

-r表示使用正則的特殊符號不用脫義

sed '10'p -n 1.txt               #p為打印，-n取消自動打印，按要求打印行，沒有-n會重復打印，

p一般和-n一起用，就是打印一般和-n一起用

sed -n '/root/p' 1.txt                  #打印包含某個字符的行，可以使用正則^,*$，當有關鍵字要用//

-e 可以實現同時進行多個任務sed -e'/root/p' -e '/body/p' -n 1.txt，也可以用;實現

sed -n '/root/p;/body/p' 1.txt

sed '/root/d' 1.txt                       #刪除行

sed '1d' 1.txt                                #刪除第一行，打印剩下的

sed '1,10d' 1.txt                          #刪除第一行到第十行，打印剩下的

sed '1,2s/ot/to/g' 1.txt    #s替換，g全局替換，否則只替換第一行在1-2行里，把ot替換成to，剩下照常打印，/可以為#，@，這些只在替換生效

sed 's/[0-9]//g' 1.txt                  #刪除所有的數字，即把數字替換為空

sed '/[0-9]/d' 1.txt                      #刪除所有數字的行

sed 's/[^0-9]//g' 1.txt                #刪除所有的非數字，即把為數字替換為空

head -n2 1.txt |sed's/\(root\)\(.*\)\(bash\)/\3\2\1/'      #調換兩個字符串的位置，注意脫義符號，還有三個/

sed 's/^.*$/& loging/g' 1.txt   #在最后加上 loging，一定要在替換才可以加

sed -i 's/ot/to/g' 1.txt                #-i直接修改文件內容

sed練習題：

把/etc/passwd 復制到/root/test.txt，

用sed打印所有行：sed '/.*/p' -n 1.txt

打印test.txt的3到10行：sed '3,10p' -n 1.txt

打印test.txt 中包含 'root' 的行：sed '/root/p' -n 1.txt

刪除test.txt 的15行以及以后所有行：sed '15,$d' 1.txt

刪除test.txt中包含 'bash' 的行; sed '/bash/d' 1.txt

替換test.txt 中 'root' 為 'toor'

替換test.txt中 '/sbin/nologin' 為 '/bin/login'

刪除test.txt中5到10行中所有的數字：sed -e 's/[0-9]//g' -e '5,10p' -n 1.txt

刪除test.txt 中所有特殊字符（除了數字以及大小寫字母）：sed  's/[^a-zA-Z0-9]//g' 1.txt

把test.txt中第一個單詞和最后一個單詞調換位置：sed -r 's/(^.*)(:.*:)(.*$)/\3\2\1/' 1.txt

把test.txt中出現的第一個數字和最后一個單詞替換位置

把test.txt 中第一個數字移動到行末尾

在test.txt 20行到末行最前面加 'aaa:'：sed -e 's/^.*$/& aaa/g' -e '10p' -n 1.txt

awk

可以按段打印

awk -F ':' '{print $1}' 1.txt                            #以:為分界符，截取文檔的第一段

awk -F ':' '{print $1"#"$2}'1.txt                 #以:為分界符，截取文檔的第一段和第二段并用#分界，自定義分界只能用雙引號””，不能用單引號’’

awk -F ':' 'OFS="@" {print$1,$3}' 1.txt             #和上面一個意思

awk '/oo/' 1.txt                                              #匹配字符或字符串

awk -F ':' '$1 ~/oo/' 1.txt                             #針對某個段匹配

awk '/root|mysql/' 1.txt                              #匹配多個

awk -F ':' '/root/ {print $1,$3};$1~/mysql/;$3 ~'/11/'' 1.txt             #多次匹配，把每次匹配到的都顯示出來

awk -F ':' '$1~/r*o/ {print $3}' 1.txt #打印匹配的行

條件操作符==,>,<,>=,<=

awk -F ':' '$3=="0"' 1.txt

awk -F ':' '$3>=99' 1.txt                               #初步判斷數字不用雙引號

awk -F ':' '$7!="/sbin/nologin"'1.txt        #字母要用雙引號，并且第七段要整一個字符串

awk -F ':' '$3<$4' 1.txt

awk -F ':' '$3>6 && $3<10'1.txt                #&&兩邊只需要一對單引號

awk -F ':' '$3>6 ||$7=="/bin/bash"' 1.txt        #字符串要用雙引號引起來

awk內置變量 NF(段數)  NR(行數)

head -n3 1.txt |awk -F ':' '{print NF}'                  #打印一共有多少段

head -n3 1.txt |awk -F ':' '{print $NF}'               #打印最后一段的字符

head -n3 1.txt |awk -F ':' '{print NR}'                 #打印行號

awk 'NR>20' 1.txt                                                   #打印20以后的行，row行，fragment段

awk -F ':' 'NR>20 && $1 ~/ssh/'  1.txt

awk -F ':''$1="root"' 1.txt                          #更改某段的值

awk -F ':' '{$7=$3+$4;print $0}' 1.txt                 #數學計算, 把第三段和第四段值相加，并賦予第七段

awk -F ':' '{if($1=="root") print$0}' 1.txt #也可以使用關鍵字

awk -F ':' '{tot=tot+$3};END {print tot}'1.txt            #計算第三段的總和

cat /etc/passwd|awk -F ':' 'BEGIN {print"name,shell"} {print $1","$7} END {print"blue,/bin/bash"}'           #只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以逗號分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"

用awk 打印整個test.txt （以下操作都是用awk工具實現，針對test.txt）：awk '/.*/' 1.txt

查找所有包含 'bash' 的行：awk '/bash/' 1.txt

用 ':' 作為分隔符，查找第三段等于0的行：awk -F ':' '$3==0' 1.txt

用 ':' 作為分隔符，查找第一段為 'root' 的行，并把該段的 'root' 換成 'toor' (可以

連同sed一起使用)：awk -F ':' '$1=="root"' 1.txt |sed 's/root/toor/g'

用 ':' 作為分隔符，打印最后一段：awk -F ':' '{print $7}' 1.txt

打印行數大于20的所有行：awk -F ':' 'NR>20' 1.txt

用 ':' 作為分隔符，打印所有第三段小于第四段的行：awk -F ':' '$3<$4' 1.txt

用 ':' 作為分隔符，打印第一段以及最后一段，并且中間用 '@' 連接（例如，第一行應>該是這樣的形式 'root@/bin/bash' ）：awk -F ':' 'OFS="@"{print $1,$7}' 1.txt

用 ':' 作為分隔符，把整個文檔的第四段相加，求和：

awk -F ':' 'sum=sum+$4 {print sum}' 1.txt|tail -n1