linux文本分析awk基礎(chǔ)命令介紹(8)
awk是一種模式掃描和處理語言，在對數(shù)據(jù)進行分析處理時，是十分強大的工具。
awk [options] 'pattern {action}' file...
awk的工作過程是這樣的：按行讀取輸入(標準輸入或文件)，對于符合模式pattern的行，執(zhí)行action。當pattern省略時表示匹配任何字符串；當action省略時表示執(zhí)行'{print}'；它們不可以同時省略。
每一行輸入，對awk來說都是一條記錄(record)，awk使用$0來引用當前記錄：
[root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}'
root:x:0:0:root:/root:/bin/bash
例子中將命令head -1 /etc/passwd作為awk的輸入，awk省略了pattern，action為print $0，意為打印當前記錄。
對于每條記錄，awk使用分隔符將其分割成列，第一列用$1表示，第二列用$2表示...最后一列用$NF表示
選項-F表示指定分隔符
如輸出文件/etc/passwd第一行第一列(用戶名)和最后一列(登錄shell)：
[root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}'
root /bin/bash
當沒有指定分隔符時，使用一到多個blank(空白字符，由空格鍵或TAB鍵產(chǎn)生)作為分隔符。輸出的分隔符默認為空格。
如輸出命令ls -l *的結(jié)果中，文件大小和文件名：
[root@centos7 temp]# ls -l * | awk '{print $5,$NF}'
13 b.txt
58 c.txt
12 d.txt
0 e.txt
0 f.txt
24 test.sh
[root@centos7 temp]#
還可以對任意列進行過濾：
[root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/' -rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt
其中$5>20表示第五列的值大于20；&&表示邏輯與；$NF ~ /txt$/中，~表示匹配，符號//內(nèi)部是正則表達式。這里省略了action，整條awk語句表示打印文件大小大于20字節(jié)并且文件名以txt結(jié)尾的行。
awk用NR表示行號
[root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin [root@centos7 temp]#
例子中||表示邏輯或，語句表示：輸出文件/etc/passwd中以root開頭的行或者第二行。
在一些情況下，使用awk過濾甚至比使用grep更靈活
如獲得ifconfig的輸出中網(wǎng)卡名及其對應(yīng)的mtu值
[root@idc-v-71253 ~]# ifconfig|awk '/^\S/{print $1"\t"$NF}'
ens32: 1500
ens33: 1500
lo: 65536
[root@idc-v-71253 ~]#
#這里的正則表示不以空白字符開頭的行，輸出內(nèi)容中使用\t進行了格式化。
以上所說的NR、NF等都是awk的內(nèi)建變量，下面列出部分常用內(nèi)置變量
$0 當前記錄（這個變量中存放著整個行的內(nèi)容） $1~$n 當前記錄的第n個字段，字段間由FS分隔 FS 輸入字段分隔符 默認是空格或Tab NF 當前記錄中的字段個數(shù)，就是有多少列 NR 行號，從1開始，如果有多個文件話，這個值也不斷累加。 FNR 輸入文件行號 RS 輸入的記錄分隔符， 默認為換行符 OFS 輸出字段分隔符， 默認也是空格 ORS 輸出的記錄分隔符，默認為換行符 FILENAME 當前輸入文件的名字
awk中還可以使用自定義變量，如將網(wǎng)卡名賦值給變量a，然后輸出網(wǎng)卡名及其對應(yīng)的RX bytes的值(注意不同模式匹配及其action的寫法)：
[root@idc-v-71253 ~]# ifconfig|awk '/^\S/{a=$1}/RX p/{print a,$5}'
ens32: 999477100
ens33: 1663197120
lo: 0
awk中有兩個特殊的pattern：BEGIN和END；它們不會對輸入文本進行匹配，BEGIN對應(yīng)的action部分組合成一個代碼塊，在任何輸入開始之前執(zhí)行；END對應(yīng)的action部分組合成一個代碼塊，在所有輸入處理完成之后執(zhí)行。
#注意類似于C語言的賦值及print函數(shù)用法
[root@centos7 temp]# ls -l *|awk 'BEGIN{print "size name\n---------"}$5>20{x+=$5;print $5,$NF}END{print "---------\ntotal",x}'
size name
---------
58 c.txt
24 test.sh
---------
total 82
[root@centos7 temp]#
awk還支持數(shù)組，數(shù)組的索引都被視為字符串(即關(guān)聯(lián)數(shù)組)，可以使用for循環(huán)遍歷數(shù)組元素
如輸出文件/etc/passwd中各種登錄shell及其總數(shù)量
#注意數(shù)組賦值及for循環(huán)遍歷數(shù)組的寫法
[root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd
/bin/sync 1
/bin/bash 2
/sbin/nologin 19
/sbin/halt 1
/sbin/shutdown 1
[root@centos7 temp]#
當然也有if分支語句
#注意大括號是如何界定action塊的
[root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}'
6 3
[root@centos7 temp]#
pattern之間可以用逗號分隔，表示從匹配第一個模式開始直到匹配第二個模式
[root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin
還支持三目操作符pattern1 ? pattern2 : pattern3，表示判斷pattern1是否匹配，true則匹配pattern2，false則匹配pattern3，pattern也可以是類似C語言的表達式。
如判斷文件/etc/passwd中UID大于500的登錄shell是否為/bin/bash，是則輸出整行，否則輸出UID為0的行：
#注意為避免混淆對目錄分隔符進行了轉(zhuǎn)義
[root@centos7 ~]# awk -F: '$3>500?/\/bin\/bash$/:$3==0 {print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
learner:x:1000:1000::/home/learner:/bin/bash
#三目運算符也可以嵌套，例子略
選項-f file表示從file中讀取awk指令
#打印斐波那契數(shù)列前十項
[root@centos7 temp]# cat test.awk
BEGIN{
$1=1
$2=1
OFS=","
for(i=3;i<=10;i++)
{
$i=$(i-2)+$(i-1)
}
print
}
[root@centos7 temp]# awk -f test.awk
1,1,2,3,5,8,13,21,34,55
[root@centos7 temp]#
選項-F指定列分隔符
#多個字符作為分隔符時
[root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}'
2 5
[root@centos7 temp]#
#這里-F后單引號中的內(nèi)容也是正則表達式
選項-v var=val設(shè)定變量
#這里printf函數(shù)用法類似C語言同名函數(shù)
[root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02d\n",i}'
00
01
02
03
04
[root@centos7 ~]#
print等函數(shù)還支持使用重定向符>和>>將輸出保存至文件
#如按第一列(IP)分類拆分文件access.log，并保存至ip.txt文件中
[root@centos7 temp]# awk '{print > $1".txt"}' access.log
[root@centos7 temp]# ls -l 172.20.71.*
-rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt
-rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt
-rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt
-rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt
內(nèi)建函數(shù)
length()獲得字符串長度
[root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
[root@centos7 temp]#
split()將字符串按分隔符分隔，并保存至數(shù)組
[root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}'
root
x
0
0
root
/root
/bin/bash
[root@centos7 temp]#
getline從輸入(可以是管道、另一個文件或當前文件的下一行)中獲得記錄，賦值給變量或重置某些環(huán)境變量
#從shell命令date中通過管道獲得當前的小時數(shù)
[root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}'
09
#從文件中獲取，此時會覆蓋當前的$0。(注意逐行處理b.txt的同時也在逐行從c.txt中獲得記錄并覆蓋$0，當getline先遇到eof時<即c.txt文件行數(shù)較少>將輸出空行)
[root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt
"https://segmentfault.com/blog/learnning"
[root@centos7 temp]#
#賦值給變量
[root@centos7 temp]# awk '{getline blog <"c.txt";print $0"\n"blog}' b.txt
aasdasdadsad
BLOG ADDRESS IS "https://segmentfault.com/blog/learnning"
[root@centos7 temp]#
#讀取下一行(也會覆蓋當前$0)
[root@centos7 temp]# cat file
anny
100
bob
150
cindy
120
[root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file
370
#此時表示只對偶數(shù)行進行處理
next作用和getline類似，也是讀取下一行并覆蓋$0，區(qū)別是next執(zhí)行后，其后的命令不再執(zhí)行，而是讀取下一行從頭再執(zhí)行。
#跳過以a-s開頭的行，統(tǒng)計行數(shù)，打印最終結(jié)果
[root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd
2
[root@centos7 temp]#
#又如合并相同列的兩個文件
[root@centos7 temp]# cat f.txt
學(xué)號 分值
00001 80
00002 75
00003 90
[root@centos7 temp]# cat e.txt
姓名 學(xué)號
張三 00001
李四 00002
王五 00003
[root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt
姓名 學(xué)號 分值
張三 00001 80
李四 00002 75
王五 00003 90
#這里當讀第一個文件時NR==FNR成立，執(zhí)行a[$1]=$2，然后next忽略后面的。讀取第二個文件時，NR==FNR不成立，執(zhí)行后面的打印命令
sub(regex,substr,string)替換字符串string(省略時為$0)中首個出現(xiàn)匹配正則regex的子串substr
[root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")' hello world [root@centos7 temp]#
gsub(regex,substr,string)與sub()類似，但不止替換第一個，而是全局替換
[root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}'
root:x:----:----:root:/root:/bin/bash
bin:x:----:----:bin:/bin:/sbin/nologin
daemon:x:----:----:daemon:/sbin:/sbin/nologin
adm:x:----:----:adm:/var/adm:/sbin/nologin
lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin
substr(str,n,m)切割字符串str，從第n個字符開始，切割m個。如果m省略，則到結(jié)尾
[root@centos7 temp]# echo "hello,世界！"|awk '{print substr($0,8,1)}'
界
[root@centos7 temp]#
tolower(str)和toupper(str)表示大小寫轉(zhuǎn)換
[root@centos7 temp]# echo "hello,世界！"|awk '{A=toupper($0);print A}'
HELLO,世界！
[root@centos7 temp]#
system(cmd)執(zhí)行shell命令cmd，返回執(zhí)行結(jié)果，執(zhí)行成功為0，失敗為非0
#此處if語句判斷和C語言一致，0為false，非0為true
[root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}'
success
[root@centos7 temp]#
match(str,regex)返回字符串str中匹配正則regex的位置
[root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}'
7
[root@centos7 temp]#
awk作為一個編程語言可以處理各種各樣的問題，甚至于編寫應(yīng)用軟件，但它更常用的地方是命令行下的文本分析，生成報表等，這些場景下awk工作的很好。工作中如經(jīng)常有文本分析的需求，那么掌握這個命令的用法將為你節(jié)省大量的時間。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- linux shell實現(xiàn)隨機數(shù)幾種方法分享(date,random,uuid)
- linux命令詳解date使用方法(計算母親節(jié)和父親節(jié)日期腳本示例)
- linux使用find和crontab命令定期清理過期文件
- 淺談Linux下通過find命令進行rm文件刪除的小技巧
- linux的一個find命令配合rm刪除某天前的文件方法
- linux find下如何統(tǒng)計一個目錄下的文件個數(shù)以及代碼總行數(shù)的命令
- Linux tar 壓縮打包命令使用方法
- linux下mysql提示"mysql deamon failed to start"錯誤的解決方法
- Linux rpm tar 操作系統(tǒng)下軟件的安裝與卸載方法
- linux文件搜索及其它基礎(chǔ)命令介紹(3)
相關(guān)文章
這里匯總了一下關(guān)于shell編程的相關(guān)知識點，由簡入深，非常的不錯，這里推薦給大家2014-12-12
Linux命令dos2unix命令示例詳解(將DOS格式文本文件轉(zhuǎn)換成Unix格式)
dos2unix命令 用來將DOS格式的文本文件轉(zhuǎn)換成UNIX格式的,而Unix格式的文本文件在Windows下用Notepad打開時會拼在一起顯示,本文介紹Linux命令dos2unix命令示例詳解(將DOS格式文本文件轉(zhuǎn)換成Unix格式),感興趣的朋友一起看看吧2024-04-04
如何使用shell獲取進程名的內(nèi)存以及CPU利用率
最近工作中遇到一個需求,需要找出占用高的進程,所以下面這篇文章主要給大家介紹了關(guān)于如何使用shell獲取進程名的內(nèi)存以及CPU利用率的相關(guān)資料,需要的朋友可以參考下2022-04-04
shell實現(xiàn)的一個進度條，感興趣的朋友不妨看看2013-02-02
使用shell腳本分析網(wǎng)站日志統(tǒng)計PV、404、500等數(shù)據(jù)
這篇文章主要介紹了使用shell腳本分析網(wǎng)站日志統(tǒng)計PV（瀏覽量）、404、500等數(shù)據(jù),用一個腳本來實現(xiàn),需要的朋友可以參考下2014-05-05
這篇文章主要介紹了Linux系統(tǒng)中掩耳盜鈴的sudo配置的相關(guān)資料,需要的朋友可以參考下2015-09-09
這篇文章介紹了linux目錄管理的方法，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05
一文學(xué)會使用Linux內(nèi)核模塊&proc實例統(tǒng)計所有進程信息
這篇文章主要介紹了使用Linux內(nèi)核模塊&proc實例統(tǒng)計所有進程信息詳解，2023-05-05
經(jīng)常在 shell 腳本里要阻止其它進程，比如 msmtp 自帶的mail queue 腳本，這個腳本的互斥做法是不正確的，下面介紹下發(fā)現(xiàn)的三個通過文件達到互斥的正確做法2016-08-08
通過自己編寫Makefile文件來實現(xiàn)多目標文件的鏈接，其實就是將gcc 編譯命令寫入到Makefile文件，通過執(zhí)行make 指令來實現(xiàn)編譯。這樣我不需要每次都敲入gcc -指令。直接輸入make就OK了。2014-02-02