什么是Awk

Awk是一種小巧的編程語(yǔ)言及命令行工具。（其名稱(chēng)得自于它的創(chuàng)始人Alfred Aho、Peter Weinberger 和 Brian Kernighan姓氏的首個(gè)字母）。它非常適合服務(wù)器上的日志處理，主要是因?yàn)锳wk可以對(duì)文件進(jìn)行操作，通常以可讀文本構(gòu)建行。
我說(shuō)它適用于服務(wù)器是因?yàn)槿罩疚募?，轉(zhuǎn)儲(chǔ)文件（dump files），或者任意文本格式的服務(wù)器終止轉(zhuǎn)儲(chǔ)到磁盤(pán)都會(huì)變得很大，并且在每個(gè)服務(wù)器你都會(huì)擁有大量的這類(lèi)文件。如果你經(jīng)歷過(guò)這樣的情境——在沒(méi)有像Splunk或者其他等價(jià)的工具情況下不得不在50個(gè)不同的服務(wù)器里分析幾G的文件，你會(huì)覺(jué)得去獲取和下載所有的這些文件并分析他們是一件很糟糕的事。

我親身經(jīng)歷過(guò)這種情境。當(dāng)一些Erlang節(jié)點(diǎn)將要死掉并留下一個(gè)700MB到4GB的崩潰轉(zhuǎn)儲(chǔ)文件（crash dump）時(shí)，或者當(dāng)我需要在一個(gè)小的個(gè)人服務(wù)器（叫做VPS）上快速瀏覽日志，查找一個(gè)常規(guī)模式時(shí)。

在任何情況下，Awk都不僅僅只是用來(lái)查找數(shù)據(jù)的（否則，grep或者ack已經(jīng)足夠使用了）——它同樣使你能夠處理數(shù)據(jù)并轉(zhuǎn)換數(shù)據(jù)。
代碼結(jié)構(gòu)

Awk腳本的代碼結(jié)構(gòu)很簡(jiǎn)單，就是一系列的模式（pattern）和行為（action）：

掃描文檔的每一行時(shí)都必須與每一個(gè)模式進(jìn)行匹配比較，而且一次只匹配一個(gè)模式。那么，如果我給出一個(gè)包含以下內(nèi)容的文件：

this is line 1 這行就會(huì)與Pattern1進(jìn)行匹配。如果匹配成功，就會(huì)執(zhí)行ACTIONS。然后this is line 1 會(huì)和Pattern2進(jìn)行匹配。如果匹配失敗，它就會(huì)跳到Pattern3進(jìn)行匹配，以此類(lèi)推。

一旦所有的模式都匹配過(guò)了，this is line 2 就會(huì)以同樣的步驟進(jìn)行匹配。其他的行也一樣，直到讀取完整個(gè)文件。

簡(jiǎn)而言之，這就是Awk的運(yùn)行模式
數(shù)據(jù)類(lèi)型

Awk僅有兩個(gè)主要的數(shù)據(jù)類(lèi)型：字符串和數(shù)字。即便如此，Awk的字符串和數(shù)字還可以相互轉(zhuǎn)換。字符串能夠被解釋為數(shù)字并把它的值轉(zhuǎn)換為數(shù)字值。如果字符串不包含數(shù)字，它就被轉(zhuǎn)換為0.

它們都可以在你代碼里的ACTIONS部分使用 = 操作符給變量賦值。我們可以在任意時(shí)刻、任意地方聲明和使用變量，也可以使用未初始化的變量，此時(shí)他們的默認(rèn)值是空字符串：“”。

最后，Awk有數(shù)組類(lèi)型，并且它們是動(dòng)態(tài)的一維關(guān)聯(lián)數(shù)組。它們的語(yǔ)法是這樣的：var[key] = value 。Awk可以模擬多維數(shù)組，但無(wú)論怎樣，這是一個(gè)大的技巧（big hack）。
模式

可以使用的模式分為三大類(lèi)：正則表達(dá)式、布爾表達(dá)式和特殊模式。

正則表達(dá)式和布爾表達(dá)式

你使用的Awk正則表達(dá)式比較輕量。它們不是Awk下的PCRE（但是gawk可以支持該庫(kù)——這依賴(lài)于具體的實(shí)現(xiàn)！請(qǐng)使用 awk

–version查看），然而，對(duì)于大部分的使用需求已經(jīng)足夠了：

注意，模式不能捕獲特定的組（groups）使它們?cè)诖a的ACTIONS部分執(zhí)行。模式是專(zhuān)門(mén)匹配內(nèi)容的。

布爾表達(dá)式與PHP或者Javascript中的布爾表達(dá)式類(lèi)似。特別的是，在awk中可以使用&&（“與”）、||（“或”）、!（“非”）操作符。你幾乎可以在所有類(lèi)C語(yǔ)言中找到它們的蹤跡。它們可以對(duì)常規(guī)數(shù)據(jù)進(jìn)行操作。

與PHP和Javascript更相似的特性是比較操作符，==，它會(huì)進(jìn)行模糊匹配（fuzzy matching）。因此“23”字符串等于23，”23″ == 23 表達(dá)式返回true。!= 操作符同樣在awk里使用，并且別忘了其他常見(jiàn)的操作符：>，<，>=，和<=。

你同樣可以混合使用它們：布爾表達(dá)式可以和常規(guī)表達(dá)式一起使用。 /admin/ || debug == true 這種用法是合法的，并且在遇到包含“admin”單詞的行或者debug變量等于true時(shí)該表達(dá)式就會(huì)匹配成功。

注意，如果你有一個(gè)特定的字符串或者變量要與正則表達(dá)式進(jìn)行匹配，~ 和!~ 就是你想要的操作符。 這樣使用它們：string ~ /regex/ 和 string !~ /regex/。

同樣要注意的是，所有的模式都只是可選的。一個(gè)包含以下內(nèi)容的Awk腳本：

對(duì)輸入的每一行都將會(huì)簡(jiǎn)單地執(zhí)行ACTIONS。
特殊的模式

在Awk里有一些特殊的模式，但不是很多。

第一個(gè)是BEGIN，它僅在所有的行都輸入到文件之前進(jìn)行匹配。這是你可以初始化你的腳本變量和所有種類(lèi)的狀態(tài)的主要地方。

另外一個(gè)就是END。就像你可能已經(jīng)猜到的，它會(huì)在所有的輸入都被處理完后進(jìn)行匹配。這使你可以在退出前進(jìn)行清除工作和一些最后的輸出。

最后一類(lèi)模式，要把它進(jìn)行歸類(lèi)有點(diǎn)困難。它處于變量和特殊值之間，我們通常稱(chēng)它們?yōu)橛颍‵ield）。而且名副其實(shí)。
域

使用直觀的例子能更好地解釋域：

域（默認(rèn)地）由空格分隔。$0 域代表了一整行的字符串。 $1 域是第一塊字符串（在任何空格之前）， $2 域是后一塊，以此類(lèi)推。

一個(gè)有趣的事實(shí)（并且是在大多是情況下我們要避免的事情），你可以通過(guò)給相應(yīng)的域賦值來(lái)修改相應(yīng)的行。例如，如果你在一個(gè)塊里執(zhí)行 $0 = “HAHA THE LINE IS GONE”，那么現(xiàn)在下一個(gè)模式將會(huì)對(duì)修改后的行進(jìn)行操作而不是操作原始的行。其他的域變量都類(lèi)似。
行為

這里有一堆可用的行為（possible actions），但是最常用和最有用的行為（以我的經(jīng)驗(yàn)來(lái)說(shuō)）是：

這些內(nèi)容將會(huì)成為你的Awk工具箱的主要工具，在你處理日志之類(lèi)的文件時(shí)你可以隨意地使用它們。

Awk里的變量都是全局變量。無(wú)論你在給定的塊里定義什么變量，它對(duì)其他的塊都是可見(jiàn)的，甚至是對(duì)每一行都是可見(jiàn)的。這嚴(yán)重限制了你的Awk腳本大小，不然他們會(huì)造成不可維護(hù)的可怕結(jié)果。請(qǐng)編寫(xiě)盡可能小的腳本。
函數(shù)

可以使用下面的語(yǔ)法來(lái)調(diào)用函數(shù)：

這里有一些有限的內(nèi)置函數(shù)可以使用，所以我可以給出這些函數(shù)的通用文檔（regular documentation）。

用戶定義的函數(shù)同樣很簡(jiǎn)單：

特殊變量

除了常規(guī)變量（全局的，可以在任意地方使用），這里還有一系列特殊的變量，它們的的作用有點(diǎn)像配置條目（configuration entries）：

我把可修改的變量放在BEGIN里，因?yàn)槲腋矚g在那重寫(xiě)它們。但是這些變量的重寫(xiě)可以放在腳本的任意地方然后在后面的行里生效。
示例

以上的就是Awk語(yǔ)言的核心內(nèi)容。我這里沒(méi)有大量的例子，因?yàn)槲亿呄蛴谑褂肁wk來(lái)完成快速的一次性任務(wù)。

不過(guò)我依然有一些隨身攜帶的腳本文件，用來(lái)處理一些事情和測(cè)試。我最喜歡的一個(gè)腳本是用來(lái)處理Erlang的崩潰轉(zhuǎn)儲(chǔ)文件，形如下面的：

產(chǎn)生下面的結(jié)果：

這是在Erlang進(jìn)程里運(yùn)行的函數(shù)列表，它們導(dǎo)致了mailboxe變得很龐大。腳本在這：

你跟上思路沒(méi)？如果跟上了，你已經(jīng)了解了Awk。恭喜！