linux awk命令

相对于sed常常作用于一整行进行处理，awk更倾向与一行当中分成数个“栏位”来处理。平时对日志或者小型文件进行处理时，awk很有用。

命令行格式

1
awk 'pattern {action} pattern {action} ...' {filenames}
  • pattern表示awk在数据中查找的内容，action是在找到匹配内容时所执行的命令。
  • awk默认的分隔符是空格或tab，由分隔符分隔开的每一项称为域。
  • awk也可以调用awk脚本执行命令, awk -f awk_script file(s)。

awk基本用法

分隔符

1
2
3
4
5
6
7
8
9
10
11
12
13
~ head -n 5 /etc/passwd
root:x:0:0:root:/root:/bin/zsh
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
~
~ head -n 5 /etc/passwd | awk -F ':' '{print $1"\t"$7}'
root	/bin/zsh
bin	/sbin/nologin
daemon	/sbin/nologin
adm	/sbin/nologin
lp	/sbin/nologin

-F指定了分隔符为”:”，然后打印出了第一个域中内容。
awk工作流程是这样的：读入有’\n’换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域, $1表示第一个域,$n表示第n个域。默认域分隔符是”空白键” 或 “[tab]键”，$1代表的就是用户名，$7代表的是用户登录使用的shell。

BEGIN/END

1
2
3
4
5
6
7
8
~ head -n 5 /etc/passwd | awk  -F ':'  'BEGIN {print "name\tshell"}  {print $1"\t"$7} END {print "blue\t/bin/nosh"}'
name	shell
root	/bin/zsh
bin	/sbin/nologin
daemon	/sbin/nologin
adm	/sbin/nologin
lp	/sbin/nologin
blue	/bin/nosh

先执行BEGIN操作，然后读取文件，对每一行进行分割，执行action，所有行执行完毕后，执行END操作。

使用pattern

1
2
3
4
5
~ head -n 5 /etc/passwd | awk -F ":" '/root/'
root:x:0:0:root:/root:/bin/zsh
~
~ head -n 5 /etc/passwd | awk -F ":" '/root/{print $7}'
/bin/zsh

只有匹配到指定pattern的行才会执行action，如果没有action，打印此行内容。

awk内置变量

变量 说明
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 已读当前文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

示例：统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容

1
2
3
4
5
6
~  awk -F ":" '{printf("file:%10s, line:%s, columns:%s, content:%s\n", FILENAME, NR, NF, $0)}' /etc/passwd | head -n 5
file:/etc/passwd, line:1, columns:7, content:root:x:0:0:root:/root:/bin/zsh
file:/etc/passwd, line:2, columns:7, content:bin:x:1:1:bin:/bin:/sbin/nologin
file:/etc/passwd, line:3, columns:7, content:daemon:x:2:2:daemon:/sbin:/sbin/nologin
file:/etc/passwd, line:4, columns:7, content:adm:x:3:4:adm:/var/adm:/sbin/nologin
file:/etc/passwd, line:5, columns:7, content:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

awk流程控制

条件判断(if)

  • 用法：if(表达式) {语句1} else if(表达式) {语句2} else {语句3}
  • 示例：
    1
    2
    3
    4
    5
    6
    7
    ~ awk 'BEGIN {
            test=100; 
            if (test > 90) {print "Very good!";}
            else if (test > 60) {print "good";}
            else {print "shit";}
          }' 
    Very good!

循环(while,for,do)

while循环

  • 用法： while(表达式) {语句}
  • 示例： 
    1
    2
    3
    4
    5
    ~ awk 'BEGIN { 
            while (i < 10) {i+=1}
            print i 
          }' 
    10

for循环

  • 用法1： for(变量 in 数组){语句}
  • 用法2： for(变量;条件;表达式){语句}
  • 示例：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    ~ awk 'BEGIN { 
            for (a in ENVIRON) {print a"="ENVIRON[a]}
          }'      
    HBASE_IDENT_STRING=root
    MAIL=/var/spool/mail/root
    LOADEDMODULES=
    NVM_IOJS_ORG_MIRROR=https://iojs.org/dist
    NVM_RC_VERSION=
    ERRDATE=20150921
    ....
    ~ awk 'BEGIN {
            for (i = 0; i <= 100; i++) {a+=i}
            print a
          }'
    5050

do循环

  • 用法：do{语句}while(条件)
  • 示例：
    1
    2
    3
    4
    5
    ~ awk 'BEGIN {
            do {a+=i;i++;} while(i<=100) 
            print a
          }'
    5050

其他控制语句

语句 说明
break 当 break 语句用于 while 或 for 语句时，导致退出程序循环。
continue 当 continue 语句用于 while 或 for 语句时，使程序循环移动到下一个迭代。
next 能能够导致读入下一个输入行，并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。
exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则，或在END中应用exit语句，则终止脚本的执行。

内置函数

算术函数

函数名 说明
atan2(y, x) 返回 y/x 的反正切。
cos(x) 返回 x 的余弦；x 是弧度。
sin(x) 返回 x 的正弦；x 是弧度。
exp(x) 返回 x 幂函数。
log(x) 返回 x 的自然对数。
sqrt(x) 返回 x 平方根。
int(x) 返回 x 的截断至整数的值。
rand() 返回任意数字 n，其中 0 <= n < 1。
srand([Expr]) 将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。

字符串函数

函数名 说明
gsub(Ere, Repl, [In]) 除了正则表达式所有具体值被替代这点，它和 sub 函数完全一样地执行，。
sub(Ere, Repl, [In]) 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值。sub 函数返回替换的数量。出现在 Repl 参数指定的字符串中的 &（和符号）由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换。如果未指定 In 参数，缺省值是整个记录（$0 记录变量）。
index(String1, String2) 在由 String1 参数指定的字符串（其中有出现 String2 指定的参数）中，返回位置，从 1 开始编号。如果 String2 参数不在 String1 参数中出现，则返回 0（零）。
length [(String)] 返回 String 参数指定的字符串的长度（字符形式）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。
blength [(String)] 返回 String 参数指定的字符串的长度（以字节为单位）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。
substr(String, M, [N]) 返回具有 N 参数指定的字符数量子串。子串从 String 参数指定的字符串取得，其字符以 M 参数指定的位置开始。M 参数指定为将 String 参数中的第一个字符作为编号 1。如果未指定 N 参数，则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度。
match(String, Ere) 在 String 参数指定的字符串（Ere 参数指定的扩展正则表达式出现在其中）中返回位置（字符形式），从 1 开始编号，或如果 Ere 参数不出现，则返回 0（零）。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度，或如果未找到任何匹配，则设置为 -1（负一）。
split(String, A, [Ere]) 将 String 参数指定的参数分割为数组元素 A[1], A[2], . . ., A[n]，并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行，或用当前字段分隔符（FS 特殊变量）来进行（如果没有给出 Ere 参数）。除非上下文指明特定的元素还应具有一个数字值，否则 A 数组中的元素用字符串值来创建。
tolower(String) 返回 String 参数指定的字符串，字符串中每个大写字符将更改为小写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。
toupper(String) 返回 String 参数指定的字符串，字符串中每个小写字符将更改为大写。大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义。
printf(Format, Expr, Expr, …) 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串。

printf格式

格式符 说明
%d 十进制有符号整数
%u 十进制无符号整数
%f 浮点数
%s 字符串
%c 单个字符
%p 指针的值
%e 指数形式的浮点数
%x %X 无符号以十六进制表示的整数
%o 无符号以八进制表示的整数
%g 自动选择合适的表示法

一般函数

函数 说明
close(Expression) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭，则返回 0；其它情况下返回非零值。如果打算写一个文件，并稍后在同一个程序中读取文件，则 close 语句是必需的。
system(Command) 执行 Command 参数指定的命令，并返回退出状态。等同于 system 子例程。
getline[Variable] 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录，并将该记录的值指定给 Variable 参数指定的变量。如果当前未打开将 Expression 参数的值作为其命令名称的流，则创建流。创建的流等同于调用 popen 子例程，此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值。只要流保留打开且 Expression 参数求得同一个字符串，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline[Variable] < Expression 从 Expression 参数指定的文件读取输入的下一个记录，并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline[Variable] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数，则 $0 记录变量设置为该记录的值，还将设置 NF、NR 和 FNR 特殊变量。

时间函数

函数名 说明
mktime( YYYY MM DD HH MM SS[ DST]) 生成时间格式
strftime([format [, timestamp]]) 格式化时间输出，将时间戳转为时间字符串
systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

strftime输出格式

格式 描述
%a 星期几的缩写(Sun)
%A 星期几的完整写法(Sunday)
%b 月名的缩写(Oct)
%B 月名的完整写法(October)
%c 本地日期和时间
%d 十进制日期
%D 日期 08/20/99
%e 日期，如果只有一位会补上一个空格
%H 用十进制表示24小时格式的小时
%I 用十进制表示12小时格式的小时
%j 从1月1日起一年中的第几天
%m 十进制表示的月份
%M 十进制表示的分钟
%p 12小时表示法(AM/PM)
%S 十进制表示的秒
%U 十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w 十进制表示的星期几(星期天是0)
%W 十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x 重新设置本地日期(08/20/99)
%X 重新设置本地时间(12：00：00)
%y 两位数字表示的年(15)
%Y 完整表示的年(2015)
%Z 时区(PDT)
%% 百分号(%)

示例

  • gsub/sub，将连续的数字替换为”!”

    1
    2
    ~ awk 'BEGIN {a="test2015"; gsub(/[0-9]+/, "!", a); print a}'
    test!

  • index，查找字符串中是否存在”t2”子串

    1
    2
    ~ awk 'BEGIN {a="test2015"; b = index(a, "t2"); print b ? "found" : "not found";}'
    found

  • match, 正则表达式匹配查找

    1
    2
    ~ awk 'BEGIN {a="test2015"; b = match(a, /[0-9]+/); print b ? "found" : "not found"; }'  
    found

  • substr, 字符串截取，从第2个字符开始截取4个字符

    1
    2
    ~ awk 'BEGIN {a="test2015"; print substr(a, 2, 4); }' 
    est2

  • split, 字符串分割

    1
    2
    3
    4
    ~ awk 'BEGIN {a="test2015"; split(a, b, "t2"); print length(b); for (i in b) {print b[i]} }'  
    2
    tes
    015

  • printf, 格式化输出

    1
    2
    ~ awk 'BEGIN{n1=124.113; n2=-1.224; n3=1.2345; printf("%.2f, %.2u, %.2g, %X, %o\n",n1,n2,n3,n1,n1);}'
    124.11, 18446744073709551615, 1.2, 7C, 174

  • printf, 十六进制转十进制

    1
    ~ echo "1509d314690" | awk '{print strtonum("0x"$0)}'

  • strftime, 格式化时间输出

    1
    2
    3
    ~ gawk 'BEGIN{tstamp=mktime("2015 01 01 12 12 12"); print tstamp;  print strftime("%Y-%m-%d", tstamp);}' 
    1420085532
    2015-01-01

实践出真知

  • 根据文件数据进行统计

    1
    2
    ~ awk -F '\t' '{w[$1]+=1}  END{for (a in w) printf("%u\t%s\n", w[a], a)}'
    ~ awk -F '\t' '{w[$2]+=$1} END{for (a in w) printf("%u\t%s\n", w[a], a)}'

  • 将多个文件内容合并到一个文件中(不改变格式)

    1
    awk '{v=FILENAME}!a[v]++1' *.sort  > all.sort

  • awk使用shell变量，需要加上单引号。'${var}'

参考