“ 最近开始用kpt记录自己的日常工作,本文将是该系列的第一篇,主要讲解linux下如何快速逻辑处理数据”
正在做日志筛选数据的事情,需要从服务日志中捞出含关键字的日志,并且该条日志中含响应时间数据,需捞出其中大于500ms的数据
普通的grep只能捞出所有包含关键字的日志,没法做一些简单的逻辑判断,如果用编程语言来处理又会显得很笨重
linux下有一个利器命令awk可以使用;
对于test.log日志内容类似如下的:
2019-05-03 20:00:00 requestId:a1 bb cc dd 465 2019-05-03 20:00:01 requestId:aa bb cc kkk 2019-05-03 20:00:01 requestId:a2 bb cc dd 502 2019-05-03 20:00:01 requestId:a3 bb cc dd 600
上述内容中数字表示响应时间,如果需要打印响应时间大于500的requestId的值,基于awk该怎么写:
cat test.log |grep dd|awk '$7>500 {print $3}'
接下来让我们带着疑问来学习入门下awk命令:
awk 'BEGIN{ commands } pattern{ commands } END{ commands }' # 这是awk的标准格式,BEGIN和END是可选的 # 1、通过关键字 BEGIN 执行 BEGIN 块的内容,即 BEGIN 后花括号 {} 的内容。 # 2、完成 BEGIN 块的执行,开始执行body块。 # 3、读入有 n 换行符分割的记录。 # 4、将记录按指定的域分隔符划分域,填充域,$0 则表示所有域(即一行内容),$1 表示第一个域,$n 表示第 n 个域。 # 5、依次执行各 BODY 块,pattern 部分匹配该行内容成功后,才会执行 awk-commands 的内容。 # 6、循环读取并执行各行直到文件结束,完成body块执行。 # 7、开始 END 块执行,END 块可以输出最终结果。
重新来分析下上面写awk命令
cat test.log |grep dd|awk '$7>500 {print $3}' # 先通过grep获取到所有包含dd的内容 # 接下来使用awk命令,这里直接用body模块,处理每一行数据 # awk默认的分割符刚好是空格,所以我们直接用$7可以直接拿到响应时间 # 判断完后简单多了,我们直接$3拿到每一个requestId # 如果吹毛求疵下,只想拿到对应的requestId的值该怎么写? cat test.log |grep dd|awk '$7>500 {print $3}'|awk -F:'{print $2}' # 我们在上述命令基础上再加上管道符,并利用-F来指定新的分隔符:,刚好将requestId:a1这样的字符串切割成两个 # 然后直接print $2即可
一些awk的高级用法
正则匹配:
cat test.log |awk '/dd/ && $7>500 {print $3}'|awk -F: '{print $2}' # awk命令支持正则匹配,所以上述解决方案中,其实不需要grep命令,直接按照上述编写即可,&&表示并且
if函数:
cat test.log |awk '/dd/ {if($7>500)print $3}'|awk -F: '{print $2}' # awk自带if函数,上述解决方案我们还可以这样编写。将if函数放到body的{}中
BEGIN的用法:
END的用法
cat test.log |awk 'BEGIN {print "im begin"} /dd/&&$7>500 {num=num+1;total=total+$7} END {print num;print total}' # awk支持自定义变量,上述命令是统计响应时间大于500的日志记录数,以及累计响应时长 # 我们也可以先在BGGIN模块初始化自定义变量 cat test.log |awk 'BEGIN {print "im begin";num=0;total=0} /dd/&&$7>500 {num=num+1;total=total+$7} END {print num;print total}'
参考资料:
https://www.runoob.com/linux/linux-comm-awk.html
https://coolshell.cn/articles/9070.html