您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

30 分钟包你学会 AWK

时间:2020-01-15 13:45:21  来源:  作者:

本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程,帮助小伙伴们快速掌握AWK的基本使用方式,当然,我也是刚开始学习AWK,本文在翻译或者补充的过程中肯定会有很多疏漏或者错误,希望大家能够帮忙指正。

本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。

概述

AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。

GNU/linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。

AWK的类型

下面是几个AWK的变体:

  • AWK – 原先来源于 AT & T 实验室的的AWK
  • NAWK – AT & T 实验室的AWK的升级版
  • GAWK – 这就是GNU AWK。所有的GNU/Linux发布版都自带GAWK,它与AWK和NAWK完全兼容

AWK的典型用途

使用AWK可以做很多任务,下面是其中一些

  • 文本处理
  • 输出格式化的文本报表
  • 执行算数运算
  • 执行字符串操作等等

工作流

要成为AWK编程专家,你需要先知道它的内部实现机制,AWK遵循了非常简单的工作流 – 读取,执行和重复,下图描述了AWK的工作流。

Read

AWK从输入流(文件,管道或者标准输入)中读取一行,然后存储到内存中。

Execute

所有的AWK命令都依次在输入上执行。默认情况下,AWK会对每一行执行命令,我们可以通过提供模式限制这种行为。

Repeat

处理过程不断重复,直到到达文件结尾。

程序结构

现在,让我们先学习一下AWK的程序结构。

BEGIN 语句块

BEGIN语句块的语法

BEGIN {awk-commands}

BEGIN语句块在程序开始的使用执行,它只执行一次,在这里可以初始化变量。BEGIN是AWK的关键字,因此它必须为大写,注意,这个语句块是可选的。

BODY 语句块

BODY语句块的语法

/pattern/ {awk-commands}

BODY语句块中的命令会对输入的每一行执行,我们也可以通过提供模式来控制这种行为。注意,BODY语句块没有关键字。

END 语句块

END语句块的语法

END {awk-commands}

END语句块在程序的最后执行,END是AWK的关键字,因此必须为大写,它也是可选的。

让我们创建一个包含序号,学生姓名,科目名称和得分的文件 marks.txt.

1) Amit Physics 80

2) Rahul Maths 90

3) Shyam Biology 87

4) Kedar English 85

5) Hari History 89

下面的例子中我们将会显示文件内容,并且添加每一列的标题

上述代码执行后,输出以下内容

在程序的开始,AWK在BEGIN语句中打印出标题。然后再BODY语句中,它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。

基础语法

AWK的使用非常简单,我们可以直接在命令行中执行AWK的命令,也可以从包含AWK命令的文本文件中执行。

AWK命令行

我们可以使用单引号在命令行中指定AWK命令

AWK程序文件

我们可以使用脚本文件提供AWK命令

AWK标准选项

AWK支持下列命令行标准选项

-v 变量赋值选项

该选项将一个值赋予一个变量,它会在程序开始之前进行赋值,下面的例子描述了该选项的使用

--dump-variables[=file] 选项

该选项会输出排好序的全局变量列表和它们最终的值到文件中,默认的文件是 awkvars.out。

--help 选项

打印帮助信息.

--lint[=fatal] 选项

该选项允许检查程序的不兼容性或者模棱两可的代码,当提供参数 fatal的时候,它会对待Warning消息作为Error。

--posix 选项

该选项开启严格的POSIX兼容。

--profile[=file]选项

该选项会输出一份格式化之后的程序到文件中,默认文件是 awkprof.out。

--traditional 选项

该选项会禁止所有的gawk规范的扩展。

--version 选项

输出版本号

基本使用示例

本部分会讲述一些有用的AWK命令和它们的使用示例,所有的例子都是以下面的文本文件 marks.txt 为基础的。

打印所有的行

默认情况下,AWK会打印出所有匹配模式的行

打印匹配模式的列

当模式匹配成功时,默认情况下AWK会打印该行,但是也可以让它只打印指定的字段。例如,下面的例子中,只会打印出匹配模式的第三和第四个字段。

任意顺序打印

打印超过18个字符的行

内建变量

AWK提供了很多内置的变量,它们在开发AWK脚本的过程中起着非常重要的角色。

标准AWK变量 ARGC 命令行参数个数

命令行中提供的参数个数

ENVIRON 环境变量

环境变量的关联数组

NF 字段数目

OFS 输出字段分隔符

输出字段分隔符,默认为空

RSTART

match函数匹配的第一次出现位置

$n

当前行中的第n个字段

GNU AWK的变量

ARGIND

当前被处理的ARGV的索引

BINMODE

在非POSIX系统上指定对所有的文件I/O采用二进制模式。

ERRORNO

一个代表了 getline跳转失败或者是 close调用失败的错误的字符串。

FIELDWIDTHS

设置了空格分隔的字段宽度变量列表的话,GAWK会将输入解析为固定宽度的字段,而不是使用FS进行分隔。

IGNORECASE

设置了这个变量的话,AWK会忽略大小写。

LINT

提供了对–lint选项的动态控制。

操作符

与其它编程语言一样,AWK也提供了大量的操作符。

算数操作符

算数操作符不多说,直接看例子,无非就是+-*/%

增减运算符

自增自减与C语言一致。

赋值操作符

关系操作符

逻辑操作符

 

三元操作符

一元操作符

 

指数操作符

字符串连接操作符

 

数组成员操作符

正则表达式操作符

正则表达式操作符使用 ~和 !~分别代表匹配和不匹配。

 

更多关于正则表达式请看后面的正则表达式部分

正则表达式

AWK在处理正则表达式方面是非常强大的,使用简单的正则表达式可以处理非常复杂的问题。

数组

AWK支持关联数组,也就是说,不仅可以使用数字索引的数组,还可以使用字符串作为索引,而且数字索引也不要求是连续的。数组不需要声明可以直接使用,语法如下:

 

在AWK中,只支持一维数组,但是可以通过一维数组模拟多维,例如我们有一个3×3的三维数组

 

流程控制

流程控制语句与大多数语言一样,基本格式如下

循环

循环操作与其他C系语言一样,主要包括 for , while , do...while , break , continue 语句,当然,还有一个 exit 语句用于退出脚本执行。

exit 用于退出脚本,参数为退出的状态码,可以通过shell中的 $? 获取

函数

内建函数

AWK提供了很多方便的内建函数供编程人员使用。由于函数比较多,个人觉得单纯看每个函数的使用也没有什么实际意义,比较容易遗忘,因此,这里只简单的列出常用的一些函数,只需要对其有个印象即可,使用的时候再去 查手册 效果会更好一些吧。

数学函数

  • atan2(y, x)
  • cos(expr)
  • exp(expr)
  • int(expr)
  • log(expr)
  • rand
  • sin(expr)
  • sqrt(expr)
  • srand([expr])

字符串函数

  • asort(arr [, d [, how] ])
  • asorti(arr [, d [, how] ])
  • gsub(regex, sub, string)
  • index(str, sub)
  • length(str)
  • match(str, regex)
  • split(str, arr, regex)
  • sprintf(format, expr-list)
  • strtonum(str)
  • sub(regex, sub, string)
  • substr(str, start, l)
  • tolower(str)
  • toupper(str)

时间函数

  • systime
  • mktime(datespec)
  • strftime([format [, timestamp[, utc-flag]]])

字节操作函数

  • and
  • compl
  • lshift
  • rshift
  • or
  • xor

其它

用户自定义函数

函数是程序基本的组成部分,AWK允许我们自己创建自定义的函数。一个大型的程序可以被划分为多个函数,每个函数之间可以独立的开发和测试,提供可重用的代码。

下面是用户自定义函数的基本语法

输出重定向重定向操作符

到目前为止,我们所有的程序都是直接显示数据到了标准输出流,其实,我们也可以将输出重定向到文件。重定向操作符跟在 print 和 printf 函数的后面,与shell中的用法基本一致。

管道

除了将输出重定向到文件之外,我们还可以将输出重定向到其它程序,与shell中一样,我们可以使用管道操作符 | 。

第一次I/O操作使用了 |& 操作符,gawk会创建一个到运行其它程序的子进程的双向管道, print 的输出被写入到了 subprogram 的标准输入,而这个 subprogram 的标准输出在gawk中使用 getline 函数进行读取。

注意:目前协同进程的标准错误输出将会和gawk的标准错误输出混杂在一起,无法单独获取标准错误输出。另外,I/O缓冲可能存在问题,gawk程序会自动的刷新所有输出到下游的协同进程的管道。但是,如果协同进程没有刷新其标准输出的话,gawk将可能会在使用 getline 函数从协同进程读取输出的时候挂起,这就可能引起死锁。

我们可以使用 close 函数关闭双向管道的 to或者 from一端,这两个字符串值告诉gawk发送数据到协同进程完成时或者从协同进程读取完毕时关闭管道。在使用系统命令 sort 的时候是这样做是非常必要的,因为它必须等所有输出都读取完毕时才能进行排序。

上例看起来有些复杂,我们逐行分析一下

  • 首先,第一行 cmd = “tr [a-z] [A-Z]” 是在AWK中要建立双向连接的命令
  • 第二行的 print 命令用于为 tr 命令提供输入,而 |& 用于指出要建立双向连接
  • 第三行用于在上面的语句 close(cmd, “to”), 在执行完成后关闭其 to 进程
  • 第四行 cmd |& getline out 使用getline函数存储输出到变量out中
  • 最后一行使用 close 函数关闭命令

美化输出

到目前为止,我们已经使用过 print 和 printf 函数显示数据到标准输出,但是 printf 函数实际上要比我们之前使用的情况更加强大得多。该函数是从C语言中借鉴来的,在处理格式化的输出时非常有用。

格式化输出标识有 %c , %d , %s 等,基本与C语言一致,这里就不多赘述了。

执行shell命令

在AWK中执行shell命令有两种方式

  • 使用 system 函数
  • 使用管道

使用system函数

system函数用于执行操作系统命令并且返回命令的退出码到awk。

使用管道

如果要执行的命令很多,可以将输出的命令直接用管道传递给 “/bin/sh”执行

参考

  • AWK Tutorial
  • The GNU Awk User’s Guide

本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。

来源:伯乐在线- mylxsw



Tags:AWK   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
超越单行的 awk 脚本,学习如何做邮件合并和字数统计。• 来源:linux.cn • 作者:Dave Neary • 译者:Xingyu.Wang •(本文字数:6674,阅读时长大约:8 分钟) awk 是 U...【详细内容】
2021-01-14  Tags: AWK  点击:(242)  评论:(0)  加入收藏
在 Linux 命令中,awk 命令常用于处理文本内容。下面基于实例介绍 awk 命令的常见用法。GNU gawkawk 既是一个命令,也是一种程序语言,它可以有不同的实现版本。在 Linux 系统...【详细内容】
2020-03-27  Tags: AWK  点击:(76)  评论:(0)  加入收藏
学习怎样使用 awk 的 !visited++ 在不重新排序或改变原排列顺序的前提下删掉重复的行。-- Lazarus Lazaridis(作者)假设你有一个文本文件,你需要删掉所有重复的行。TL;DR要保...【详细内容】
2019-12-12  Tags: AWK  点击:(85)  评论:(0)  加入收藏
将一个 awk 脚本移植到 Python 主要在于代码风格而不是转译。-- Moshe Zadka(作者) 脚本是解决问题的有效方法,而 awk 是编写脚本的出色语言。它特别擅长于简单的文本处理,它可...【详细内容】
2019-12-09  Tags: AWK  点击:(56)  评论:(0)  加入收藏
▌简易百科推荐
本文分为三个等级自顶向下地分析了glibc中内存分配与回收的过程。本文不过度关注细节,因此只是分别从arena层次、bin层次、chunk层次进行图解,而不涉及有关指针的具体操作。前...【详细内容】
2021-12-28  linux技术栈    Tags:glibc   点击:(3)  评论:(0)  加入收藏
摘 要 (OF作品展示)OF之前介绍了用python实现数据可视化、数据分析及一些小项目,但基本都是后端的知识。想要做一个好看的可视化大屏,我们还要学一些前端的知识(vue),网上有很多比...【详细内容】
2021-12-27  项目与数据管理    Tags:Vue   点击:(2)  评论:(0)  加入收藏
程序是如何被执行的  程序是如何被执行的?许多开发者可能也没法回答这个问题,大多数人更注重的是如何编写程序,却不会太注意编写好的程序是如何被运行,这并不是一个好...【详细内容】
2021-12-23  IT学习日记    Tags:程序   点击:(9)  评论:(0)  加入收藏
阅读收获✔️1. 了解单点登录实现原理✔️2. 掌握快速使用xxl-sso接入单点登录功能一、早期的多系统登录解决方案 单系统登录解决方案的核心是cookie,cookie携带会话id在浏览器...【详细内容】
2021-12-23  程序yuan    Tags:单点登录(   点击:(8)  评论:(0)  加入收藏
下载Eclipse RCP IDE如果你电脑上还没有安装Eclipse,那么请到这里下载对应版本的软件进行安装。具体的安装步骤就不在这赘述了。创建第一个标准Eclipse RCP应用(总共分为六步)1...【详细内容】
2021-12-22  阿福ChrisYuan    Tags:RCP应用   点击:(7)  评论:(0)  加入收藏
今天想简单聊一聊 Token 的 Value Capture,就是币的价值问题。首先说明啊,这个话题包含的内容非常之光,Token 的经济学设计也可以包含诸多问题,所以几乎不可能把这个问题说的清...【详细内容】
2021-12-21  唐少华TSH    Tags:Token   点击:(10)  评论:(0)  加入收藏
实现效果:假如有10条数据,分组展示,默认在当前页面展示4个,点击换一批,从第5个开始继续展示,到最后一组,再重新返回到第一组 data() { return { qList: [], //处理后...【详细内容】
2021-12-17  Mason程    Tags:VUE   点击:(14)  评论:(0)  加入收藏
什么是性能调优?(what) 为什么需要性能调优?(why) 什么时候需要性能调优?(when) 什么地方需要性能调优?(where) 什么时候来进行性能调优?(who) 怎么样进行性能调优?(How) 硬件配...【详细内容】
2021-12-16  软件测试小p    Tags:性能调优   点击:(20)  评论:(0)  加入收藏
Tasker 是一款适用于 Android 设备的高级自动化应用,它可以通过脚本让重复性的操作自动运行,提高效率。 不知道从哪里听说的抖音 app 会导致 OLED 屏幕烧屏。于是就现学现卖,自...【详细内容】
2021-12-15  ITBang    Tags:抖音防烧屏   点击:(25)  评论:(0)  加入收藏
11 月 23 日,Rust Moderation Team(审核团队)在 GitHub 上发布了辞职公告,即刻生效。根据公告,审核团队集体辞职是为了抗议 Rust 核心团队(Core team)在执行社区行为准则和标准上...【详细内容】
2021-12-15  InfoQ    Tags:Rust   点击:(25)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条