您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Go语言

Go 语言标准库中最常用的标识符是什么?

时间:2019-08-07 11:09:39  来源:  作者:
Go 语言标准库中最常用的标识符是什么?

 

这篇文章是来自最新 justforfunc 中同标题的一段。这个程序的代码可以在 justforfunc 仓库 中找到。

问题陈述

想象一下,对于下面的代码段,你如何将其中所有的标识符都提取出来。

package main
import "fmt"
func main() {
 fmt.Println("Hello, world")
}

我们期望可以得到一个包含 mainfmt 和 Println 的列表。

标识符到底是什么?

为了回答这个问题, 我们需要了解一下有关计算机语言的理论知识。 但只要一点就足够了,不用担心有多复杂。

计算机语言,是由一系列有效的规则组成的。比如下面这个规则:

IfStmt = "if" [ SimpleStmt ";" ] Expression Block [ "else" ( IfStmt | Block ) ] .

上面这个规则告诉我们 if 语句在 Go 语言中的样子。“if”“;”, 和 “else” 是帮助我们理解程序结构的关键词。与此同时,还有 Expression Block, SimpleStmt 之类的其他规则。

这些规则组成的集合就是语法,你可以在 Go 语言规范中找到它们的详细定义。

这些规则不是简单的由程序的单个字符定义的,而是有一系列 token 组成。 这些token除了像 if 和 else 这样的原子 token 外, 还有像整数 42,浮点数 4.2 和字符串 “hello” 这样的复合 token, 以及像 main 这样的标识符。

但是,我们是怎么知道 main 是一个标识符,而不是一个数字呢? 原来它也是有专门的规则来定义的。如果你读过 Go 语言规范中的标识符部分,你就会发现如下的规则:

identifier = letter { letter | unicode_digit } .

在这条规则中,letter 和 unicode_digit 不是 token 而是字符。 所以有了这些规则,就可以写一个程序来逐个字符地分析,一旦检测到一组字符匹配到某一条规则,就 “发射”(emits) 出一个 token。

所以,如果我们以 fmt.Println 为例, 它可以产生这些 token:标识符 fmt“.”, 以及标识符 Println。 这是一个函数调用吗? 在这里我们还无法确定,而且我们也不关心。它的结构就是一个序列,表明 token 出现的顺序。

Go 语言标准库中最常用的标识符是什么?

 

这种能够将给定的字符序列生成 token 序列的程序被称为扫描器。Go 标准库中的 go/scanner 就自带一个扫描器。它生成的记号定义在 go/token 里。

使用 go/scanner

我们已经了解了什么是扫描器,那它如何使用呢?

从命令行中读取参数

让我们先从一个简单程序开始,将传给它的参数打印出来:

package main
import (
 "fmt"
 "os"
)
func main() {
 if len(os.Args) < 2 {
 fmt.Fprintf(os.Stderr, "usage:nt%s [files]n", os.Args[0])
 os.Exit(1)
 }
 for _, arg := range os.Args[1:] {
 fmt.Println(arg)
 }
}

接下来,我们需要扫描从参数传进来的文件:需要先创建一个新的扫描器,然后用文件的内容来初始化。

打印每个 token

在我们调用 scanner.Scanner 的 Init 方法之前,需要先读取文件内容,然后为每个扫描过的文件创建一个 token.FileSet 以便来保存 token.File

扫描器一经初始化,我们就能调用其 Scan 方法来打印 token。 一旦我们得到一个 EOF(End Of File) token,就说明达到文件末尾了。

fs := token.NewFileSet()
for _, arg := range os.Args[1:] {
 b, err := ioutil.ReadFile(arg)
 if err != nil {
 log.Fatal(err)
 }
 f := fs.AddFile(arg, fs.Base(), len(b))
 var s scanner.Scanner
 s.Init(f, b, nil, scanner.ScanComments)
 for {
 _, tok, lit := s.Scan()
 if tok == token.EOF {
 break
 }
 fmt.Println(tok, lit)
 }
}

统计 token

太棒了,我们已经能够打印出所有的 token 了,但是我们还需要跟踪每个标识符出现的次数,然后按照出现次数排序,并打印出前 5 位。

在 Go 中,实现以上需求的最好的方法是用一个 map,让标识符来做 key, 其出现次数做 value。

每当一个标识符出现一次,计数器就加一。最后,我们将 map 转换为一个能够排序和打印的数组。

counts := make(map[string]int)
// [code removed for clarity]
for {
 _, tok, lit := s.Scan()
 if tok == token.EOF {
 break
 }
 if tok == token.IDENT {
 counts[lit]++
 }
}
// [为了阅读清晰,移除部分代码]
type pair struct {
 s string
 n int
}
pairs := make([]pair, 0, len(counts))
for s, n := range counts {
 pairs = Append(pairs, pair{s, n})rm -f 
}
sort.Slice(pairs, func(i, j int) bool {
 return pairs[i].n > pairs[j].n
})
for i := 0; i < len(pairs) && i < 5; i++ {
 fmt.Printf("%6d %sn", pairs[i].n, pairs[i].s)
}

为了不影响理解,有些代码被删除了。你可以在这里获取完整的源码。

哪些是最常用的标识符?

我们来用这个程序分析一下 github.com/golang/go 上的代码:

$ go install github.com/campoy/justforfunc/24-ast/scanner
$ scanner ~/go/src/**/*.go
 82163 v
 46584 err
 44681 Args
 43371 t
 37717 x

在短标识符里,最常用的标识符是字母 v 。那我们修改下代码来计算一些长标识符:

for s, n := range counts {
 if len(s) >= 3 {
 pairs = append(pairs, pair{s, n})
 }
}

再来一次:

$ go install github.com/campoy/justforfunc/24-ast/scanner
$ scanner ~/go/src/**/*.go
 46584 err
 44681 Args
 36738 nil
 25761 true
 21723 AddArg

果不其然,err 和 nil 是最常见的标识符,毕竟每个程序中都有 if err != nil 这样的语句。 但 Args 出现频度这么高怎么回事?

欲知详情如何,且听下回分解。


via: https://medium.com/@francesc/whats-the-most-common-identifier-in-go-s-stdlib-e468f3c9c7d9

作者:Francesc Campoy 译者:kaneg 校对:polaris1119



Tags:Go 语言 标识符   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
这篇文章是来自最新 justforfunc 中同标题的一段。这个程序的代码可以在 justforfunc 仓库 中找到。问题陈述想象一下,对于下面的代码段,你如何将其中所有的标识符都提取出来...【详细内容】
2019-08-07  Tags: Go 语言 标识符  点击:(246)  评论:(0)  加入收藏
▌简易百科推荐
zip 是一种常见的归档格式,本文讲解 Go 如何操作 zip。首先看看 zip 文件是如何工作的。以一个小文件为例:(类 Unix 系统下)$ cat hello.textHello!执行 zip 命令进行归档:$ zip...【详细内容】
2021-12-17  Go语言中文网    Tags:Go语言   点击:(13)  评论:(0)  加入收藏
大家好,我是 polarisxu。前段时间,Russ Cox 明确了泛型相关的事情,原计划在标准库中加入泛型相关的包,改放到 golang.org/x/exp 下。目前,Go 泛型的主要设计者 ianlancetaylor 完...【详细内容】
2021-11-30  Go语言中文网    Tags:slices 包   点击:(24)  评论:(0)  加入收藏
前言最近因为项目需要写了一段时间的 Go ,相对于 Java 来说语法简单同时又有着一些 Python 之类的语法糖,让人大呼”真香“。 但现阶段相对来说还是 Python 写的多一些,偶尔还...【详细内容】
2021-11-25  crossoverJie    Tags:Go   点击:(29)  评论:(0)  加入收藏
go-micro是基于 Go 语言用于开发的微服务的 RPC 框架,主要功能如下:服务发现,负载均衡 ,消息编码,请求/响应,Async Messaging,可插拔接口,最后这个功能牛p安装步骤安装proto...【详细内容】
2021-09-06    石老师小跟班  Tags:go-micro   点击:(197)  评论:(0)  加入收藏
GoLand 2021.2 EAP 5 现已发布。用户可以从工具箱应用程序中获得 EAP 构建,也可以从官方网站手动下载。并且从此 EAP 开始,只有拥有有效的 JetBrains 帐户才能加入该计划。手...【详细内容】
2021-06-29  IT实战联盟  今日头条  Tags:GoLand   点击:(185)  评论:(0)  加入收藏
作者:HDT3213今天给大家带来的开源项目是 Godis:一个用 Go 语言实现的 Redis 服务器。支持: 5 种数据结构(string、list、hash、set、sortedset) 自动过期(TTL) 发布订阅、地理位...【详细内容】
2021-06-18  HelloGitHub  今日头条  Tags:Go   点击:(125)  评论:(0)  加入收藏
统一规范篇合理规划目录本篇主要描述了公司内部同事都必须遵守的一些开发规矩,如统一开发空间,既使用统一的开发工具来保证代码最后的格式的统一,开发中对文件和代码长度的控制...【详细内容】
2021-05-18  1024课堂    Tags:Go语言   点击:(232)  评论:(0)  加入收藏
闭包概述 闭包不是Go语言独有的概念,在很多编程语言中都有闭包 闭包就是解决局部变量不能被外部访问的一种解决方案 是把函数当作返回值的一种应用 代码演示总体思想:在函数...【详细内容】
2021-05-14  HelloGo  今日头条  Tags:Go语言   点击:(223)  评论:(0)  加入收藏
一时想不开,想了解一下Go语言,于是安装了并体验了一下。下载1. 进入golang.google.cn 点击Download Go 2.选择对应的操作系统,点击后开始下载。 安装1. windows下执行傻瓜式安...【详细内容】
2021-05-12  程序员fearlazy  fearlazy  Tags:Go语言   点击:(236)  评论:(0)  加入收藏
1.简介channel是Go语言的一大特性,基于channel有很多值得探讨的问题,如 channel为什么是并发安全的? 同步通道和异步通道有啥区别? 通道为何会阻塞协程? 使用通道导致阻塞的协程...【详细内容】
2021-05-10  程序员麻辣烫  今日头条  Tags:Go通道   点击:(274)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条