您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Go语言

Go语言高性能字符串拼接

时间:2019-09-16 09:32:11  来源:  作者:

这是一片关于stackoverflow热门问题的文章 How to efficiently concatenate strings

Go里面string是最基础的类型,是一个只读类型,针对他的每一个操作都会创建一个新的string

所以,如果我在不知道结果是多少长字符串的情况下不断的连接字符串,怎么样的方式是最好的呢?

1. 方法一:使用strings.Builder

从Go 1.10(2018)版本开始可以使用 strings.Builder ,

A Builder is used to efficiently build a string using Write methods. It minimizes memory copying.

strings.Builder 使用 Write 方法来高效的构造字符串. 它使用内存最小,它使用零值,它不拷贝零值.

注意: 不要拷贝strings.Builder的值,如果你要使用strings.Builder值请使用pointer

使用方法,代码如下:

package main
import (
 "strings"
 "fmt"
)
func main() {
 var str strings.Builder
 for i := 0; i < 1000; i++ {
 str.WriteString("a")
 }
 fmt.Println(str.String())
}

2. 方法二:使用bytes.Buffer

在201X年之前使用 bytes 包的 Buffer 它实现了 io.Writer 的接口,使用他来拼接字符串.他的事件复杂度 O(n) .

package main
import (
 "bytes"
 "fmt"
)
func main() {
 var buffer bytes.Buffer
 for i := 0; i < 1000; i++ {
 buffer.WriteString("a")
 }
 fmt.Println(buffer.String())
}

3. 方法三:使用Go语言内置函数copy

Go内建函数copy: func copy(dst, src []Type) int ,

用于将源slice的数据(第二个参数),复制到目标slice(第一个参数).

返回值为拷贝了的数据个数,是len(dst)和len(src)中的最小值.

package main
import (
 "bytes"
 "fmt"
)
func main() {
 bs := make([]byte, 1000)
 bl := 0
 for n := 0; n < 1000; n++ {
 bl += copy(bs[bl:], "a")
 }
 fmt.Println(string(bs))
}

4. 方法四:使用go语言内置函数Append

append主要用于给某个切片(slice)追加元素,

如果该切片存储空间(cap)足够,就直接追加,长度(len)变长;如果空间不足,就会重新开辟内存,并将之前的元素和新的元素一同拷贝进去,

第一个参数为切片,后面是该切片存储元素类型的可变参数,

package main
import (
 "bytes"
 "fmt"
)
func main() {
 bs := make([]byte, 1000)
 for n := 0; n < 1000; n++ {
 bs = append(bs,'a')
 }
 fmt.Println(string(bs))
}

5. 方法五: 使用字符串+运算

package main
import (
 "fmt"
)
func main() {
 var result string
 for i := 0; i < 1000; i++ {
 result += "a"
 }
 fmt.Println(result)
}

6. 方法六: strings.Repeat

strings.Repeat 将 count 个字符串 s 连接成一个新的字符串

package main
import (
 "fmt"
 "strings"
)
func main() {
 fmt.Println(strings.Repeat("x",1000))
}

strings.Repeat它的底层调用的是strings.Builder,提前分配了内存.

// Repeat returns a new string consisting of count copies of the string s.
//
// It panics if count is negative or if
// the result of (len(s) * count) overflows.
func Repeat(s string, count int) string {
 if count == 0 {
 return ""
 }
 // Since we cannot return an error on overflow,
 // we should panic if the repeat will generate
 // an overflow.
 // See Issue golang.org/issue/16237
 if count < 0 {
 panic("strings: negative Repeat count")
 } else if len(s)*count/count != len(s) {
 panic("strings: Repeat count causes overflow")
 }
 n := len(s) * count
 var b Builder
 b.Grow(n)
 b.WriteString(s)
 for b.Len() < n {
 if b.Len() <= n/2 {
 b.WriteString(b.String())
 } else {
 b.WriteString(b.String()[:n-b.Len()])
 break
 }
 }
 return b.String()
}

7. Benchmark

string_benchmark.go

package main
import (
 "bytes"
 "strings"
 "testing"
)
const (
 sss = "https://mojotv.cn"
 cnt = 10000
)
var (
 bbb = []byte(sss)
 expected = strings.Repeat(sss, cnt)
)
//使用 提前初始化 内置 copy函数
func BenchmarkCopyPreAllocate(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 bs := make([]byte, cnt*len(sss))
 bl := 0
 for i := 0; i < cnt; i++ {
 bl += copy(bs[bl:], sss)
 }
 result = string(bs)
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 提前初始化 内置append 函数
func BenchmarkAppendPreAllocate(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 data := make([]byte, 0, cnt*len(sss))
 for i := 0; i < cnt; i++ {
 data = append(data, sss...)
 }
 result = string(data)
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 提前初始化 bytes.Buffer
func BenchmarkBufferPreAllocate(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 buf := bytes.NewBuffer(make([]byte, 0, cnt*len(sss)))
 for i := 0; i < cnt; i++ {
 buf.WriteString(sss)
 }
 result = buf.String()
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 strings.Repeat 本质是pre allocate + strings.Builder
func BenchmarkStringRepeat(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 result = strings.Repeat(sss,cnt)
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 内置copy
func BenchmarkCopy(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 data := make([]byte, 0, 64) // same size as bootstrap array of bytes.Buffer
 for i := 0; i < cnt; i++ {
 off := len(data)
 if off+len(sss) > cap(data) {
 temp := make([]byte, 2*cap(data)+len(sss))
 copy(temp, data)
 data = temp
 }
 data = data[0 : off+len(sss)]
 copy(data[off:], sss)
 }
 result = string(data)
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 内置append
func BenchmarkAppend(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 data := make([]byte, 0, 64)
 for i := 0; i < cnt; i++ {
 data = append(data, sss...)
 }
 result = string(data)
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 bytes.Buffer
func BenchmarkBufferWriteBytes(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 var buf bytes.Buffer
 for i := 0; i < cnt; i++ {
 buf.Write(bbb)
 }
 result = buf.String()
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 strings.Builder write bytes
func BenchmarkStringBuilderWriteBytes(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 var buf strings.Builder
 for i := 0; i < cnt; i++ {
 buf.Write(bbb)
 }
 result = buf.String()
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
//使用 string buffer write string
func BenchmarkBufferWriteString(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 var buf bytes.Buffer
 for i := 0; i < cnt; i++ {
 buf.WriteString(sss)
 }
 result = buf.String()
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}
// 使用string 加号
func BenchmarkStringPlusOperator(b *testing.B) {
 var result string
 for n := 0; n < b.N; n++ {
 var str string
 for i := 0; i < cnt; i++ {
 str += sss
 }
 result = str
 }
 b.StopTimer()
 if result != expected {
 b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
 }
}

执行 go test -bench=. -benchmem 输出结果:

$ go test -bench=. -benchmem
goos: windows
goarch: amd64
BenchmarkCopyPreAllocate-8 10000 117600 ns/op 344065 B/op 2 allocs/op
BenchmarkAppendPreAllocate-8 20000 75300 ns/op 344065 B/op 2 allocs/op
BenchmarkBufferPreAllocate-8 20000 97149 ns/op 344065 B/op 2 allocs/op
BenchmarkStringRepeat-8 100000 18349 ns/op 172032 B/op 1 allocs/op
BenchmarkCopy-8 10000 152417 ns/op 862307 B/op 13 allocs/op
BenchmarkAppend-8 10000 157210 ns/op 1046405 B/op 23 allocs/op
BenchmarkBufferWriteBytes-8 10000 173207 ns/op 862374 B/op 14 allocs/op
BenchmarkStringBuilderWriteBytes-8 10000 155715 ns/op 874468 B/op 24 allocs/op
BenchmarkBufferWriteString-8 10000 165700 ns/op 862373 B/op 14 allocs/op
BenchmarkStringPlusOperator-8 20 84450010 ns/op 885204590 B/op 10037 allocs/op
PASS
ok _/D_/code/tech.mojotv.cn/tutorials 18.797s

下面着重解释下说出的结果,看到函数后面的-8了吗?这个表示运行时对应的 GOMAXPROCS 的值.

接着的10000表示运行for循环的次数,也就是调用被测试代码的次数,最后的 174799 ns/op 表示每次需要话费174799纳秒.

14 allocs/op 表示每次执行分配了32字节内存.

8. 结论:

如果合并大量重复的字符串请使用 strings.Repeat , 如果要合并不同的字符串,且图方便建议使用 string.Builder + Write bytes/string .

+

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流



Tags:Go语言   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
zip 是一种常见的归档格式,本文讲解 Go 如何操作 zip。首先看看 zip 文件是如何工作的。以一个小文件为例:(类 Unix 系统下)$ cat hello.textHello!执行 zip 命令进行归档:$ zip...【详细内容】
2021-12-17  Tags: Go语言  点击:(13)  评论:(0)  加入收藏
统一规范篇合理规划目录本篇主要描述了公司内部同事都必须遵守的一些开发规矩,如统一开发空间,既使用统一的开发工具来保证代码最后的格式的统一,开发中对文件和代码长度的控制...【详细内容】
2021-05-18  Tags: Go语言  点击:(232)  评论:(0)  加入收藏
闭包概述 闭包不是Go语言独有的概念,在很多编程语言中都有闭包 闭包就是解决局部变量不能被外部访问的一种解决方案 是把函数当作返回值的一种应用 代码演示总体思想:在函数...【详细内容】
2021-05-14  Tags: Go语言  点击:(223)  评论:(0)  加入收藏
一时想不开,想了解一下Go语言,于是安装了并体验了一下。下载1. 进入golang.google.cn 点击Download Go 2.选择对应的操作系统,点击后开始下载。 安装1. windows下执行傻瓜式安...【详细内容】
2021-05-12  Tags: Go语言  点击:(237)  评论:(0)  加入收藏
再次整理了一下这个日志收集系统的框,如下图 这次要实现的代码的整体逻辑为: 完整代码地址为: https://github.com/pythonsite/logagentetcd介绍高可用的分布式key-value存储,...【详细内容】
2021-01-14  Tags: Go语言  点击:(135)  评论:(0)  加入收藏
生命不止,继续 Go go go !!!之前关于golang操作数据库的博客:Go实战&ndash;go语言操作MySQL数据库(go-sql-driver/mysql)Go实战&ndash;go语言操作sqlite数据库(The way to go)...【详细内容】
2021-01-05  Tags: Go语言  点击:(196)  评论:(0)  加入收藏
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类和汇总,及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;关于《gRPC学习》系列《gRPC学习》...【详细内容】
2020-12-14  Tags: Go语言  点击:(124)  评论:(0)  加入收藏
概述Go语言作为一门开源的编程语言,以简洁、快速、安全著称。尤其在高性能的分布式服务器领域得到广泛应用。技多不压身,在学习过程中记录下来,以备后续参考,希望对有同样需求的...【详细内容】
2020-11-12  Tags: Go语言  点击:(65)  评论:(0)  加入收藏
go-fly基于GO语言实现的web客服即时通讯与客服管理系统。非常适合给自己的网站增加在线客服功能,代码简单也适合学习。Github地址:https://github.com/taoshihan1991/go-fly1....【详细内容】
2020-09-25  Tags: Go语言  点击:(154)  评论:(0)  加入收藏
Illustration created for “A Journey With Go”, made from the original Go Gopher, created by Renee Fℹ️ 这篇文章基于 Go 1.13。在内存从分配到回收的生命周期中,内存...【详细内容】
2020-09-24  Tags: Go语言  点击:(65)  评论:(0)  加入收藏
▌简易百科推荐
zip 是一种常见的归档格式,本文讲解 Go 如何操作 zip。首先看看 zip 文件是如何工作的。以一个小文件为例:(类 Unix 系统下)$ cat hello.textHello!执行 zip 命令进行归档:$ zip...【详细内容】
2021-12-17  Go语言中文网    Tags:Go语言   点击:(13)  评论:(0)  加入收藏
大家好,我是 polarisxu。前段时间,Russ Cox 明确了泛型相关的事情,原计划在标准库中加入泛型相关的包,改放到 golang.org/x/exp 下。目前,Go 泛型的主要设计者 ianlancetaylor 完...【详细内容】
2021-11-30  Go语言中文网    Tags:slices 包   点击:(24)  评论:(0)  加入收藏
前言最近因为项目需要写了一段时间的 Go ,相对于 Java 来说语法简单同时又有着一些 Python 之类的语法糖,让人大呼”真香“。 但现阶段相对来说还是 Python 写的多一些,偶尔还...【详细内容】
2021-11-25  crossoverJie    Tags:Go   点击:(29)  评论:(0)  加入收藏
go-micro是基于 Go 语言用于开发的微服务的 RPC 框架,主要功能如下:服务发现,负载均衡 ,消息编码,请求/响应,Async Messaging,可插拔接口,最后这个功能牛p安装步骤安装proto...【详细内容】
2021-09-06    石老师小跟班  Tags:go-micro   点击:(197)  评论:(0)  加入收藏
GoLand 2021.2 EAP 5 现已发布。用户可以从工具箱应用程序中获得 EAP 构建,也可以从官方网站手动下载。并且从此 EAP 开始,只有拥有有效的 JetBrains 帐户才能加入该计划。手...【详细内容】
2021-06-29  IT实战联盟  今日头条  Tags:GoLand   点击:(185)  评论:(0)  加入收藏
作者:HDT3213今天给大家带来的开源项目是 Godis:一个用 Go 语言实现的 Redis 服务器。支持: 5 种数据结构(string、list、hash、set、sortedset) 自动过期(TTL) 发布订阅、地理位...【详细内容】
2021-06-18  HelloGitHub  今日头条  Tags:Go   点击:(125)  评论:(0)  加入收藏
统一规范篇合理规划目录本篇主要描述了公司内部同事都必须遵守的一些开发规矩,如统一开发空间,既使用统一的开发工具来保证代码最后的格式的统一,开发中对文件和代码长度的控制...【详细内容】
2021-05-18  1024课堂    Tags:Go语言   点击:(232)  评论:(0)  加入收藏
闭包概述 闭包不是Go语言独有的概念,在很多编程语言中都有闭包 闭包就是解决局部变量不能被外部访问的一种解决方案 是把函数当作返回值的一种应用 代码演示总体思想:在函数...【详细内容】
2021-05-14  HelloGo  今日头条  Tags:Go语言   点击:(223)  评论:(0)  加入收藏
一时想不开,想了解一下Go语言,于是安装了并体验了一下。下载1. 进入golang.google.cn 点击Download Go 2.选择对应的操作系统,点击后开始下载。 安装1. windows下执行傻瓜式安...【详细内容】
2021-05-12  程序员fearlazy  fearlazy  Tags:Go语言   点击:(237)  评论:(0)  加入收藏
1.简介channel是Go语言的一大特性,基于channel有很多值得探讨的问题,如 channel为什么是并发安全的? 同步通道和异步通道有啥区别? 通道为何会阻塞协程? 使用通道导致阻塞的协程...【详细内容】
2021-05-10  程序员麻辣烫  今日头条  Tags:Go通道   点击:(274)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条