您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

xargs命令如何加速

时间:2022-11-08 16:55:15  来源:今日头条  作者:Paul

作为服务端的程序员,我们可能会经常需要通过查找日志来分析定位问题。由一个常见的场景引出下面要讲的内容,在一个目录下查找一个待匹配的字符串所在的行,来定位问题。很容易可以用一个命令搞定:

find . -name "*log*" |xargs grep "待匹配的字符串" {} >> res.txt

使用26个文件,每个大概300M,用time命令统计耗时6S,测试结果:

real	0m6.113s
user	0m2.096s
sys	0m4.003s

之前可能会写下这样的命令,也能work,但是从没想过其实还是可以加速的。无意间看到大牛的分享,于是决定仔细研究下。

  1. xargs —help 查看解释
-n, --max-args=MAX-ARGS      Use at most MAX-ARGS arguments per command
                               line
-P, --max-procs=MAX-PROCS    Run up to max-procs processes at a time

其中对于加速非常关键的两个参数-n -P

  1. 修改上面的命令
find . -name "*log*" |xargs grep -n 10 -P 10 "待匹配的字符串" {} >> res.txt
  1. 继续测试
real	0m1.716s
user	0m2.153s
sys	0m3.897s
  1. 总结
  • 如果不加-n,实测-P不起作用,还是相当于单进程执行。
  • -P并不是越多越快,理论上只要小于机器的核心数会更快,但实际并不是(没理解)。


Tags:xargs   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
如何使用 Linux Xargs 命令,看这篇就够了
一、xargs 命令是什么?该xargs命令构建并执行通过标准输入提供的命令。它接受输入并将其转换为另一个命令的命令参数。此功能在文件管理中特别有用,可与rm、cp、mkdir和其他类...【详细内容】
2023-11-23  Search: xargs  点击:(176)  评论:(0)  加入收藏
xargs命令如何加速
作为服务端的程序员,我们可能会经常需要通过查找日志来分析定位问题。由一个常见的场景引出下面要讲的内容,在一个目录下查找一个待匹配的字符串所在的行,来定位问题。很容易可...【详细内容】
2022-11-08  Search: xargs  点击:(232)  评论:(0)  加入收藏
Linux中的xargs命令
在说xargs命令之前,先说两句Linux中的管道(pipe)。管道负责单向连接前一个程序的标准输出与后一个程序的标准输入,其本质是一个共享文件。我们日常最常用到的管道是匿名管道,Shel...【详细内容】
2019-08-12  Search: xargs  点击:(1142)  评论:(0)  加入收藏
▌简易百科推荐
Netflix 是如何管理 2.38 亿会员的
作者 | Surabhi Diwan译者 | 明知山策划 | TinaNetflix 高级软件工程师 Surabhi Diwan 在 2023 年旧金山 QCon 大会上发表了题为管理 Netflix 的 2.38 亿会员 的演讲。她在...【详细内容】
2024-04-08    InfoQ  Tags:Netflix   点击:(2)  评论:(0)  加入收藏
即将过时的 5 种软件开发技能!
作者 | Eran Yahav编译 | 言征出品 | 51CTO技术栈(微信号:blog51cto) 时至今日,AI编码工具已经进化到足够强大了吗?这未必好回答,但从2023 年 Stack Overflow 上的调查数据来看,44%...【详细内容】
2024-04-03    51CTO  Tags:软件开发   点击:(7)  评论:(0)  加入收藏
跳转链接代码怎么写?
在网页开发中,跳转链接是一项常见的功能。然而,对于非技术人员来说,编写跳转链接代码可能会显得有些困难。不用担心!我们可以借助外链平台来简化操作,即使没有编程经验,也能轻松实...【详细内容】
2024-03-27  蓝色天纪    Tags:跳转链接   点击:(13)  评论:(0)  加入收藏
中台亡了,问题到底出在哪里?
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之...【详细内容】
2024-03-27  dbaplus社群    Tags:中台   点击:(9)  评论:(0)  加入收藏
员工写了个比删库更可怕的Bug!
想必大家都听说过删库跑路吧,我之前一直把它当一个段子来看。可万万没想到,就在昨天,我们公司的某位员工,竟然写了一个比删库更可怕的 Bug!给大家分享一下(不是公开处刑),希望朋友们...【详细内容】
2024-03-26  dbaplus社群    Tags:Bug   点击:(5)  评论:(0)  加入收藏
我们一起聊聊什么是正向代理和反向代理
从字面意思上看,代理就是代替处理的意思,一个对象有能力代替另一个对象处理某一件事。代理,这个词在我们的日常生活中也不陌生,比如在购物、旅游等场景中,我们经常会委托别人代替...【详细内容】
2024-03-26  萤火架构  微信公众号  Tags:正向代理   点击:(11)  评论:(0)  加入收藏
看一遍就理解:IO模型详解
前言大家好,我是程序员田螺。今天我们一起来学习IO模型。在本文开始前呢,先问问大家几个问题哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步异步IO?什么是IO多路复用?select/epoll...【详细内容】
2024-03-26  捡田螺的小男孩  微信公众号  Tags:IO模型   点击:(9)  评论:(0)  加入收藏
为什么都说 HashMap 是线程不安全的?
做Java开发的人,应该都用过 HashMap 这种集合。今天就和大家来聊聊,为什么 HashMap 是线程不安全的。1.HashMap 数据结构简单来说,HashMap 基于哈希表实现。它使用键的哈希码来...【详细内容】
2024-03-22  Java技术指北  微信公众号  Tags:HashMap   点击:(11)  评论:(0)  加入收藏
如何从头开始编写LoRA代码,这有一份教程
选自 lightning.ai作者:Sebastian Raschka机器之心编译编辑:陈萍作者表示:在各种有效的 LLM 微调方法中,LoRA 仍然是他的首选。LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大...【详细内容】
2024-03-21  机器之心Pro    Tags:LoRA   点击:(12)  评论:(0)  加入收藏
这样搭建日志中心,传统的ELK就扔了吧!
最近客户有个新需求,就是想查看网站的访问情况。由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的...【详细内容】
2024-03-20  dbaplus社群    Tags:日志   点击:(4)  评论:(0)  加入收藏
相关文章
站内最新
站内热门
站内头条