您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > javascript

如何用 Linux 命令行工具解析和格式化输出 JSON

时间:2019-08-08 13:12:55  来源:  作者:
如何用 Linux 命令行工具解析和格式化输出 JSON

 

我们将使用 linux 上的命令行工具解析并格式化打印 JSON。它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中处理 JSON 数据非常有用。

-- Ostechnix(作者)

JSON 是一种轻量级且与语言无关的数据存储格式,易于与大多数编程语言集成,也易于人类理解 —— 当然,如果格式正确的话。JSON 这个词代表 Java Script Object Notation,虽然它以 JAVAScript 开头,而且主要用于在服务器和浏览器之间交换数据,但现在正在用于许多领域,包括嵌入式系统。在这里,我们将使用 Linux 上的命令行工具解析并格式化打印 JSON。它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中处理 JSON 数据非常有用。

什么是格式化输出?

JSON 数据的结构更具人性化。但是在大多数情况下,JSON 数据会存储在一行中,甚至没有行结束字符。

显然,这对于手动阅读和编辑不太方便。

这是 格式化输出(pretty print)就很有用。这个该名称不言自明:重新格式化 JSON 文本,使人们读起来更清晰。这被称为 JSON 格式化输出

用 Linux 命令行工具解析和格式化输出 JSON

可以使用命令行文本处理器解析 JSON 数据,例如 awk、sed 和 gerp。实际上 JSON.awk 是一个来做这个的 awk 脚本。但是,也有一些专用工具可用于同一目的。

  1. jq 或 jshon,shell 下的 JSON 解析器,它们都非常有用。
  2. Shell 脚本,如 JSON.sh 或 jsonv.sh,用于在 bash、zsh 或 dash shell 中解析JSON。
  3. JSON.awk,JSON 解析器 awk 脚本。
  4. 像 json.tool 这样的 Python 模块。
  5. undercore-cli,基于 Node.js 和 JavaScript

在本教程中,我只关注 jq,这是一个 shell 下的非常强大的 JSON 解析器,具有高级过滤和脚本编程功能。

JSON 格式化输出

JSON 数据可能放在一行上使人难以解读,因此为了使其具有一定的可读性,JSON 格式化输出就可用于此目的的。

示例:来自 jsonip.com 的数据,使用 curl 或 wget 工具获得 JSON 格式的外部 IP 地址,如下所示。

$ wget -cq http://jsonip.com/ -O -

实际数据看起来类似这样:

{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}

现在使用 jq 格式化输出它:

$ wget -cq http://jsonip.com/ -O - | jq '.'

通过 jq 过滤了该结果之后,它应该看起来类似这样:

{
 "ip": "111.222.333.444",
 "about": "/about",
 "Pro!": "http://getjsonip.com"
}

同样也可以通过 Python json.tool 模块做到。示例如下:

$ cat anything.json | python -m json.tool

这种基于 Python 的解决方案对于大多数用户来说应该没问题,但是如果没有预安装或无法安装 Python 则不行,比如在嵌入式系统上。

然而,json.tool Python 模块具有明显的优势,它是跨平台的。因此,你可以在 windows、Linux 或 mac OS 上无缝使用它。

如何用 jq 解析 JSON

首先,你需要安装 jq,它已被大多数 GNU/Linux 发行版选中,并使用各自的软件包安装程序命令进行安装。

在 Arch Linux 上:

$ sudo pacman -S jq

在 Debian、Ubuntu、Linux Mint 上:

$ sudo apt-get install jq

在 Fedora 上:

$ sudo dnf install jq

在 openSUSE 上:

$ sudo zypper install jq

对于其它操作系统或平台参见 官方的安装指导 。

jq 的基本过滤和标识符功能

jq 可以从 STDIN 或文件中读取 JSON 数据。你可以根据情况使用。

单个符号 . 是最基本的过滤器。这些过滤器也称为对象标识符-索引。jq 使用单个 . 过滤器基本上相当将输入的 JSON 文件格式化输出。

  • 单引号:不必始终使用单引号。但是如果你在一行中组合几个过滤器,那么你必须使用它们。
  • 双引号:你必须用两个双引号括起任何特殊字符,如 @、#、$,例如 jq .foo.”@bar”。
  • 原始数据打印:不管出于任何原因,如果你只需要最终解析的数据(不包含在双引号内),请使用带有 -r 标志的 jq 命令,如下所示:jq -r .foo.bar。

解析特定数据

要过滤出 JSON 的特定部分,你需要了解格式化输出的 JSON 文件的数据层次结构。

来自维基百科的 JSON 数据示例:

{
 "firstName": "John",
 "lastName": "Smith",
 "age": 25,
 "address": {
 "streetAddress": "21 2nd Street",
 "city": "New York",
 "state": "NY",
 "postalCode": "10021"
},
 "phoneNumber": [
{
 "type": "home",
 "number": "212 555-1234"
},
{
 "type": "fax",
 "number": "646 555-4567"
}
],
 "gender": {
 "type": "male"
 }
}

我将在本教程中将此 JSON 数据用作示例,将其保存为 sample.json。

假设我想从 sample.json 文件中过滤出地址。所以命令应该是这样的:

$ jq .address sample.json

示例输出:

{
 "streetAddress": "21 2nd Street",
 "city": "New York",
 "state": "NY",
 "postalCode": "10021"
}

再次,我想要邮政编码,然后我要添加另一个对象标识符-索引,即另一个过滤器。

$ cat sample.json | jq .address.postalCode

另请注意,过滤器区分大小写,并且你必须使用完全相同的字符串来获取有意义的输出,否则就是 null。

从 JSON 数组中解析元素

JSON 数组的元素包含在方括号内,这无疑是非常通用的。

要解析数组中的元素,你必须使用 [] 标识符以及其他对象标识符索引。

在此示例 JSON 数据中,电话号码存储在数组中,要从此数组中获取所有内容,你只需使用括号,像这个示例:

$ jq .phoneNumber[] sample.json

假设你只想要数组的第一个元素,然后使用从 0 开始的数组对象编号,对于第一个项目,使用 [0],对于下一个项目,它应该每步增加 1。

$ jq .phoneNumber[0] sample.json

脚本编程示例

假设我只想要家庭电话,而不是整个 JSON 数组数据。这就是用 jq 命令脚本编写的方便之处。

$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'

首先,我将一个过滤器的结果传递给另一个,然后使用 select 属性选择特定类型的数据,再次将结果传递给另一个过滤器。

解释每种类型的 jq 过滤器和脚本编程超出了本教程的范围和目的。强烈建议你阅读 jq 手册,以便更好地理解下面的内容。

资源:

  • https://stedolan.github.io/jq/manual/
  • http://www.compciv.org/recipes/cli/jq-for-parsing-json/
  • https://lzone.de/cheat-sheet/jq

via: https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/

作者: ostechnix 选题: lujun9972 译者: wxy 校对: wxy

本文由 LCTT 原创编译, Linux中国 荣誉推出



Tags:JSON   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
前言几乎所有.NET序列化程序的实现基础都是反射。下列代码是Newtonsoft.Json的实现:protectedvirtualJsonPropertyCreateProperty(MemberInfomember,MemberSerializationmemb...【详细内容】
2021-12-28  Tags: JSON  点击:(2)  评论:(0)  加入收藏
前言JDBC访问Postgresql的jsonb类型字段当然可以使用Postgresql jdbc驱动中提供的PGobject,但是这样在需要兼容多种数据库的系统开发中显得不那么通用,需要特殊处理。本文介绍...【详细内容】
2021-12-23  Tags: JSON  点击:(13)  评论:(0)  加入收藏
前言前几天有粉丝在群里问了一个json文件处理的问题。看上去他只需要follower和ddate这两个字段下的对应的值。我们知道json是一种常见的数据传输形式,所以对于爬取数据的数...【详细内容】
2021-12-07  Tags: JSON  点击:(40)  评论:(0)  加入收藏
Json 和 Xml 的目的是相似的,他们都是将方便理解和易读的方式将复杂数据组织到各种接口和语言中,这种类型的技术当然是不能缺少的,我们通过他们构建数据也能很好的去共享他们,但...【详细内容】
2021-06-04  Tags: JSON  点击:(129)  评论:(0)  加入收藏
基于 el-form 封装了一个表单控件,包括表单的子控件。 既然要封装,那么就要完善一些,把能想到的功能都要实现出来,不想留遗憾。 毕竟UI库提供的功能都很强大了,不能浪费了对吧。 ...【详细内容】
2021-05-19  Tags: JSON  点击:(195)  评论:(0)  加入收藏
基于Hive SQL 提取加工数据是每个数据分析师的工作日常,但屏幕面前的你是否遇到过这样的囧境:数仓表中的某个字段并非是以往那种一行一个实体信息的结构化数据,而是 json格式的...【详细内容】
2021-02-03  Tags: JSON  点击:(145)  评论:(0)  加入收藏
前言大家好,又双叒叕见面了,我是天天放大家鸽子的蛮三刀。在被大家取关之前,我立下一个“远大的理想”,一定要在这周更新文章。现在看来,flag有用了。。。本篇文章是我这一个多月...【详细内容】
2021-01-14  Tags: JSON  点击:(192)  评论:(0)  加入收藏
生活中,你我一定都看到过这种「xx元爆改出租屋」,「爆改小汽车」之类的文章,做为IT人,折腾的劲头一点也不差。软件开发过程中,你是否有时候,会拿着业务提供的一个个CSV或者JSON的...【详细内容】
2021-01-06  Tags: JSON  点击:(159)  评论:(0)  加入收藏
最近工作中测试一款客户端exe程序,web框架基于CEF,认证用的是jwt。说实话jwt这个东西实际运用真的很少,前几年完整撸过一次,结果这次又碰到了就基本忘光了之前的测试过程和方向...【详细内容】
2020-12-30  Tags: JSON  点击:(171)  评论:(0)  加入收藏
JSON 文件非常棒,因为它们以人类可读的格式存储数据集合。然而,如果 JSON 文件被最小化过,那么阅读 JSON 文件可能会很痛苦。• 来源:linux.cn • 作者:Abhishek Prakas...【详细内容】
2020-12-14  Tags: JSON  点击:(222)  评论:(0)  加入收藏
▌简易百科推荐
1、通过条件判断给变量赋值布尔值的正确姿势// badif (a === 'a') { b = true} else { b = false}// goodb = a === 'a'2、在if中判断数组长度不为零...【详细内容】
2021-12-24  Mason程    Tags:JavaScript   点击:(6)  评论:(0)  加入收藏
给新手朋友分享我收藏的前端必备javascript已经写好的封装好的方法函数,直接可用。方法函数总计:41个;以下给大家介绍有35个,需要整体文档的朋友私信我,1、输入一个值,将其返回数...【详细内容】
2021-12-15  未来讲IT    Tags:JavaScript   点击:(20)  评论:(0)  加入收藏
1. 检测一个对象是不是纯对象,检测数据类型// 检测数据类型的方法封装(function () { var getProto = Object.getPrototypeOf; // 获取实列的原型对象。 var class2type =...【详细内容】
2021-12-08  前端明明    Tags:js   点击:(23)  评论:(0)  加入收藏
作者:一川来源:前端万有引力 1 写在前面Javascript中的apply、call、bind方法是前端代码开发中相当重要的概念,并且与this的指向密切相关。本篇文章我们将深入探讨这个关键词的...【详细内容】
2021-12-06  Nodejs开发    Tags:Javascript   点击:(19)  评论:(0)  加入收藏
概述DOM全称Document Object Model,即文档对象模型。是HTML和XML文档的编程接口,DOM将文档(HTML或XML)描绘成一个多节点构成的结构。使用JavaScript可以改变文档的结构、样式和...【详细内容】
2021-11-16  海人为记    Tags:DOM模型   点击:(35)  评论:(0)  加入收藏
入口函数 /*js加载完成事件*/ window.onload=function(){ console.log("页面和资源完全加载完毕"); } /*jQuery的ready函数*/ $(document).ready(function(){ co...【详细内容】
2021-11-12  codercyh的开发日记    Tags:jQuery   点击:(36)  评论:(0)  加入收藏
一、判断是否IE浏览器(支持判断IE11与edge)function IEVersion() {var userAgent = navigator.userAgent; //取得浏览器的userAgent字符串var isIE = userAgent.indexOf("comp...【详细内容】
2021-11-02  V面包V    Tags:Javascript   点击:(40)  评论:(0)  加入收藏
Null、Undefined、空检查普通写法: if (username1 !== null || username1 !== undefined || username1 !== '') { let username = username1; }优化后...【详细内容】
2021-10-28  前端掘金    Tags:JavaScript   点击:(51)  评论:(0)  加入收藏
今天我们将尝试下花 1 分钟的时间简单地了解下什么是 JS 代理对象(proxies)?我们可以这样理解,JS 代理就相当于在对象的外层加了一层拦截,在拦截方法里我们可以自定义一些个性化...【详细内容】
2021-10-18  前端达人    Tags:JS   点击:(51)  评论:(0)  加入收藏
带有多个条件的 if 语句把多个值放在一个数组中,然后调用数组的 includes 方法。// bad if (x === "abc" || x === "def" || x === "ghi" || x === "jkl") { //logic } // be...【详细内容】
2021-09-27  羲和时代    Tags:JS   点击:(58)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条