您当前的位置:首页 > 电脑百科 > 程序开发 > 框架

gRPC如何节省您的开发时间

时间:2020-04-08 10:17:13  来源:  作者:

gRPC如何节省您的开发时间

 

此时,您应该已经听说过" gRPC"(标题中至少一次)。 在本文中,我将着重介绍采用gRPC作为微服务之间的通信介质的好处。

首先,我将尝试简要介绍一下架构演变的历史。 其次,我将重点介绍使用REST(作为媒介)和可能出现的问题。 第三,gRPC启动。最后,我将以我的开发工作流程为例。

架构发展简史

本节将列出并讨论每种体系结构的优缺点(着重于基于Web的应用程序)

整体式

一切都在一个包中。

优点:

· 容易上手

· 单一代码库可满足所有需求

缺点:

· 难以扩展(部分)

· 加载服务器(服务器端渲染)

· 不良的用户体验(加载时间长)

· 难以扩展的开发团队

gRPC如何节省您的开发时间

Monolith architecture

 

gRPC如何节省您的开发时间

Inside monolith architecture

 

Monolith v2(前端-后端)

前端逻辑和后端逻辑之间的清晰分隔。 后端仍然庞大。

优点:

· 可以将团队分为前端和后端

· 更好的用户体验(客户端的前端逻辑(应用程序))

缺点:

· [仍然]难以扩展(部分)

· [仍然]难以扩展的开发团队

gRPC如何节省您的开发时间

Frontend-Backend architecture

 

微服务

每一件事物一项服务(包)。 使用网络在每个软件包之间进行通信。

优点:

· 可扩展的组件

· 可扩展团队

· 灵活的语言选择(如果使用标准通讯方式)

· 独立部署/修复每个软件包

缺点:

· 介绍网络问题(通信之间的等待时间)

· 服务之间进行通信所需的文档,协议

· 如果使用共享数据库,则难以识别错误

gRPC如何节省您的开发时间

Micro-service architecture with shared database

 

gRPC如何节省您的开发时间

Micro-service architecture with standalone database per service

 

REST(作为媒介)和可能出现的问题

REST(基于HTTP的JSON)由于易于使用,是当前服务之间通信的最流行方式。 使用REST使您可以灵活地为每种服务使用任何语言。

gRPC如何节省您的开发时间

Typical REST call

但是,灵活性会带来一些陷阱。 开发人员之间需要非常严格的协议。 下面的草图展示了一个非常常见的场景,通常在开发过程中发生。

gRPC如何节省您的开发时间

Developer A want Developer B to make a service

 

gRPC如何节省您的开发时间

Bad request

 

gRPC如何节省您的开发时间

Expectation vs Actual

 

问题:

· 依靠人类的同意

· 依赖文档(需要维护/更新)

· 从协议到协议(这两种服务)都需要大量的"格式化,解析"

· 大多数开发时间都花在了协议和格式化上,而不是业务逻辑上

gRPC启动

gRPC是可以在任何环境中运行的现代开源高性能RPC框架

什么是RPC? RPC代表远程过程调用。 它是一种协议,一个程序可用于从网络上另一台计算机上的程序请求服务,而无需了解网络的详细信息。

gRPC如何节省您的开发时间

Remote Procedure Call

 

以REST为媒介的RPC

使用服务创建者提供的RPC客户端/库将确保调用服务时的正确性。 如果我们要使用RPC和REST作为媒介,则开发人员B必须编写客户端代码供开发人员A使用。 如果两个开发人员都使用不同的选择语言,那么这对开发人员B来说是一个主要问题,因为他需要用他不习惯的另一种语言来编写PRC客户。 而且,如果不同的服务也需要使用服务B,则开发人员B将不得不花费大量时间来使用不同的语言来制作RPC客户端,并且必须对其进行维护。

原虫?

协议缓冲区是google的语言无关,平台无关的可扩展机制,用于序列化结构化数据。 gRPC使用protobuf作为定义数据结构和服务的语言。 您可以将其与REST服务的严格文档进行比较。 Protobuf语法非常严格,因此机器可以进行编译。

下面的代码块是一个简单的原始文件,描述了一个简单的待办事项服务以及用于通信的数据结构。

用于定义数据结构的" message"关键字

用于定义服务的" service"关键字

" rpc"关键字,用于定义服务功能

syntax = "proto3";
package gogrpcspec;
message Employee {
    string name = 1;
}
message Task {
    Employee employee = 1;
    string name = 2;
    string status = 3;
}
message Summary {
    int32 todoTasks = 1;
    int32 doingTasks = 2;
    int32 doneTasks = 3;
}
message SpecificSummary {
    Employee employee = 1;
    Summary summary = 2;
}
service TaskManager {
    rpc GetSummary(Employee) returns (SpecificSummary) {}
    rpc AddTask(Task) returns (SpecificSummary) {}
    rpc AddTasks(stream Task) returns(Summary) {}
    rpc GetTasks(Employee) returns (stream Task) {}
    rpc ChangeToDone(stream Task) returns (stream Task) {}
}

 

将原始代码编译为服务器代码

由于protobuf非常严格,因此我们可以使用" protoc"将proto文件编译为服务器代码。 编译后,您需要对其实施真实的逻辑。

protoc --go_out=plugins=grpc:. ${pwd}/proto/*.proto

--proto_path=${pwd}

 

编译原始代码到客户端代码

有了proto文件,我们可以使用" protoc"将其客户端代码编译为许多流行的语言:C#,C ++,Dart,Go,JAVAJavaScript,Objective-C,phpPython,Ruby等。

gRPC rpc类型

gRPC支持多种rpc类型(不过,在本文中我不会强调)

· 一元RPC(请求-响应)

· 客户端流式RPC

· 服务器流式RPC

· 双向流式RPC

开发流程

为了在各个团队之间采用gRPC,我们需要一些东西。

· 集中式代码库(用于服务之间通信的gRPC规范)

· 自动生成代码

· 服务用户(客户)可以通过软件包管理器使用生成的代码(用于他们选择的语言),例如。 去获取/点安装

此示例的代码可以在此仓库中找到:

- https://github.com/redcranetech/grpcspec-example

- https://github.com/redcranetech/grpc-go-example

- https://github.com/redcranetech/grpc-python-example

 

代码库的结构

.
├── HISTORY.md
├── Makefile
├── README.md
├── genpyinit.sh
├── gogrpcspec //go generated code here
│ └── ...
├── proto
│ └── todo.proto
├── pygrpcspec //python generated code here
│ ├── ...
└── setup.py

 

git钩子

我将设置githook,以便在提交之前自动生成内容。 如果合适,您可以使用CI(drone / gitlab / jenkins /…)。 (使用githook的缺点是每个开发人员都需要先配置githook)

您需要一个目录(文件夹)来保留预提交脚本。 我称之为" .githooks"

$ mkdir .githooks
$ cd .githooks/
$ cat <<EOF > pre-commit
#!/bin/sh
set -e
make generate
git add gogrpcspec pygrpcspec
EOF
$ chomd +x pre-commit

 

预提交脚本将触发Makefile并git添加2个目录(gogrpcsepc,pygrpcspec)

为了使githooks正常工作,开发人员必须运行以下git config命令:

$ git config core.hooksPath .githooks

 

我们将此命令添加到Makefile中,以使开发人员可以轻松地运行此命令(称为" make init")。 Makefile的内容应如下所示。

# content of: Makefile
init:
 git config core.hooksPath .githooks
generate:
 # TO BE CONTINUE

 

产生程式码

我们已经设置了githooks来运行Makefile(" make generate")。 让我们深入了解将自动生成代码的命令。 本文将重点介绍两种语言-go,python

生成go代码

我们可以使用protoc将.proto文件编译成go代码。

protoc --go_out=plugins=grpc:. ${pwd}/proto/*.proto 
--proto_path=${pwd}

我们将改为通过Docker使用protoc(为了便于开发人员使用)

docker run --rm -v ${CURDIR}:${CURDIR} -w ${CURDIR}

znly/protoc

--go_out=plugins=grpc:.

${CURDIR}/proto/*.proto

--proto_path=${CURDIR}

 

看一下下面的generate命令(我们将删除,生成并将代码移动到适当的文件夹中)

# content of: Makefile
init:
  git config core.hooksPath .githooks
generate:
  # remove previously generated code
  rm -rf gogrpcspec/*
  
  # generate go code
  docker run --rm -v ${CURDIR}:${CURDIR} -w ${CURDIR} 
  znly/protoc 
  --go_out=plugins=grpc:. 
  ${CURDIR}/proto/*.proto 
  --proto_path=${CURDIR}
  
  # move generated code into gogrpcspec folder
  mv proto/*.go gogrpcspec

 

生成代码后,希望将代码用于服务器或客户端的存根以调用服务的用户(开发人员)可以使用go get命令下载

go get -u github.com/redcranetech/grpcspec-example

 

然后用

import pb "github.com/redcranetech/grpcspec-example/gogrpcspec"

 

生成python代码

我们可以使用protoc将.proto文件编译成python代码。

protoc --plugin=protoc-gen-grpc=/usr/bin/grpc_python_plugin

--python_out=./pygrpcspec

--grpc_out=./pygrpcspec

${pwd}/proto/*.proto

--proto_path=${pwd}

 

我们将改为通过docker使用protoc(为了便于开发人员使用)

docker run --rm -v ${CURDIR}:${CURDIR} -w ${CURDIR}

znly/protoc --plugin=protoc-gen-grpc=/usr/bin/grpc_python_plugin

--python_out=./pygrpcspec

--grpc_out=./pygrpcspec

${CURDIR}/proto/*.proto

--proto_path=${CURDIR}

 

为了使生成的代码进入python包以通过pip安装,我们需要执行额外的步骤:

· 创建setup.py

· 修改生成的代码(生成的代码使用文件夹名称导入,但我们将其更改为相对名称)

· 文件夹需要包含" init.py",以暴露生成的代码

使用以下模板创建setup.py文件:

# content of: setup.py
from setuptools import setup, find_packages
with open('README.md') as readme_file:
    README = readme_file.read()
with open('HISTORY.md') as history_file:
    HISTORY = history_file.read()
setup_args = dict(
    name='pygrpcspec',
    version='0.0.1',
    description='grpc spec',
    long_description_content_type="text/markdown",
    long_description=README + 'nn' + HISTORY,
    license='MIT',
    packages=['pygrpcspec','pygrpcspec.proto'],
    author='Napon Mekavuthikul',
    author_email='napon@redcranetech.com',
    keywords=['grpc'],
    url='https://github.com/redcranetech/grpcspec-example',
    download_url=''
)
install_requires = [
    'grpcio>=1.21.0',
    'grpcio-tools>=1.21.0',
    'protobuf>=3.8.0'
]
if __name__ == '__main__':
    setup(**setup_args, install_requires=install_requires)

 

产生__init__.py

pygrpcspec文件夹的__init__.py必须是

# content of: pygrpspec/__init__.py
from . import proto
__all__ = [
 'proto'
]

并且pygrpcspec / proto文件夹的__init__.py必须是

# content of: pygrpspec/proto/__init__.py
from . import todo_pb2
from . import todo_pb2_grpc
__all__ = [
    'todo_pb2',
    'todo_pb2_grpc',
]

 

为了使开发人员能够添加更多.proto文件并自动生成__init__.py,一个简单的shell脚本可以解决此问题

# content of: genpyinit.sh
cat <<EOF >pygrpcspec/__init__.py
from . import proto
__all__ = [
 'proto'
]
EOF
pyfiles=($(ls pygrpcspec/proto | sed -e 's/..*$//'| grep -v __init__))
rm -f pygrpcspec/proto/__init__.py
for i in "${pyfiles[@]}"
do
 echo "from . import $i" >> pygrpcspec/proto/__init__.py
done
echo "__all__ = [" >> pygrpcspec/proto/__init__.py
for i in "${pyfiles[@]}"
do
 echo "    '$i'," >> pygrpcspec/proto/__init__.py
done
echo "]" >> pygrpcspec/proto/__init__.py

 

修改生成的代码

(如果您不太熟悉python模块,则可以跳过此阅读)

我们希望将每个"从原始导入"更改为"从"。 进口"。 这背后的原因是因为我们将数据类型,服务存根都放在同一目录中,并且为了在模块外部调用模块,每个内部引用都应该是相对的。

sed -i -E 's/^from proto import/from . import/g' *.py

此时,您的Makefile应该如下所示:

# content of: Makefile
init:
  git config core.hooksPath .githooks
generate:
  # remove previously generated code
  rm -rf gogrpcspec/*
  
  # generate go code
  docker run --rm -v ${CURDIR}:${CURDIR} -w ${CURDIR} 
  znly/protoc 
  --go_out=plugins=grpc:. 
  ${CURDIR}/proto/*.proto 
  --proto_path=${CURDIR}
  
  # move generated code into gogrpcspec folder
  mv proto/*.go gogrpcspec
  # remove previously generated code
  rm -rf pygrpcspec/*
  
  # generate python code
  docker run --rm -v ${CURDIR}:${CURDIR} -w ${CURDIR} 
  znly/protoc 
  --plugin=protoc-gen-grpc=/usr/bin/grpc_python_plugin 
  --python_out=./pygrpcspec 
  --grpc_out=./pygrpcspec 
  ${CURDIR}/proto/*.proto 
  --proto_path=${CURDIR}
  
  # generate __init__.py
  sh genpyinit.sh
  
  # modify import using sed
  docker run --rm -v ${CURDIR}:${CURDIR} -w     ${CURDIR}/pygrpcspec/proto 
 frolvlad/alpine-bash 
 bash -c "sed -i -E 's/^from proto import/from . import/g' *.py"

 

生成代码后,希望将代码用于服务器或客户端的存根以调用服务的用户(开发人员)可以使用pip命令下载

pip install -e git+https://github.com/redcranetech/grpcspec-example.git#egg=pygrpcspec

 

然后用

from pygrpcspec.proto import todo_pb2_grpc
from pygrpcspec.proto import todo_pb2

 

综上所述,由于protobuf的语法严格性可以将gRPC编译成多种不同语言的客户端代码,因此gRPC是在微服务之间进行通信的一种绝佳方式。

All codes in this article:

- https://github.com/redcranetech/grpcspec-example

- https://github.com/redcranetech/grpc-go-example

- https://github.com/redcranetech/grpc-python-example

 

(本文翻译自Napon Mekavuthikul的文章《gRPC and why it can save you development time》,参考:https://medium.com/red-crane/grpc-and-why-it-can-save-you-development-time-436168fd0cbc)



Tags:gRPC   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
在使用gRpc的过程中,有一个想法:gRpc客户端、服务端是怎么交互的呢?从这个想法萌生出一个验证方法,通过抓包来分析其交互过程与底层数据,一起来看看吧。1. gRpc是什么gRpc是什么?g...【详细内容】
2021-07-12  Tags: gRPC  点击:(136)  评论:(0)  加入收藏
前言grpc是一个高性能、通用的开源RPC框架,基于HTTP/2协议标准和Protobuf序列化协议开发,支持众多的开发语言。在对接口具有严格约束或者传递大量数据的场景中得到了广泛的应...【详细内容】
2020-07-08  Tags: gRPC  点击:(143)  评论:(0)  加入收藏
本文的目的是对gRPC有一个高级的了解。 它还将解释gRPC与Web应用程序通信遵循的现有协议和体系结构之间的异同。...【详细内容】
2020-05-05  Tags: gRPC  点击:(53)  评论:(0)  加入收藏
此时,您应该已经听说过" gRPC"(标题中至少一次)。 在本文中,我将着重介绍采用gRPC作为微服务之间的通信介质的好处。首先,我将尝试简要介绍一下架构演变的历史。 其次,我将重点...【详细内容】
2020-04-08  Tags: gRPC  点击:(58)  评论:(0)  加入收藏
gRPC 1.24.2 发布了。gRPC 是 Google 开源的高性能、通用 RPC 框架,面向移动和 HTTP/2 设计,是由谷歌发布的首款基于 Protocol Buffers 的 RPC 框架。gRPC 基于 HTTP/2 标准设...【详细内容】
2019-10-14  Tags: gRPC  点击:(118)  评论:(0)  加入收藏
▌简易百科推荐
近日只是为了想尽办法为 Flask 实现 Swagger UI 文档功能,基本上要让 Flask 配合 Flasgger, 所以写了篇 Flask 应用集成 Swagger UI 。然而不断的 Google 过程中偶然间发现了...【详细内容】
2021-12-23  Python阿杰    Tags:FastAPI   点击:(6)  评论:(0)  加入收藏
文章目录1、Quartz1.1 引入依赖<dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2.3.2</version></dependency>...【详细内容】
2021-12-22  java老人头    Tags:框架   点击:(12)  评论:(0)  加入收藏
今天来梳理下 Spring 的整体脉络啦,为后面的文章做个铺垫~后面几篇文章应该会讲讲这些内容啦 Spring AOP 插件 (了好久都忘了 ) 分享下 4ye 在项目中利用 AOP + MybatisPlus 对...【详细内容】
2021-12-07  Java4ye    Tags:Spring   点击:(14)  评论:(0)  加入收藏
&emsp;前面通过入门案例介绍,我们发现在SpringSecurity中如果我们没有使用自定义的登录界面,那么SpringSecurity会给我们提供一个系统登录界面。但真实项目中我们一般都会使用...【详细内容】
2021-12-06  波哥带你学Java    Tags:SpringSecurity   点击:(18)  评论:(0)  加入收藏
React 简介 React 基本使用<div id="test"></div><script type="text/javascript" src="../js/react.development.js"></script><script type="text/javascript" src="../js...【详细内容】
2021-11-30  清闲的帆船先生    Tags:框架   点击:(19)  评论:(0)  加入收藏
流水线(Pipeline)是把一个重复的过程分解为若干个子过程,使每个子过程与其他子过程并行进行的技术。本文主要介绍了诞生于云原生时代的流水线框架 Argo。 什么是流水线?在计算机...【详细内容】
2021-11-30  叼着猫的鱼    Tags:框架   点击:(21)  评论:(0)  加入收藏
TKinterThinter 是标准的python包,你可以在linx,macos,windows上使用它,你不需要安装它,因为它是python自带的扩展包。 它采用TCL的控制接口,你可以非常方便地写出图形界面,如...【详细内容】
2021-11-30    梦回故里归来  Tags:框架   点击:(27)  评论:(0)  加入收藏
前言项目中的配置文件会有密码的存在,例如数据库的密码、邮箱的密码、FTP的密码等。配置的密码以明文的方式暴露,并不是一种安全的方式,特别是大型项目的生产环境中,因为配置文...【详细内容】
2021-11-17  充满元气的java爱好者  博客园  Tags:SpringBoot   点击:(25)  评论:(0)  加入收藏
一、搭建环境1、创建数据库表和表结构create table account(id INT identity(1,1) primary key,name varchar(20),[money] DECIMAL2、创建maven的工程SSM,在pom.xml文件引入...【详细内容】
2021-11-11  AT小白在线中  搜狐号  Tags:开发框架   点击:(29)  评论:(0)  加入收藏
SpringBoot开发的物联网通信平台系统项目功能模块 功能 说明 MQTT 1.SSL支持 2.集群化部署时暂不支持retain&will类型消 UDP ...【详细内容】
2021-11-05  小程序建站    Tags:SpringBoot   点击:(56)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条