您当前的位置:首页 > 电脑百科 > 站长技术 > 服务器

Apache Livy on k8s 讲解与实战操作

时间:2022-11-08 14:56:16  来源:今日头条  作者:大数据老司机

一、概述

 

Livy是一个提供Rest接口和Spark集群交互的服务。它可以提交SPARK Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。

 


 

官网:https://livy.incubator.Apache.org/
GitHub地址:https://github.com/apache/incubator-livy
关于apache Livy更多介绍也可以参考我这篇文章:Spark开源REST服务——Apache Livy(Spark 客户端)

二、开始编排部署1)部署包准备

这里也提供上面编译好的livy部署包,有需要的小伙伴可以自行下载:

 

链接:https://pan.baidu.com/s/1pPCbe0lUJ6ji8rvQYsVw9A?pwd=qn7i 提取码:qn7i
1)构建镜像

 

Dockerfile

FROM myharbor.com/bigdata/centos:7.9.2009 RUN rm -f /etc/localtime && ln -sv /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo "Asia/Shanghai" > /etc/timezone RUN export LANG=zh_CN.UTF-8 ### install tools RUN yum install -y vim tar wget curl less te.NET net-tools lsof RUN groupadd --system --gid=9999 admin && useradd --system -m /home/admin --uid=9999 --gid=admin admin RUN mkdir -p /opt/apache ADD apache-livy-0.8.0-incubating-SNAPSHOT-bin.zip /opt/apache/ ENV LIVY_HOME=/opt/apache/apache-livy RUN ln -s /opt/apache/apache-livy-0.8.0-incubating-SNAPSHOT-bin $LIVY_HOME ADD hadoop-3.3.2.tar.gz /opt/apache/ ENV HADOOP_HOME=/opt/apache/hadoop RUN ln -s /opt/apache/hadoop-3.3.2 $HADOOP_HOME ENV HADOOP_CONFIG_DIR=${HADOOP_HOME}/etc/hadoop ADD spark-3.3.0-bin-hadoop3.tar.gz /opt/apache/ ENV SPARK_HOME=/opt/apache/spark RUN ln -s /opt/apache/spark-3.3.0-bin-hadoop3 $SPARK_HOME ENV PATH=${LIVY_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH RUN chown -R admin:admin /opt/apache WORKDIR $LIVY_HOME ENTRYPOINT ${LIVY_HOME}/bin/livy-server start;tail -f ${LIVY_HOME}/logs/livy-root-server.out

【注意】hadoop包里的core-site.xml,hdfs-site.xml,yarn-site.xml

 

开始构建镜像

docker build -t myharbor.com/bigdata/livy:0.8.0 . --no-cache ### 参数解释 # -t:指定镜像名称 # . :当前目录Dockerfile # -f:指定Dockerfile路径 # --no-cache:不缓存 # 推送到harbor docker push myharbor.com/bigdata/livy:0.8.02)创建livy chart模板helm create livy3)修改yaml编排

  • livy/values.yaml
replicaCount: 1 image: repository: myharbor.com/bigdata/livy pullPolicy: IfNotPresent # Overrides the image tag whose default is the chart AppVersion. tag: "0.8.0" securityContext: runAsUser: 9999 runAsGroup: 9999 privileged: true service: type: NodePort port: 8998 nodePort: 31998
  • livy/templates/configmap.yaml
apiVersion: v1 kind: ConfigMap metadata: name: {{ include "livy.fullname" . }} labels: {{- include "livy.labels" . | nindent 4 }} data: livy.conf: |- livy.spark.master = yarn livy.spark.deploy-mode = client livy.environment = production livy.impersonation.enabled = true livy.server.csrf_protection.enabled = false livy.server.port = {{ .Values.service.port }} livy.server.session.timeout = 3600000 livy.server.recovery.mode = recovery livy.server.recovery.state-store = filesystem livy.server.recovery.state-store.url = /tmp/livy livy.repl.enable-hive-context = true livy-env.sh: |- export JAVA_HOME=/opt/apache/jdk1.8.0_212 export HADOOP_HOME=/opt/apache/hadoop export HADOOP_CONF_DIR=/opt/apache/hadoop/etc/hadoop export SPARK_HOME=/opt/apache/spark export SPARK_CONF_DIR=/opt/apache/spark/conf export LIVY_LOG_DIR=/opt/apache/livy/logs export LIVY_PID_DIR=/opt/apache/livy/pid-dir export LIVY_SERVER_JAVA_OPTS="-Xmx512m" spark-blacklist.conf: |- spark.master spark.submit.deployMode # Disallow overriding the location of Spark cached jars. spark.yarn.jar spark.yarn.jars spark.yarn.archive # Don't allow users to override the RSC timeout. livy.rsc.server.idle-timeout
  • livy/templates/deployment.yaml
apiVersion: apps/v1 kind: Deployment metadata: name: {{ include "livy.fullname" . }} labels: {{- include "livy.labels" . | nindent 4 }} spec: {{- if not .Values.autoscaling.enabled }} replicas: {{ .Values.replicaCount }} {{- end }} selector: matchLabels: {{- include "livy.selectorLabels" . | nindent 6 }} template: metadata: {{- with .Values.podAnnotations }} annotations: {{- toYaml . | nindent 8 }} {{- end }} labels: {{- include "livy.selectorLabels" . | nindent 8 }} spec: {{- with .Values.imagePullSecrets }} imagePullSecrets: {{- toYaml . | nindent 8 }} {{- end }} serviceAccountName: {{ include "livy.serviceAccountName" . }} securityContext: {{- toYaml .Values.podSecurityContext | nindent 8 }} containers: - name: {{ .Chart.Name }} securityContext: {{- toYaml .Values.securityContext | nindent 12 }} image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}" imagePullPolicy: {{ .Values.image.pullPolicy }} ports: - name: http containerPort: 8998 protocol: TCP livenessProbe: httpGet: path: / port: http readinessProbe: httpGet: path: / port: http resources: {{- toYaml .Values.resources | nindent 12 }} {{- with .Values.securityContext }} securityContext: runAsUser: {{ .runAsUser }} runAsGroup: {{ .runAsGroup }} privileged: {{ .privileged }} {{- end }} volumeMounts: - name: {{ .Release.Name }}-livy-conf mountPath: /opt/apache/livy/conf/livy.conf subPath: livy.conf - name: {{ .Release.Name }}-livy-env mountPath: /opt/apache/livy/conf/livy-env.sh subPath: livy-env.sh - name: {{ .Release.Name }}-spark-blacklist-conf mountPath: /opt/apache/livy/conf/spark-blacklist.conf subPath: spark-blacklist.conf {{- with .Values.nodeSelector }} nodeSelector: {{- toYaml . | nindent 8 }} {{- end }} {{- with .Values.affinity }} affinity: {{- toYaml . | nindent 8 }} {{- end }} {{- with .Values.tolerations }} tolerations: {{- toYaml . | nindent 8 }} {{- end }} volumes: - name: {{ .Release.Name }}-livy-conf configMap: name: {{ include "livy.fullname" . }} - name: {{ .Release.Name }}-livy-env configMap: name: {{ include "livy.fullname" . }} - name: {{ .Release.Name }}-spark-blacklist-conf configMap: name: {{ include "livy.fullname" . }}4)开始部署helm install livy ./livy -n livy --create-namespace

 

NOTES

NOTES: 1. Get the application URL by running these commands: export NODE_PORT=$(kubectl get --namespace livy -o jsonpath="{.spec.ports[0].nodePort}" services livy) export NODE_IP=$(kubectl get nodes --namespace livy -o jsonpath="{.items[0].status.addresses[0].address}") echo http://$NODE_IP:$NODE_PORT


 

kubectl get pods,svc -n livy -owide


 

web地址:http://192.168.182.110:31998/ui


 

5)测试验证curl -s -XPOST -d '{"file":"hdfs://myhdfs/tmp/spark-examples_2.12-3.3.0.jar","className":"org.apache.spark.examples.SparkPi","name":"SparkPi-test"}' -H "Content-Type: application/json" http://local-168-182-110:31998/batches|Python/ target=_blank class=infotextkey>Python -m json.tool


 


 

6)卸载helm uninstall livy -n livy

git地址:https://gitee.com/hadoop-bigdata/livy-on-k8s

Apache Livy on k8s 编排部署讲解就先到这里了,有疑问的小伙伴欢迎给我留言,后续会持续更新【云原生+大数据】相关的文章,请小伙伴耐心等待~



Tags:Apache   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一、概述 Livy是一个提供Rest接口和Spark集群交互的服务。它可以提交SPARK Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC...【详细内容】
2022-11-08  Tags: Apache  点击:(13)  评论:(0)  加入收藏
概述Apache Calcite的前身是optiq,是Hive中做CBO(Cost Based Optimization, 基于成本的优化)的一个模块。2014年5月从Hive项目中独立出来,成为Apache社区的孵化项目,同年9月正...【详细内容】
2022-10-05  Tags: Apache  点击:(52)  评论:(0)  加入收藏
API 网关作为一个存在时间比较长的基础组件,一直致力于提供业务层面的限流限速、身份认证、可观测性等多方面的功能。随着服务端系统的迭代,越来越多的服务开始从裸金属迁移到...【详细内容】
2022-09-29  Tags: Apache  点击:(93)  评论:(0)  加入收藏
使用在 Kubernetes 上运行的 Kafka 在 API 端点之间流式传输消息。 Apache Kafka 不仅仅是一个消息传递代理。它有一个由不同组件组成的丰富生态系统。有用于导入和导出数据...【详细内容】
2022-09-28  Tags: Apache  点击:(36)  评论:(0)  加入收藏
每日分享最新,最流行的软件开发知识与最新行业趋势,希望大家能够一键三连,多多支持,跪求关注,点赞,留言。 如何使用 Apache Kafka 实现请求-响应消息交换模式,优缺点,以及与 CQRS 和...【详细内容】
2022-09-25  Tags: Apache  点击:(63)  评论:(0)  加入收藏
目录 1. Shopee 数据系统建设中面临的典型问题 2. 为什么选择 Hudi 3. Shopee 在 Hudi 落地过程中的实践 4. 社区贡献 5. 总结与展望湖仓一体(LakeHouse)作为大数据领域的重...【详细内容】
2022-09-14  Tags: Apache  点击:(52)  评论:(0)  加入收藏
Apache Kafka 中用于错误处理的死信队列:来自 Uber 和 Crowdstrike 的替代方案、最佳实践和案例研究。识别和处理错误对于任何可靠的数据流管道都是必不可少的。这篇博文探讨...【详细内容】
2022-09-04  Tags: Apache  点击:(74)  评论:(0)  加入收藏
导语近期,腾讯 TEG 数据平部 MQ 团队开发部署了一套底层运维指标性能分析系统(本文简称 Data 项目) ,目前作为通用基础设施服务整个腾讯集团。该系统旨在收集性能指标、上报数据...【详细内容】
2022-07-26  Tags: Apache  点击:(73)  评论:(0)  加入收藏
自从Oracle收购Sun Microsystems之后,LibreOffice从OpenOffice.org分叉出来,然后在2011年创建了Apache OpenOffice,已经过去了将近12年。虽然LibreOffice已经成为主导性的开源...【详细内容】
2022-07-24  Tags: Apache  点击:(67)  评论:(0)  加入收藏
OSCS(开源软件供应链安全社区)推出免费的漏洞、投毒情报订阅服务,社区用户可通过机器人订阅情报信息:https://www.oscs1024.com/?src=csdn漏洞概述7月18日,OSCS 监测到 Apache...【详细内容】
2022-07-20  Tags: Apache  点击:(185)  评论:(0)  加入收藏
▌简易百科推荐
一、概述 Livy是一个提供Rest接口和Spark集群交互的服务。它可以提交SPARK Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC...【详细内容】
2022-11-08  大数据老司机  今日头条  Tags:Apache   点击:(13)  评论:(0)  加入收藏
众所周知,SSL证书通常是针对完全合格的域名(FQDN)颁发的。然而,一些企业和公共机构不能通过域名访问各种类型的应用程序,而是使用IP地址。为了有效保障这类企业的数据传输安全,IP...【详细内容】
2022-10-30  青蛙数字安全    Tags:SSL   点击:(29)  评论:(0)  加入收藏
现在搭建网站其中的三要素:域名、主机空间以及建站程序缺一不可。主机空间其实也就是我们常见的服务器,在搭建网站之前一般都会提前规划配置什么样的空间/服务器,其中美国虚拟...【详细内容】
2022-10-24  安信SSL证书    Tags:SSL证书   点击:(10)  评论:(0)  加入收藏
当前许多企业为吸引国际客户的关注,获取更多的国际市场机会,都把网站搭建在香港或国际多地的服务器上。但是在网站搭建完成后,发现网站无法访问,这是什么原因导致的呢?其实,遇到...【详细内容】
2022-10-24  云杰通信    Tags:服务器   点击:(29)  评论:(0)  加入收藏
我们如果要存储大量数据的话,都会用到服务器系统进行储存,很多IT公司都是拥有自己的服务器系统,那如果我们因为工作需要想要重装戴尔服务器系统的话,要怎么进行操作呢,下面教给大...【详细内容】
2022-10-24  小白一键重装系统    Tags:服务器   点击:(16)  评论:(0)  加入收藏
现在主流都在推荐使用SSL证书,部署了SSL证书能自动激活浏览器显示“锁”型标志,我们可以在浏览器的地址栏看到“https”开头的网址。SSL证书意味着在客户端浏览器和Web服务器...【详细内容】
2022-10-22  吠品    Tags:SSL证书   点击:(5)  评论:(0)  加入收藏
大家都知道安装域名安全证书,即SSL证书后相当于为网站加上了一层保护罩,能有效预防黑客攻击,避免传输信息的泄露,从而大大提高网站的安全性。虽然大多数网站使用域名申请SSL证书...【详细内容】
2022-10-21  Cntrus数字认证    Tags:SSL证书   点击:(7)  评论:(0)  加入收藏
今天,通过xftp向Centos系统的某个文件夹上传文件时,莫名其妙上传失败,提示的错误信息为Unknown error!首先排除了权限问题,但是具体是什么问题呢?初步怀疑是磁盘满了。那么如果确...【详细内容】
2022-10-20  紫气之巅  今日头条  Tags:CentOS   点击:(20)  评论:(0)  加入收藏
FTP服务软件安装包: vsftpd默认发布目录: /var/ftp协议接口: 21/tcp服务配置文件: /etc/vsftpd/vsftpd.conf报错id的解析:500 ##文件系统权限过大530 ##用户认证失败550 ##服务本...【详细内容】
2022-10-17  沪飘运维    Tags:FTP   点击:(24)  评论:(0)  加入收藏
一个朋友说他遇到这样一个问题,同样的服务器别人可以连接,自己却无法连接,捣鼓了好久都无法解决,很是郁闷。这个问题,刚好我之前也遇到过,后来完美解决了,这就给大家分享一下我的解...【详细内容】
2022-10-14  萌小翊  搜狐号  Tags:服务器   点击:(34)  评论:(0)  加入收藏
站内最新
站内热门
站内头条