您当前的位置:首页 > 电脑百科 > 站长技术 > 网站

Loki日志系统,比ELK轻量多了

时间:2021-09-14 12:13:01  来源:51CTO  作者:

Grafana Loki 是一个日志聚合工具,它是功能齐全的日志堆栈的核心。

Loki日志系统,比ELK轻量多了

图片来自 包图网

先看看结果有多轻量吧:

Loki日志系统,比ELK轻量多了

 

Loki 是一个为有效保存日志数据而优化的数据存储。日志数据的高效索引将 Loki 与其他日志系统区分开来。与其他日志系统不同,Loki 索引是根据标签构建的,原始日志消息未编入索引。

Loki日志系统,比ELK轻量多了

 

代理(也称为客户端)获取日志,将日志转换为流,然后通过 HTTP API 将流推送到 Loki。Promtail 代理专为 Loki 安装而设计,但许多其他代理与 Loki 无缝集成。

Loki日志系统,比ELK轻量多了

 

Loki 特点如下:

用于索引日志的高效内存使用:通过在一组标签上建立索引,索引可以明显小于其他日志聚合产品。更少的内存使得操作成本更低。

多租户:Loki 允许多个租户使用单个 Loki 实例。不同租户的数据与其他租户完全隔离。通过在代理中分配租户 ID 来配置多租户。

LogQL,Loki 的查询语言:Prometheus 查询语言 PromQL 的用户会发现 LogQL 熟悉且灵活,可用于生成针对日志的查询。该语言还有助于从日志数据中生成指标,这是一项远远超出日志聚合的强大功能。

可扩展性:Loki 在小范围内运行良好。在单进程模式下,所有需要的微服务都在一个进程中运行。

单进程模式非常适合测试 Loki、在本地运行或小规模运行。Loki 还旨在为大规模安装进行横向扩展。

Loki 的每个微服务组件都可以分解为单独的进程,并且配置允许对组件进行单独扩展。

灵活性:许多代理(客户端)都有插件支持。这允许当前的可观察性结构将 Loki 添加为他们的日志聚合工具,而无需切换可观察性堆栈的现有部分。

Grafana 集成:Loki 与 Grafana 无缝集成,提供完整的可观察性堆栈。

Loki/Promtail/Grafana vs EFK

EFK(Elasticsearch、Fluentd、Kibana)堆栈用于从各种来源摄取、可视化和查询日志。

Elasticsearch 中的数据作为非结构化 JSON 对象存储在磁盘上。每个对象的键和每个键的内容都被索引。

然后可以使用 JSON 对象定义查询(称为查询 DSL)或通过 Lucene 查询语言查询数据。

相比之下,单二进制模式的 Loki 可以将数据存储在磁盘上,但在水平可扩展模式下,数据存储在云存储系统中,例如 S3、GCS 或 Cassandra。

日志以纯文本形式存储,并标有一组标签名称和值,其中仅索引标签对。这种权衡使得操作比完整索引更便宜,并允许开发人员积极地从他们的应用程序中登录。使用LogQL查询 Loki 中的日志。

然而,由于这种设计权衡,基于内容(即日志行中的文本)过滤的 LogQL 查询需要加载搜索窗口中与查询中定义的标签匹配的所有块。

Fluentd 通常用于收集日志并将其转发到 Elasticsearch。Fluentd 被称为数据收集器,它可以从许多来源摄取日志,对其进行处理,并将其转发到一个或多个目标。

相比之下,Promtail 的用例是专门为 Loki 量身定制的。它的主要操作模式是发现存储在磁盘上的日志文件,并将它们与一组标签相关联地转发给 Loki。

Promtail 可以为与 Promtail 运行在同一节点上的 Kubernetes pod 进行服务发现,充当容器边车或 Docker 日志驱动程序,从指定文件夹读取日志,并跟踪 systemd 日志。

Loki 通过一组标签对表示日志的方式类似于 Prometheus表示指标的方式。

当与 Prometheus 一起部署在环境中时,由于使用相同的服务发现机制,Promtail 的日志通常具有与应用程序指标相同的标签。

具有相同标签的日志和指标使用户能够在指标和日志之间无缝切换上下文,帮助进行根本原因分析。

Kibana 用于可视化和搜索 Elasticsearch 数据,并且在对这些数据进行分析方面非常强大。

Kibana 提供了许多可视化工具来进行数据分析,例如位置图、用于异常检测的机器学习以及用于发现数据关系的图形。警报可以配置为在发生意外情况时通知用户。

相比之下,Grafana 专门针对来自 Prometheus 和 Loki 等来源的时间序列数据量身定制。

仪表板可以设置为可视化指标(即将提供日志支持),并且可以使用浏览视图对您的数据进行临时查询。与 Kibana 一样,Grafana 支持根据您的指标发出警报。

架构图:

Loki日志系统,比ELK轻量多了

 

收集日志的架构图:

Loki日志系统,比ELK轻量多了

 

一套轻量级日志收集方案:

  • Promtail:日志收集工具
  • Loki:日志聚合系统
  • Grafana:可视化工具

部署 Loki

官网地址:

https://github.com/grafana/loki 

①loki

编辑 loki 配置文件:loki-config.yaml,参考:

https://grafana.com/docs/loki/latest/configuration/examples/ 
https://grafana.com/docs/loki/latest/installation/docker/ 
--- 
apiVersion: v1 
kind: ConfigMap 
metadata: 
  name: loki-config 
  labels: 
    name: loki 
data: 
  loki-config.yaml: |- 
    auth_enabled: false 
 
    server: 
      http_listen_port: 3100 
      grpc_listen_port: 9096 
 
    ingester: 
      lifecycler: 
        address: 127.0.0.1 
        ring: 
          kvstore: 
            store: inmemory 
          replication_factor: 1 
        final_sleep: 0s 
      chunk_idle_period: 5m 
      chunk_retain_period: 30s 
 
      chunk_target_size: 1048576  # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first 
      max_transfer_retries: 0     # Chunk transfers disabled 
 
    schema_config: 
      configs: 
      - from: 2021-08-18 
        store: boltdb 
        object_store: filesystem 
        schema: v11 
        index: 
          prefix: index_ 
          period: 168h 
 
    storage_config: 
      boltdb: 
        directory: /tmp/loki/index 
 
      filesystem: 
        directory: /tmp/loki/chunks 
 
    limits_config: 
      enforce_metric_name: false 
      reject_old_samples: true 
      reject_old_samples_max_age: 168h 
 
      ingestion_rate_mb: 15 
 
    chunk_store_config: 
      max_look_back_period: 0s 
 
    table_manager: 
      retention_deletes_enabled: false 
      retention_period: 0s 
kubectl Apply -f  loki-config.yaml 

创建 Service 和 StatefulSet,loki,.yaml:

---- 
apiVersion: v1 
kind: Service 
metadata: 
  name: loki 
  annotations: 
    k8s.kuboard.cn/displayName: loki 
    k8s.kuboard.cn/workload: loki 
  labels: 
    name: loki 
spec: 
  ports: 
    - name: http 
      port: 3100 
      protocol: TCP 
      targetPort: 3100 
  selector: 
    name: loki 
 
--- 
apiVersion: apps/v1 
kind: StatefulSet 
metadata: 
  name: loki 
spec: 
  serviceName: loki 
  selector: 
    matchLabels: 
      name: loki 
  template: 
    metadata: 
      labels: 
        name: loki 
    spec: 
      volumes: 
      - name: loki-config 
        configMap: 
          #defaultMode: 0640 
          name: loki-config 
      containers: 
      - name: loki 
        #image: grafana/loki:2.3.0 
        image: grafana/loki:master 
        args: 
        - -config.file=/etc/loki/loki-config.yaml 
        ports: 
        - containerPort: 3100 
          name: loki 
          protocol: TCP 
        volumeMounts: 
        - name: loki-config 
          mountPath: /etc/loki/ 
          readOnly: true 

执行命令创建:

kubectl apply -f loki.yaml 

②grafana

根据自己时间情可对存储那块进行更改,不改的话是 emptyDir,你懂的。账号密码为 admin/admin123.可自行修改。

apiVersion: v1 
kind: Service 
metadata: 
  name: grafana 
  labels: 
    k8s-app: grafana 
spec: 
  type: NodePort 
  ports: 
  - name: http 
    port: 3000 
    targetPort: 3000 
  selector: 
    k8s-app: grafana 
--- 
apiVersion: apps/v1 
kind: Deployment 
metadata: 
  name: grafana 
  labels: 
    k8s-app: grafana 
spec: 
  selector: 
    matchLabels: 
      k8s-app: grafana 
  template: 
    metadata: 
      labels: 
        k8s-app: grafana 
    spec: 
     # initContainers:             ## 初始化容器,用于修改挂载的存储的文件夹归属组与归属用户 
     # - name: init-file 
     #   image: busybox:1.28 
     #   imagePullPolicy: IfNotPresent 
     #   securityContext: 
     #     runAsUser: 0 
     #   command: ['chown', '-R', "472:0", "/var/lib/grafana"] 
     #   volumeMounts: 
     #   - name: data 
     #     mountPath: /var/lib/grafana 
     #     subPath: grafana 
      containers:                 
      - name: grafana             ## Grafana 容器 
        #image: grafana/grafana 
        image: grafana/grafana:7.4.3 
        #securityContext:          ## 容器安全策略,设置运行容器使用的归属组与用户 
        #  fsGroup: 0 
        #  runAsUser: 472 
        ports: 
        - name: http 
          containerPort: 3000 
          protocol: TCP 
        env:                      ## 配置环境变量,设置 Grafana 的默认管理员用户名/密码 
        - name: GF_SECURITY_ADMIN_USER 
          value: "admin" 
        - name: GF_SECURITY_ADMIN_PASSword 
          value: "admin123" 
        readinessProbe:           ## 就绪探针 
          failureThreshold: 10 
          httpGet: 
            path: /api/health 
            port: 3000 
            scheme: HTTP 
          initialDelaySeconds: 10 
          periodSeconds: 10 
          successThreshold: 1 
          timeoutSeconds: 30 
        livenessProbe:            ## 存活探针 
          failureThreshold: 10 
          httpGet: 
            path: /api/health 
            port: 3000 
            scheme: HTTP 
          initialDelaySeconds: 10 
          periodSeconds: 10 
          successThreshold: 1 
          timeoutSeconds: 1 
        volumeMounts:            ## 容器挂载配置 
        - name: data 
          mountPath: /var/lib/grafana 
          subPath: grafana 
      volumes:                   ## 共享存储挂载配置 
      - name: data 
        emptyDir: {} 
        #persistentVolumeClaim: 
        #  claimName: grafana     ## 指定使用的 PVC 

③promtail

应用结合 promtail,进行日志收集。这里使用 Sidecar 模式。一个 pod 中跑两个容器,一个为业务容器,一个为 promtail,两个容器挂载同一个存储目录,promtail 即可收集日志。

编辑 promtail-config.yaml,可根据不同业务设置标签。参考:

https://grafana.com/docs/loki/latest/clients/promtail/installation/ 
--- 
apiVersion: v1 
kind: ConfigMap 
metadata: 
  name: promtail-config 
  labels: 
    k8s-app: promtail 
data: 
  promtail.yaml: |- 
    server: 
      http_listen_port: 9080 
      grpc_listen_port: 0 
 
    positions: 
      filename: ./positions.yaml # This location needs to be writeable by Promtail. 
      #filename: /tmp/positions.yaml # This location needs to be writeable by Promtail. 
 
    client: 
      url: http://loki:3100/loki/api/v1/push 
 
    scrape_configs: 
    - job_name: system 
    #- job_name: busybox 
      static_configs: 
      - targets: 
          - localhost 
        labels: 
          job: varlog    #自定义 
          host: busybox  #自定义 
          __path__: /tmp/*log   收集日志的目录 
--- 
apiVersion: apps/v1 
kind: Deployment 
metadata: 
  name: promtail-deployment 
spec: 
  replicas: 2 
  selector: 
    matchLabels: 
      name: promtail 
  template: 
    metadata: 
      labels: 
        name: promtail 
    spec: 
      volumes: 
      - name: log 
        emptyDir: {} 
      - name: promtail-config 
        configMap: 
          name: promtail-config 
 
      containers: 
      - name: promtail 
        image: grafana/promtail:master 
        imagePullPolicy: IfNotPresent 
        args: 
        - -config.file=/etc/promtail/promtail.yaml 
        volumeMounts: 
        - name: log 
          mountPath: /tmp/ 
        - name: promtail-config 
          mountPath: /etc/promtail/ 
 
      - name: busybox 
        image: centos:7 
        imagePullPolicy: IfNotPresent 
        args: 
        - /bin/sh 
        - -c 
        - "while : ; do echo '--- promtail log test ---' `date` && echo '--- promtail log test ---' `date` >> /tmp/healthy.log && sleep 3 ; done " 
        volumeMounts: 
        - name: log 
          mountPath: /tmp/ 

配置 grafana 并查看日志

查看 grafana 的 nodeport 端口:

kubectl get svc 
Loki日志系统,比ELK轻量多了

 

浏览器输入 Node IP +上边看到的 port 打开 grafana 页面:

Loki日志系统,比ELK轻量多了

 

输入账号密码进行登陆 admin admin123。

配置数据源:

Loki日志系统,比ELK轻量多了

 


Loki日志系统,比ELK轻量多了

 

找到 loki,然后 url 处写上 loki 的 service name 和端口号,即就是 http://locki:3100。

然后点击页面低下 "Save && test " 按钮:

Loki日志系统,比ELK轻量多了

 

查看日志:

Loki日志系统,比ELK轻量多了

 

选择 host 或者 job 来看不同业务的日志:

Loki日志系统,比ELK轻量多了

 

即可看到日志内容:

Loki日志系统,比ELK轻量多了

 

至此,Loki+Promtail+Grafana 收集日志方案收工。

作者:Sunzz

编辑:陶家龙

出处:
cnblogs.com/Sunzz/p/15190702.html



Tags:Loki日志   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Grafana Loki 是一个日志聚合工具,它是功能齐全的日志堆栈的核心。图片来自 包图网先看看结果有多轻量吧: Loki 是一个为有效保存日志数据而优化的数据存储。日志数据的高效索...【详细内容】
2021-09-14  Tags: Loki日志  点击:(97)  评论:(0)  加入收藏
▌简易百科推荐
今天我们来聊一下北京地区的《ICP经营许可证》有多好办,现在的互联网上提供的商机越来越多,增值电信业务十分火爆,企业通过互联网突破地域的限制,把公司产品卖到更远的地方,同时...【详细内容】
2021-12-17  梦想理应飞翔Yy    Tags:《ICP经营许可证》   点击:(12)  评论:(0)  加入收藏
转自: https://blog.kermsite.com/p/blog-intro/由于格式问题,部分链接、表格可能会失效,若失效请访问原文此专题将详细介绍如何从零开始搭建一个个人博客。Dec 01, 2021阅读时...【详细内容】
2021-12-17  LaLiLi    Tags:个人博客   点击:(6)  评论:(0)  加入收藏
SP证是第二类增值电信业务经营许可证的简称。分为全网SP证和地网SP证。申请经营许可证是在工信部申请,全网SP经营许可证的有效期是5年,全网SP许可证在工信部办理全网SP续期,地...【详细内容】
2021-11-01  s陳述    Tags:sp证书   点击:(38)  评论:(0)  加入收藏
现在还有许多人不知道EDI许可证是什么东西今天我就来给大家讲解一下.EDI许可证就是一种增值电信业务经营许可证。是针对在线数据处理和交易处理业务需求的专业资格证书。 《...【详细内容】
2021-10-28  soberXx    Tags:edi许可证   点击:(75)  评论:(0)  加入收藏
元素的化学概念,如周期表中的化学元素,一切物质都是由元素构成的。对程序员而言,网站建设制作就是代码构成网站。企业网站设计者也收集了各种各样的元素,但并非所有元素都需要运...【详细内容】
2021-10-26  南宁云尚网络    Tags:企业网站   点击:(39)  评论:(0)  加入收藏
在运营网站的过程中,有一件不可忽略的事情。那就是网站上线之前需要完成 ICP 备案。说到这里,很多朋友就提出疑问了~· 什么是 ICP 备案呢?· ICP 备案需要哪些材...【详细内容】
2021-10-22  启测云    Tags:ICP备案   点击:(45)  评论:(0)  加入收藏
最近有朋友问我,我公司有外资就不能申请ICP许可证了么?外资的定义是什么?其实是可以的,但有一个特定条件必须满足,外资公司是指公司有外资股东,比如香港、加拿大、美国、韩国等等,...【详细内容】
2021-10-21  小白速看Z    Tags:ICP   点击:(51)  评论:(0)  加入收藏
自互联网出现以来,超文本传输协议http协议被广泛用于在Web浏览器和网站服务器之间传递信息,但随着互联网的发展,另一种协议——https出现,并与http一同服务于这个互联...【详细内容】
2021-10-20  我是FEIYA    Tags:https   点击:(44)  评论:(0)  加入收藏
Grafana Loki 是一个日志聚合工具,它是功能齐全的日志堆栈的核心。图片来自 包图网先看看结果有多轻量吧: Loki 是一个为有效保存日志数据而优化的数据存储。日志数据的高效索...【详细内容】
2021-09-14    51CTO  Tags:Loki日志   点击:(97)  评论:(0)  加入收藏
背景最近做微信小程序开发比较多,大家知道线上微信小程序为了安全起见,要求后端通信协议必须是HTTPS,这就要求需要安装证书。为了测试预发布线上环境,特地买了个最便宜的域名,为...【详细内容】
2021-09-14  小李子说程序    Tags:HTTPS证书   点击:(124)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条