您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Go语言

基于dispatcher模式的事件与数据分发处理器的go语言实现

时间:2023-01-19 17:41:03  来源:今日头条  作者:研道鸠摩智

背景

在实际项目中,我们经常需要异步处理事件与数据。比如MVC模型中处理请求的Filter链,又如在Nginx中或是linux的iptables中,都会有一个处理链条,来一步步的顺序处理一个请求。此外基于集中存储与分发的模式,实现事件与数据的异步处理,对于提升系统响应程度,实现业务处理的解耦至关重要。本文以eosc(一个高性能中间件开发框架)中的代码为例子,看看如何在我们的实际项目中,实现这样的功能

代码

eosc提供了关于dispatcher的关键实现的两个文件,分别是dispatch.go和data-dispatch.go,具体的代码地址是
https://github.com/eolinker/eosc/tree/main/common/dispatcher

这两个文件中实现的结构体与接口的关系如图所示:

dispatcher关键接口与结构体的关系

  1. dispatch.go文件

在dispatch.go文件中,esco提供了IEvent、CallBackHandler、IListener三个重要的接口。

同时通过CallBackFunc来实现接口CallBackHandler, tListener来实现IListener

//2个接口
type CallBackHandler interface {
   DataEvent(e IEvent) error
}

type IListener interface {
   Leave()
   Event() <-chan IEvent
}
/*CallBackFunc实现了CallBackHandler,同时CallBackFunc又是一个接受IEvent为参数,
返回error的函数*/
type CallBackFunc func(e IEvent) error

func (f CallBackFunc) DataEvent(e IEvent) error {
   return f(e)
}
//实现了IListener接口
func (t *tListener) Leave() {
   t.Once.Do(func() {
      atomic.StoreUint32(&t.closed, 1)
      close(t.c)
   })
}

func (t *tListener) Event() <-chan IEvent {
   return t.c
}

注意:tListener还提供了一个Handler方法,这个方法的参数与返回结果与CallBackFunc一样,也就是说它实现的Handler方法是一种CallBackFunc,这个在后面的分发处理逻辑的注册中会用到

func (t *tListener) Handler(e IEvent) error {
   if atomic.LoadUint32(&t.closed) == 0 {
      t.c <- e
      return nil
   }
   return ErrorIsClosed
}

2 .data-dispatch.go文件

该文件提供了两种dispatcher创建方法,分别是NewDataDispatchCenter、NewEventDispatchCenter。这两个方法都是创建了DataDispatchCenter结构体(这个结构体后面会讲到),但是启动的处理协程不同,NewDataDispatchCenter启动的是doDataLoop,NewEventDispatchCenter启动的是doEventLoop.

//两种DispatchCenter创建方法
func NewDataDispatchCenter() IDispatchCenter {
   ctx, cancelFunc := context.WithCancel(context.Background())
   center := &DataDispatchCenter{
      ctx:          ctx,
      cancelFunc:   cancelFunc,
      addChannel:   make(chan *_CallbackBox, 10),
      eventChannel: make(chan IEvent),
   }
   go center.doDataLoop()
   return center
}

func NewEventDispatchCenter() IDispatchCenter {
   ctx, cancelFunc := context.WithCancel(context.Background())
   center := &DataDispatchCenter{
      ctx:          ctx,
      cancelFunc:   cancelFunc,
      addChannel:   make(chan *_CallbackBox, 10),
      eventChannel: make(chan IEvent),
   }
   go center.doEventLoop()
   return center
}

//DataDispatchCenter 数据广播中心
type DataDispatchCenter struct {
	addChannel   chan *_CallbackBox
	eventChannel chan IEvent

	ctx        context.Context
	cancelFunc context.CancelFunc
}

DataDispatchCenter这个结构体中有两个chan,一个是addChannel,一个是eventChannel,

addChannel

接受_CallbackBox,这个_CallbackBox提供了逻辑处理Handler

eventChannel

接受IEvent,触发

doEventLoop逻辑:

NewEventDispatchCenter方法中启动的doEventLoop,逻辑相对简单,创建的channels用于存储addChannel发送过来的_CallbackBox,即事件处理Handler.当eventChannel收到事件后,遍历channels中的每一个_CallbackBox,并调用相应的Handler处理。

doEventLoop状态图

具体代码可以查看
https://github.com/eolinker/eosc/blob/main/common/dispatcher/data-dispatch.go#L48

doDataLoop逻辑:

NewDataDispatchCenter方法中启动的doDataLoop,这个逻辑稍微复杂点。其实它的大致流程和doEventLoop,不同的是每个新增加的_CallbackBox,需要对当前接收并缓存的所有Event键值对进行处理。而doEventLoop是不会的,新增加的_CallbackBox,只会对在它之后接收的Event生效。下面的代码InitEvent(data.GET())很有意思。

  1. 首先InitEvent实现了IEvent接口,是一种IEvent。
  2. type InitEvent map[string]map[string][]byte (代码链接:https://github.com/eolinker/eosc/blob/main/common/dispatcher/data.go#L88)InitEvent是一个map,可以通过InitEvent(data.GET())初始化。
func (d *DataDispatchCenter) doDataLoop() {
   data := NewMyData(nil)
   channels := make([]*_CallbackBox, 0, 10)
   isInit := false
   for {
      select {
      case event, ok := <-d.eventChannel:
         if ok {
            isInit = true
            data.DoEvent(event)
            next := channels[:0]
            for _, c := range channels {
               if err := c.handler(event); err != nil {
                  close(c.closeChan)
                  continue
               }
               next = Append(next, c)
            }
            channels = next
         }
      case hbox, ok := <-d.addChannel:
         {
            if ok {
               if !isInit {
                  channels = append(channels, hbox)
               } else {
                  if err := hbox.handler(InitEvent(data.GET())); err == nil {
                     channels = append(channels, hbox)
                  }
               }
            }
         }
      }

   }
}

应用

创建EventServer

type EventServer struct {
   IDispatchCenter
}
func NewEventServer() *EventServer {
	es := &EventServer{
		IDispatchCenter: NewDataDispatchCenter(),
	}
	return es
}

定义事件

type MyEvent struct {
	namespace string
	key       string
	event     string
	data      []byte
}

func (m *MyEvent) Namespace() string {
	return m.namespace
}

func (m *MyEvent) Event() string {
	return m.event
}

func (m *MyEvent) Key() string {
	return m.key
}

func (m *MyEvent) Data() []byte {
	return m.data
}

定义Handler并注册

func Handler(e IEvent) error {
   //根据自己的业务要求
}
es.Register(Handler)

发送事件

es.Send(&MyEvent{
   namespace: "a",
   key:       "b",
   event:     "set",
   data:      []byte(fmt.Sprint(index)),
})


Tags:dispatcher   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
背景在实际项目中,我们经常需要异步处理事件与数据。比如MVC模型中处理请求的Filter链,又如在nginx中或是linux的iptables中,都会有一个处理链条,来一步步的顺序处理一个请求。...【详细内容】
2023-01-19  Tags: dispatcher  点击:(0)  评论:(0)  加入收藏
▌简易百科推荐
背景在实际项目中,我们经常需要异步处理事件与数据。比如MVC模型中处理请求的Filter链,又如在nginx中或是linux的iptables中,都会有一个处理链条,来一步步的顺序处理一个请求。...【详细内容】
2023-01-19  研道鸠摩智  今日头条  Tags:dispatcher   点击:(0)  评论:(0)  加入收藏
你好,我是陈皓,网名左耳朵耗子。之前,作为 Go 语言的三位创始人之一,Unix 老牌黑客罗勃&middot;派克(Rob Pike)在文章“Go: Ten years and climbing”中,回顾了 Go 语言的发展历程...【详细内容】
2022-12-08  洁仔学编程    Tags:Go语言   点击:(7)  评论:(0)  加入收藏
请遵守法律法规,文章旨在提高安全软件的应变策略,严禁非法使用。整体利用思路:生成器生成AES加密的Shellcode, 加载器代码中无Shellcode,参数接受。1. 生成shellcode以下以cs为...【详细内容】
2022-12-01  区块软件开发  今日头条  Tags:golang   点击:(75)  评论:(0)  加入收藏
一、工具介绍Golang免杀马生成工具,在重复造轮子的基础上尽可能多一点自己的东西,最重要的loader部分参考其他作者。相较其他免杀工具具备以下优势:1、使用fyne的GUI界面,不算难...【详细内容】
2022-11-27  区块软件开发    Tags:Go语言   点击:(49)  评论:(0)  加入收藏
梦晨 发自 凹非寺量子位 | 公众号 QbitAIGo语言本来就以轻量快速著称,一位GitHub员工却偶然发现:只改变一个字符的位置,能把一段代码运行速度提高足足42%。 简直就像是&hellip...【详细内容】
2022-11-21  量子位  今日头条  Tags:Go   点击:(58)  评论:(0)  加入收藏
1.使用值为 nil 的 slice、map会发生啥允许对值为 nil 的 slice 添加元素,但绝对值为 nil 的 map 添加元素,则会造成运行迟缓 panic。// map 错误示例func main() { var m...【详细内容】
2022-10-31  会写代码的猴子  今日头条  Tags:go基础   点击:(60)  评论:(0)  加入收藏
项目介绍 功能模块介绍 产品特色 OpenIM优势 架构介绍 系统截图 开源地址https://gitee.com/mirrors/OpenIM...【详细内容】
2022-10-16  互联共商   网易号  Tags:Go   点击:(144)  评论:(0)  加入收藏
Go语言面试问得最多的面试题new 和 make 的区别首先我们得知道,Go分为数据类型分为值类型和引用类型,其中值类型是 int、float、string、bool、struct和array,它们直接存储值,...【详细内容】
2022-10-14  奇幻小鱼k  今日头条  Tags:GO   点击:(309)  评论:(0)  加入收藏
写在前边:国内有很多的邮件服务商,尤其几个大的云厂商都有非常成熟的邮件推送服务,如果可以的话,建议大家直接使用国内云厂商的服务。我们公司因为做的国际业务,很多东西都在亚马...【详细内容】
2022-09-27  全栈社畜小吉  今日头条  Tags:Golang   点击:(150)  评论:(0)  加入收藏
第一章 Go语言基础 1.1 开发环境搭建1.1.1 Go语言下载安装 下载地址:https://go.dev/dl/下载对应的安装包,没有合适可以下载go的源码,这里以windos为例;下载好后,按照提示进行安...【详细内容】
2022-09-18  月初影视解说   网易号  Tags:GO   点击:(69)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条