您当前的位置:首页 > 电脑百科 > 程序开发 > 开源程序 > 百科

开源:一款开源的数据同步中间件DBSyncer

时间:2022-07-26 09:30:00  来源:  作者:率真IT民工
开源:一款开源的数据同步中间件DBSyncer

 

简介

DBSyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

特点

组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系

实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志

开发插件,自定义转化同步逻辑

应用场景

连接器数据源目标源支持版本(包含以下)

Mysql ✔✔ 5.7.19以上

Oracle ✔✔Oracle 10gR2 -11g

SqlServer ✔✔2008以上

PostgreSQL✔✔9.5.25以上

ES ✔✔6.0以上

Kafka开发中 ✔2.10-0.9.0.0以上

File ✔✔*.txt, *.unl

SQL ✔支持以上关系型数据库

后期计划redis

安装配置

步骤

  1. 安装JDK 1.8(省略详细)
  2. 下载安装包DBSyncer-1.0.0-Beta.zip(也可手动编译)
  3. 解压安装包,Window执行bin/startup.bat,linux执行bin/startup.sh
  4. 打开浏览器访问:http://127.0.0.1:18686
  5. 账号和密码:admin/admin
  6. 增量同步配置(源库)

Mysql

Dump Binlog二进制日志。Master同步Slave, 创建IO线程读取数据,写入relaylog,基于消息订阅捕获增量数据。

修改my.ini文件,重启服务

#服务唯一ID

server_id=1

log-bin=mysql_bin

binlog-format=ROW

max_binlog_cache_size = 256M

max_binlog_size = 512M

expire_logs_days = 7

#监听同步的库, 多个库使用英文逗号“,”拼接

replicate-do-db=test

Oracle

CDN注册订阅。监听增删改事件,得到rowid,根据rowid执行SQL查询,得到变化数据。

1、授予账号监听权限, 同时要求目标源表必须定义一个长度为18的varchar字段,通过接收rowid值实现增删改操作。

grant change notification to 你的账号

2、账号必须是监听表的OWNER

SELECT OBJECT_ID, OBJECT_NAME, OWNER FROM ALL_OBJECTS WHERE OBJECT_TYPE = 'TABLE' AND OWNER='你的账号';

DCN账号

SqlServer

SQL Server 2008提供了内建的方法变更数据捕获(Change Data Capture 即CDC)以实现异步跟踪用户表的数据修改。

要求2008版本以上, 启动代理服务(Agent服务), 连接账号具有 sysadmin 固定服务器角色或 db_owner 固定数据库角色的成员身份。对于所有其他用户,具有源表SELECT 权限;如果已定义捕获实例的访问控制角色,则还要求具有该数据库角色的成员身份。

PostgreSQL

通过复制流技术监听增量事件,基于内置插件pgoutput、test_decoding实现解析wal日志

修改postgresql.conf文件,重启服务

wal_level=logical

File

监听文件修改时间得到变化文件,通过文件偏移量读取最新数据

监听文件实现方案

ES

定时获取增量数据。

账号具有访问权限。

日志

建议Mysql、SqlServer、PostgreSQL都使用日志

 

开源:一款开源的数据同步中间件DBSyncer

 

定时

 

开源:一款开源的数据同步中间件DBSyncer

 


开源:一款开源的数据同步中间件DBSyncer

 

✨预览

 

开源:一款开源的数据同步中间件DBSyncer

驱动管理


开源:一款开源的数据同步中间件DBSyncer

驱动详情


开源:一款开源的数据同步中间件DBSyncer

驱动表字段关系配置


开源:一款开源的数据同步中间件DBSyncer

监控


开源:一款开源的数据同步中间件DBSyncer

上传插件

设计

 

开源:一款开源的数据同步中间件DBSyncer

架构

开源地址

https://gitee.com/ghi/dbsyncer



Tags:DBSyncer   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
开源:一款开源的数据同步中间件DBSyncer
简介DBSyncer是一款开源的数据同步中间件,提供Mysql、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提...【详细内容】
2022-07-26  Search: DBSyncer  点击:(829)  评论:(0)  加入收藏
▌简易百科推荐
GitHub顶流"Web OS"——运行于浏览器的桌面操作系统、用户超100万、原生jQuery和JS编写
Puter 是近日在 GitHub 上最受欢迎的一款开源项目,正式开源还没到一周 ——star 数就已接近 7k。作者表示这个项目已开发 3 年,并获得了超过 100 万用户。根据介绍,P...【详细内容】
2024-03-10  OSC开源社区    Tags:GitHub   点击:(32)  评论:(0)  加入收藏
一文读懂 AutoGPT 开源 AI Agents
Hello folks,我是 Luga,今天我们继续来聊一下人工智能(AI)生态领域相关的技术 - AutoGPT AI Agents ,本文将聚焦在针对不同类型的 AutoGPT 技术进行解析,使得大家能够了解不同 A...【详细内容】
2023-11-27  架构驿站  微信公众号  Tags:AI Agents   点击:(259)  评论:(0)  加入收藏
了解一下开源许可协议
开源许可协议开源许可协议是指允许软件源代码公开、免费获取、使用、修改和分发的许可协议。开源许可协议的目的是促进软件的自由共享和协作,使得开发者可以共同改进和创造新...【详细内容】
2023-11-18  沐雨花飞蝶  微信公众号  Tags:开源   点击:(217)  评论:(0)  加入收藏
七个很实用的开源项目,我们一起学学吧!
本周特推的两个项目都是异常实用的项目,一个接棒上周的视频重制项目 video-retalking 这次则是直接将视频替换成另外一个语种;另外一个则是解决日志阅读问题的 tailspin,让你在...【详细内容】
2023-11-06  HelloGitHub  微信公众号  Tags:开源   点击:(388)  评论:(0)  加入收藏
八个适合程序员接私活赚钱的开源项目
智慧团购一套基于Spring Cloud和Vue.js的社区团购配送系统,经过真实的用户检验且完善的社区团购配送系统,社区团购配送系统包含管理台、集团总店(商家PC端)、城市合伙人、区域...【详细内容】
2023-10-13  前端充电宝  微信公众号  Tags:开源项目   点击:(276)  评论:(0)  加入收藏
八个优秀开源DevOps工具
DevOps(Development和Operations)是一组软件工程过程最佳实践,并非工具,旨在将制造世界的精益概念应用于软件世界。维基百科给出的定义是:“DevOps是一种重视软件开发人员(Dev)和IT...【详细内容】
2023-10-10  andflow  微信公众号  Tags:DevOps   点击:(291)  评论:(0)  加入收藏
开源存在风险的根本原因
漏洞仍然是可以预防的几乎所有(96%)的漏洞仍然是可以避免的。2023年本可以避免21亿次具有已知漏洞的OSS下载,因为有了更好的修复版本——与2022年的百分比完全相同...【详细内容】
2023-10-09     企业网D1Net  Tags:开源   点击:(301)  评论:(0)  加入收藏
中国14岁初中生,开源Windows 12网页版,star数近2k
出品 | OSC开源社区(ID:oschina2013)前几天在网上冲浪,发现名为「Windows 12 网页版」的开源项目——在网页端实现了Windows 12 的交互和 UI。项目亮点: 精美的 UI 设...【详细内容】
2023-09-07    OSC开源社区  Tags:开源   点击:(251)  评论:(0)  加入收藏
苹果开源FastViT:快速卷积Transformer的混合视觉架构
苹果此前在论文《FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization》中提出的 FastViT 架构已正式开源。论文地址:https://arxiv.org/pdf/23...【详细内容】
2023-08-16  OSC开源社区    Tags:FastViT   点击:(325)  评论:(0)  加入收藏
金融机构使用开源软件,有哪些潜在风险?
面对新技术,无法逃避,只有先行和后行,没有不执行。本文来自社区文章《论述金融机构使用开源软件的潜在风险》及对该文的评论交流,由社区同行分享,也欢迎大家参与探讨。@朱向东 中...【详细内容】
2023-08-14    IT168企业级  Tags:开源软件   点击:(284)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条