您当前的位置:首页 > 电脑百科 > 数据库 > MYSQL

Mysql和Elasticsearch的数据同步

时间:2022-06-30 14:31:53  来源:  作者:Java热点

Elasticsearch的数据来自MySQL数据库中,所以当我们的MySQL发生改变时,Elasticsearch也要跟着改变,这时候我们的es的数据就要和mysql同步了

同步实现思路

常见的数据同步方案有三种:

  • 同步调用
  • 异步通知
  • 监听binlog

方案一:

Mysql和Elasticsearch的数据同步

 

  • hotel-demo对外提供接口,用来修改elasticsearch中的数据
  • 酒店管理服务在完成数据库操作后,直接调用hotel-demo提供的接口,

也就是说MySQL修改完去修改es的数据

  • 优点:实现简单,粗暴
  • 缺点:业务耦合度高

方案二

Mysql和Elasticsearch的数据同步

 

  • hotel-admin对mysql数据库数据完成增、删、改后,发送MQ消息
  • hotel-demo监听MQ,接收到消息后完成elasticsearch数据修改
  • 优点:低耦合,实现难度一般
  • 缺点:依赖mq的可靠性
  • 这个实现方式也就是使用mq进行操纵,当我们修改MySQL的服务器修改完以后会将信息发送给MQ,然后修改ES的会进行监听,当监听到了以后就进行修改es的操作

方式三:

Mysql和Elasticsearch的数据同步

 

  • 给mysql开启binlog功能
  • mysql完成增、删、改操作都会记录在binlog中
  • hotel-demo基于canal监听binlog变化,实时更新elasticsearch中的内容
  • 也就是监听mysql,如果MySQL的数据有变化那么就直接去改变es的数据
  • 优点:完全解除服务间耦合
  • 缺点:开启binlog增加数据库负担、实现复杂度高

在这里使用的是第二种实现方案:使用MQ来写

同步案例代码

用来操控ES的代码(负责监听MQ队列)

/**
     * 监听增加和修改的队列
     * 因为我们的ES中可以进行全量修改,当有这个id的数据的时候那么就先删除再新增,没有这个数据那么就直接新增
     * 所以队列过来的id不管是新增还是修改es都可以判断如果有这个数据id那么就先删除再新增,如果没有这个数据就直接新增,所以新增和修改他俩用一个方法就行了
     *
     * @param id 队列中需要进行操作的id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = MqConstants.HOTEL_INSERT_QUEUE),
            exchange = @Exchange(name = MqConstants.HOTEL_EXCHANGE, type = ExchangeTypes.DIRECT),
            key = MqConstants.HOTEL_INSERT_KEY
    ))
    public void insertAndUpdate(Long id) {
        if (id == null) {
            return;
        }
        log.info("入参:{}", id);
        //监听到以后拿到id去数据库查询整个数据
        Hotel hotel = iHotelService.getById(id);
        //因为查的mysql数据和es的数据有些不一样所以需要做转换
        HotelDoc hotelDoc = new HotelDoc(hotel);
        //转换为json
        String hotelDocJson = JSON.toJSONString(hotelDoc);
        System.out.println("hotelDocJson = " + hotelDocJson);
        //发送到ES中,因为我们的ES中可以进行全量修改,当有这个id的数据的时候那么就先删除再新增,没有这个数据那么就直接新增
        //创建请求语义对象 添加文档数据
        IndexRequest request = new IndexRequest("hotel");
        //这个新增就是PUT在es中
        request.id(hotel.getId().toString()).source(hotelDocJson, XContentType.JSON);
        //发送请求
        try {
            IndexResponse response = client.index(request, RequestOptions.DEFAULT);
            RestStatus status = response.status();
            log.info("响应结果为:{}", status);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 监听删除队列
     *
     * @param id 队列中需要进行操作的id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = MqConstants.HOTEL_DELETE_QUEUE),
            exchange = @Exchange(name = MqConstants.HOTEL_EXCHANGE, type = ExchangeTypes.DIRECT),
            key = MqConstants.HOTEL_DELETE_KEY
    ))
    public void deleteByMqId(Long id) {
        if (id == null) {
            return;
        }
        log.info("入参:{}", id);
        //先创建语义对象,直接就可以给里面写id的字段
        DeleteRequest request = new DeleteRequest("hotel", id.toString());
        //发送请求
        try {
            DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);
            RestStatus status = response.status();
            log.info("响应结果为:{}", status);
        } catch (IOException e) {
            e.printStackTrace();
        }

用来操作MySQL的代码:

@RestController
@RequestMApping("hotel")
public class HotelController {

    //注入和RabbitMQ链接
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Autowired
    private IHotelService hotelService;

    @GetMapping("/{id}")
    public Hotel queryById(@PathVariable("id") Long id) {
        return hotelService.getById(id);
    }

    @GetMapping("/list")
    public PageResult hotelList(
            @RequestParam(value = "page", defaultValue = "1") Integer page,
            @RequestParam(value = "size", defaultValue = "1") Integer size
    ) {
        Page<Hotel> result = hotelService.page(new Page<>(page, size));

        return new PageResult(result.getTotal(), result.getRecords());
    }

    @PostMapping
    public void saveHotel(@RequestBody Hotel hotel) {
        hotelService.save(hotel);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_INSERT_KEY, hotel.getId());
    }

    @PutMapping()
    public void updateById(@RequestBody Hotel hotel) {
        if (hotel.getId() == null) {
            throw new InvalidParameterException("id不能为空");
        }
        hotelService.updateById(hotel);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_INSERT_KEY, hotel.getId());
    }

    @DeleteMapping("/{id}")
    public void deleteById(@PathVariable("id") Long id) {
        hotelService.removeById(id);
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_DELETE_KEY, id);
    }
}

当然也是可以不使用注解来写,直接在配置文件中写队列绑定的交换机



Tags:数据同步   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
分布式架构中跨地域部署的数据同步和一致性问题
在Java项目的分布式架构中,如果需要实现跨地域部署,就会面临数据同步和一致性问题。由于网络延迟、带宽限制和地理位置差异等因素,分布式系统中的数据可能会发生不一致的情况。...【详细内容】
2023-10-26  Search: 数据同步  点击:(214)  评论:(0)  加入收藏
在SpringBoot中通过Canal实现MySQL与Redis的数据同步
环境:Springboot2.7.12 + MySQL81 环境准备master: 192.168.2.129slave: 192.168.2.130使用Docker安装MySQL,这里Docker安装省略,网上一堆教程。Docker安装完成后,安装MySQL。安...【详细内容】
2023-09-26  Search: 数据同步  点击:(377)  评论:(0)  加入收藏
实时数据同步解决方案:Java开发者的MySQL CDC技术
随着互联网和大数据时代的到来,实时数据同步成为了许多企业面临的挑战。下面将介绍一种基于Change Data Capture(CDC)技术的解决方案,针对Java开发者在MySQL数据库中实现实时数...【详细内容】
2023-09-08  Search: 数据同步  点击:(219)  评论:(0)  加入收藏
系统架构设计之数据同步策略
一、介绍1、分布式系统中的数据同步定义数据同步犹如合唱团里的B角歌手。设想你正在观看音乐会,突然,主唱失声。如果有B角歌手,那么音乐会仍能继续。在计算机领域,数据同步就是...【详细内容】
2023-08-16  Search: 数据同步  点击:(288)  评论:(0)  加入收藏
SpringBoot使用Canal做MySQL与Redis的数据同步
mysql-bin.000003 是首次配置的,如果master节点重启了,这个文件会递增变为mysql-bin.000004,这时我们的从节点会自动连上这mysql-bin.000004。环境:Springboot2.7.8 + MySQL81...【详细内容】
2023-05-31  Search: 数据同步  点击:(245)  评论:(0)  加入收藏
redis做mysql的缓存,怎么把redis数据和mysql数据同步
一、为什么使用缓存?当网站的处理和访问量非常大的时候,我们的数据库的压力就变大了,数据库的连接池,数据库同时处理数据的能力就会受到很大的挑战,一旦数据库承受了其最大承受能...【详细内容】
2023-05-30  Search: 数据同步  点击:(188)  评论:(0)  加入收藏
几个基于CDC实时同步数据的开源组件,让你的数据同步更实时
数据库CDC是一种非常有用的技术,它能够提供实时性、可靠性、灵活性、高效性和易用性等优势,为企业提供了更好的数据管理和应用价值。接下来就分享几个CDC相关的开源项目。数据...【详细内容】
2023-05-04  Search: 数据同步  点击:(435)  评论:(0)  加入收藏
开源:一款开源的数据同步中间件DBSyncer
简介DBSyncer是一款开源的数据同步中间件,提供Mysql、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提...【详细内容】
2022-07-26  Search: 数据同步  点击:(829)  评论:(0)  加入收藏
详谈数据同步工具ETL、ELT,反向ETL
什么是数据同步工具?数据同步工具的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决...【详细内容】
2022-07-21  Search: 数据同步  点击:(343)  评论:(0)  加入收藏
Mysql和Elasticsearch的数据同步
Elasticsearch的数据来自Mysql数据库中,所以当我们的MySQL发生改变时,Elasticsearch也要跟着改变,这时候我们的es的数据就要和mysql同步了同步实现思路常见的数据同步方案有三...【详细内容】
2022-06-30  Search: 数据同步  点击:(369)  评论:(0)  加入收藏
▌简易百科推荐
MySQL 核心模块揭秘
server 层会创建一个 SAVEPOINT 对象,用于存放 savepoint 信息。binlog 会把 binlog offset 写入 server 层为它分配的一块 8 字节的内存里。 InnoDB 会维护自己的 savepoint...【详细内容】
2024-04-03  爱可生开源社区    Tags:MySQL   点击:(10)  评论:(0)  加入收藏
MySQL 核心模块揭秘,你看明白了吗?
为了提升分配 undo 段的效率,事务提交过程中,InnoDB 会缓存一些 undo 段。只要同时满足两个条件,insert undo 段或 update undo 段就能被缓存。1. 关于缓存 undo 段为了提升分...【详细内容】
2024-03-27  爱可生开源社区  微信公众号  Tags:MySQL   点击:(18)  评论:(0)  加入收藏
MySQL:BUG导致DDL语句无谓的索引重建
对于5.7.23之前的版本在评估类似DDL操作的时候需要谨慎,可能评估为瞬间操作,但是实际上线的时候跑了很久,这个就容易导致超过维护窗口,甚至更大的故障。一、问题模拟使用5.7.22...【详细内容】
2024-03-26  MySQL学习  微信公众号  Tags:MySQL   点击:(14)  评论:(0)  加入收藏
从 MySQL 到 ByteHouse,抖音精准推荐存储架构重构解读
ByteHouse是一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,可以通过增加服务器数量来提升处理能力。本文将从兴趣圈层...【详细内容】
2024-03-22  字节跳动技术团队    Tags:ByteHouse   点击:(29)  评论:(0)  加入收藏
MySQL自增主键一定是连续的吗?
测试环境:MySQL版本:8.0数据库表:T (主键id,唯一索引c,普通字段d)如果你的业务设计依赖于自增主键的连续性,这个设计假设自增主键是连续的。但实际上,这样的假设是错的,因为自增主键不...【详细内容】
2024-03-10    dbaplus社群  Tags:MySQL   点击:(15)  评论:(0)  加入收藏
准线上事故之MySQL优化器索引选错
1 背景最近组里来了许多新的小伙伴,大家在一起聊聊技术,有小兄弟提到了MySQL的优化器的内部策略,想起了之前在公司出现的一个线上问题,今天借着这个机会,在这里分享下过程和结论...【详细内容】
2024-03-07  转转技术  微信公众号  Tags:MySQL   点击:(33)  评论:(0)  加入收藏
MySQL数据恢复,你会吗?
今天分享一下binlog2sql,它是一款比较常用的数据恢复工具,可以通过它从MySQL binlog解析出你要的SQL,并根据不同选项,可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。主要...【详细内容】
2024-02-22  数据库干货铺  微信公众号  Tags:MySQL   点击:(54)  评论:(0)  加入收藏
如何在MySQL中实现数据的版本管理和回滚操作?
实现数据的版本管理和回滚操作在MySQL中可以通过以下几种方式实现,包括使用事务、备份恢复、日志和版本控制工具等。下面将详细介绍这些方法。1.使用事务:MySQL支持事务操作,可...【详细内容】
2024-02-20  编程技术汇    Tags:MySQL   点击:(56)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  数据库干货铺  微信公众号  Tags:MySQL   点击:(56)  评论:(0)  加入收藏
mysql索引失效的场景
MySQL中索引失效是指数据库查询时无法有效利用索引,这可能导致查询性能显著下降。以下是一些常见的MySQL索引失效的场景:1.使用非前导列进行查询: 假设有一个复合索引 (A, B)。...【详细内容】
2024-01-15  小王爱编程  今日头条  Tags:mysql索引   点击:(88)  评论:(0)  加入收藏
站内最新
站内热门
站内头条