您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

一文看懂Redisson分布式锁的Watchdog机制源码实现

时间:2023-04-12 15:16:52  来源:今日头条  作者:Code404

一、 分布式锁简介

分布式锁是一种常见的协调分布式系统的机制,在分布式环境下保证数据的一致性和可用性。分布式锁的实现有很多种方式,其中较为常见的方式是利用redis实现分布式锁。

在使用 Redis 实现分布式锁时,我们通常使用 SET key value [EX seconds] [NX] 命令来给某个 key 设置一个具有过期时间的值作为锁。其中 EX 参数表示设置过期时间,当 Redis 客户端连接断开或者达到过期时间时,锁会自动失效。但是,在一些特殊情况下,由于网络波动等原因,我们可能无法及时续期更新锁的过期时间,这会导致锁在没有被显式释放的情况下过期,从而引发并发问题。

Redisson 的看门狗就是为了解决这个问题而设计的。它会在获取锁之后启动一个后台任务定期地对锁进行“续期”,即更新锁的过期时间。具体来说,每次启动续期任务时,会通过 set(key, value, XX, PX, ttl) 命令更新锁的过期时间,同时记录该任务与锁的对应关系。在锁释放或过期时,会取消相应的续期任务,从而保证锁的有效性。

二、 Redisson分布式锁的看门狗源码分析

Redisson 的 RedissonLock 类主要通过下面五个方法实现Watchdog机制:

  • tryAcquireAsync
  • scheduleExpirationRenewal
  • renewExpiration
  • renewExpirationAsync
  • cancelExpirationRenewal

下面讲解各个方法的源码片段

1. tryAcquireAsync

private <T> RFuture<Long> tryAcquireAsync(long leaseTime, TimeUnit unit, long threadId) {
    // 如果设置了超时时间,调用 tryLockInnerAsync 方法尝试加锁并设置过期时间。
    if (leaseTime != -1) {
        return tryLockInnerAsync(leaseTime, unit, threadId, RedisCommands.EVAL_LONG);
    }

    // 否则仅获取锁,并返回剩余时间。
    // 计算剩余过期时间
    RFuture<Long> ttlRemAIningFuture = tryLockInnerAsync(commandExecutor.getConnectionManager().getCfg().getLockWatchdogTimeout(),
            TimeUnit.MILLISECONDS, threadId, RedisCommands.EVAL_LONG);

    // 当获取剩余过期时间的异步操作完成后,判断是否获取到锁,如果获取到,开始定时任务自动续期
    ttlRemainingFuture.onComplete((ttlRemaining, e) -> {
        if (e != null) {
            return;
        }
        // 如果返回值为 null 表示已经拥有锁
        if (ttlRemaining == null) {
            // 开始定期检查锁是否过期,如果没有过期则续期
            scheduleExpirationRenewal(threadId);
        }
    });
    return ttlRemainingFuture;
}

Redisson在lock方法执行时,会调用tryAcquireAsync方法获取锁,在获取到锁时,上面示例代码种会调用scheduleExpirationRenewal(threadId)方法,开启定时检查是否过期和自动续期的定时任务,这里其实就是看门狗机制的创建点。

2. scheduleExpirationRenewal

private void scheduleExpirationRenewal(long threadId) {
    ExpirationEntry entry = new ExpirationEntry();

    // 在 EXPIRATION_RENEWAL_MAP 中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中。
    ExpirationEntry oldEntry = EXPIRATION_RENEWAL_MAP.putIfAbsent(getEntryName(), entry);
    if (oldEntry != null) {
        oldEntry.addThreadId(threadId);
    } else { // 如果该键名不存在,则添加一个新的键值对,并执行 renewExpiration() 方法续约该锁的过期时间。
        entry.addThreadId(threadId);
        renewExpiration();
    }
}

当一个线程获取到锁时,会调用 scheduleExpirationRenewal() 方法向 EXPIRATION_RENEWAL_MAP (ConcurrentHashMap 对象)中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中;否则,添加一个新的键值对,并调用 renewExpiration() 方法续约该锁的过期时间。

3. renewExpiration

private void renewExpiration() {
    // 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
    ExpirationEntry ee = EXPIRATION_RENEWAL_MAP.get(getEntryName());
    if (ee == null) {
        return;
    }

    // 创建一个定时任务(Timeout),在线程持有该锁时执行续期操作。
    Timeout task = commandExecutor.getConnectionManager().newTimeout(new TimerTask() {
        @Override
        public void run(Timeout timeout) throws Exception {
            ExpirationEntry ent = EXPIRATION_RENEWAL_MAP.get(getEntryName());
            if (ent == null) {
                return;
            }
            Long threadId = ent.getFirstThreadId();
            if (threadId == null) {
                return;
            }

            // 异步更新锁的过期时间,并在操作完成后进行回调处理。
            RFuture<Boolean> future = renewExpirationAsync(threadId);
            future.onComplete((res, e) -> {
                if (e != null) {
                    log.error("Can't update lock " + getName() + " expiration", e);
                    return;
                }

                // 如果续期成功,则重新安排定时任务
                if (res) {
                    renewExpiration();
                }
            });
        }
    }, internalLockLeaseTime / 3, TimeUnit.MILLISECONDS); // 定时任务的间隔为锁到期时间的三分之一

    // 将该定时任务存储在 ExpirationEntry 实体中,方便后续处理。
    ee.setTimeout(task);
}

在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,创建一个新的定时任务,该任务会在 internalLockLeaseTime / 3 毫秒后执行,并尝试异步更新锁的过期时间。如果更新成功,则会再次调用 renewExpiration() 方法,以便持续延长锁的过期时间。这个定时任务通俗的讲就是所谓的看门狗。当然,这里更新过期时间的操作是通过调用 renewExpirationAsync() 实现的,它仍然是一个异步操作。

4. renewExpirationAsync

protected RFuture<Boolean> renewExpirationAsync(long threadId) {
    // 使用 evalWriteAsync 方法执行 EVAL 命令
    return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_BOOLEAN,
            // EVAL 命令的脚本,根据给定的键和参数进行判断和更新
            "if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then " +
                // 如果指定的键和参数都存在,则续约该键的过期时间
                "redis.call('pexpire', KEYS[1], ARGV[1]); " +
                // 并返回操作成功的标志
                "return 1; " +
            "end; " +
            // 如果指定的键和参数不匹配,则返回操作失败的标志
            "return 0;",
        // EVAL 命令中用到的键
        Collections.<Object>singletonList(getName()), 
        // 续约的过期时间,在 Redisson 中为 internalLockLeaseTime
        internalLockLeaseTime, 
        // 获取锁的名称,由线程 ID 和当前 Redisson 实例 ID 组成
        getLockName(threadId)
    );
}

此方法主要是用于在获取分布式锁的情况下,对锁的过期时间进行续约的操作。其中,
RedisCommands.EVAL_BOOLEAN 代表执行 EVAL 命令后返回的数据类型为 Boolean 类型;getKey() 方法用于获取锁的名称,该名称由锁的前缀和锁的 ID 组成;getLockName(threadId) 方法用于获取当前线程获取锁后的锁名称,之所以要使用当前 Redisson 实例 ID 与线程 ID 组合作为锁名称,是为了确保在多个 Redisson 实例下,所有线程都能够正确地获取到锁名并正确地执行续约操作。

5.cancelExpirationRenewal

void cancelExpirationRenewal(Long threadId) {
    // 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
    ExpirationEntry task = EXPIRATION_RENEWAL_MAP.get(getEntryName());
    if (task == null) {
        return;
    }

    // 如果传入了调用者线程 ID,则从任务中移除该线程 ID。
    if (threadId != null) {
        task.removeThreadId(threadId);
    }

    // 如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。
    if (threadId == null || task.hasNoThreads()) {
        Timeout timeout = task.getTimeout();
        if (timeout != null) {
            timeout.cancel(); // 取消定时任务
        }
        EXPIRATION_RENEWAL_MAP.remove(getEntryName()); // 从 EXPIRATION_RENEWAL_MAP 中删除实体
    }
}

这个方法主要是用于取消延长锁过期时间的定时任务。当一个线程在unlock释放锁时,便会调用这个方法。在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,如果传入了调用者线程 ID,则从任务中移除该线程 ID。接着,如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。需要注意的是,取消定时任务的操作是通过调用 timeout.cancel() 实现的,它会将定时任务从时间轮中移除。由于 Redisson 是基于.NETty 的,所以它使用的是 HashedWheelTimer,这个定时器底层是基于时间轮实现的,并且支持动态添加和删除定时任务。

三、 使用注意事项

使用Redisson分布式锁的看门狗应注意以下几个问题:

  • 设置合理的锁超时时间:如果锁的超时时间过短,则会导致频繁续命和多次加锁解锁,影响程序性能;如果锁的超时时间过长,则可能会因为某些异常原因使得锁无法释放,从而导致死锁。
  • 在业务逻辑完成后及时启动看门狗:如果业务逻辑执行时间过长,则有可能导致锁的过期,从而使看门狗失去续命的意义。
  • 合理配置看门狗的参数:看门狗的续命时间间隔应该在锁的过期时间内,且重试次数不宜过多,以免影响程序性能。
  • 避免锁的嵌套使用:锁的嵌套使用有可能导致死锁或者其他并发问题,应避免使用。


Tags:分布式锁   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
在Redis中如何实现分布式锁的防死锁机制?
在Redis中实现分布式锁是一个常见的需求,可以通过使用Redlock算法来防止死锁。Redlock算法是一种基于多个独立Redis实例的分布式锁实现方案,它通过协调多个Redis实例之间的锁...【详细内容】
2024-02-20  Search: 分布式锁  点击:(49)  评论:(0)  加入收藏
手动撸一个 Redis 分布式锁
大家好呀,我是楼仔。今天第一天开工,收拾心情,又要开始好好学习,好好工作了。对于使用 Java 的小伙伴,其实我们完全不用手动撸一个分布式锁,直接使用 Redisson 就行。但是因为这些...【详细内容】
2024-02-19  Search: 分布式锁  点击:(40)  评论:(0)  加入收藏
Redis分布式锁常见坑点分析
日常开发中,基于 Redis 天然支持分布式锁,大家在线上分布式项目中都使用过 Redis 锁。本文主要针对日常开发中加锁过程中某些异常场景进行讲解与分析。本文讲解示例代码都在 h...【详细内容】
2023-12-11  Search: 分布式锁  点击:(111)  评论:(0)  加入收藏
一文详解分布式锁的看门狗机制
我们今天来看看这个 Redis 的看门狗机制,毕竟现在还是有很多是会使用 Redis 来实现分布式锁的,我们现在看看这个 Redis 是怎么实现分布式锁的,然后我们再来分析这个 Redis 的看...【详细内容】
2023-11-29  Search: 分布式锁  点击:(217)  评论:(0)  加入收藏
全新的分布式锁,功能简单且强大
作者:donnie4w链接:https://my.oschina.net/donnie4w/blog/10114233前言:分布式锁是分布式系统中一个极为重要的工具。目前有多种分布式锁的设计方案,比如借助 redis,mq,数据库,zoo...【详细内容】
2023-10-30  Search: 分布式锁  点击:(268)  评论:(0)  加入收藏
Redis分布式锁失效,数据是否仍存在于内存中?
正文大家好,我是小米,欢迎来到小米的技术分享!今天,我要和大家一起探讨一个有趣而又深奥的话题:Redis分布式锁失效了,数据还存在Redis内存中吗?这个问题在面试中经常被提出,也是我们...【详细内容】
2023-10-11  Search: 分布式锁  点击:(321)  评论:(0)  加入收藏
Redis魔法:点燃分布式锁的奇妙实现
分布式锁是一种用于在分布式系统中控制对共享资源的访问的锁。它与传统的单机锁不同,因为它需要在多个节点之间协调以确保互斥访问。本文将介绍什么是分布式锁,以及使用Redis...【详细内容】
2023-10-11  Search: 分布式锁  点击:(248)  评论:(0)  加入收藏
分布式锁,原来这么简单!
作者 | 蔡柱梁审校 | 重楼目录 分布式锁介绍 如何实现分布式锁 实现分布式锁1 分布式锁介绍现在的服务往往都是多节点,在一些特定的场景下容易产生并发问题,比如扣减库存,送完...【详细内容】
2023-09-22  Search: 分布式锁  点击:(234)  评论:(0)  加入收藏
lua+redis:分布式锁解决方案分享
介绍当我们涉及到多进程或多节点的分布式系统时,传统的单机锁机制不再足够应对并发控制的需求。这是因为在分布式环境中,多个进程或节点同时访问共享资源,传统锁无法有效地协调...【详细内容】
2023-09-13  Search: 分布式锁  点击:(342)  评论:(0)  加入收藏
分布式锁的3种实现!
分布式锁是一种用于保证分布式系统中多个进程或线程同步访问共享资源的技术。同时它又是面试中的常见问题,所以我们本文就重点来看分布式锁的具体实现(含实现代码)。在分布式系...【详细内容】
2023-09-13  Search: 分布式锁  点击:(310)  评论:(0)  加入收藏
▌简易百科推荐
Netflix 是如何管理 2.38 亿会员的
作者 | Surabhi Diwan译者 | 明知山策划 | TinaNetflix 高级软件工程师 Surabhi Diwan 在 2023 年旧金山 QCon 大会上发表了题为管理 Netflix 的 2.38 亿会员 的演讲。她在...【详细内容】
2024-04-08    InfoQ  Tags:Netflix   点击:(0)  评论:(0)  加入收藏
即将过时的 5 种软件开发技能!
作者 | Eran Yahav编译 | 言征出品 | 51CTO技术栈(微信号:blog51cto) 时至今日,AI编码工具已经进化到足够强大了吗?这未必好回答,但从2023 年 Stack Overflow 上的调查数据来看,44%...【详细内容】
2024-04-03    51CTO  Tags:软件开发   点击:(6)  评论:(0)  加入收藏
跳转链接代码怎么写?
在网页开发中,跳转链接是一项常见的功能。然而,对于非技术人员来说,编写跳转链接代码可能会显得有些困难。不用担心!我们可以借助外链平台来简化操作,即使没有编程经验,也能轻松实...【详细内容】
2024-03-27  蓝色天纪    Tags:跳转链接   点击:(13)  评论:(0)  加入收藏
中台亡了,问题到底出在哪里?
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之...【详细内容】
2024-03-27  dbaplus社群    Tags:中台   点击:(9)  评论:(0)  加入收藏
员工写了个比删库更可怕的Bug!
想必大家都听说过删库跑路吧,我之前一直把它当一个段子来看。可万万没想到,就在昨天,我们公司的某位员工,竟然写了一个比删库更可怕的 Bug!给大家分享一下(不是公开处刑),希望朋友们...【详细内容】
2024-03-26  dbaplus社群    Tags:Bug   点击:(5)  评论:(0)  加入收藏
我们一起聊聊什么是正向代理和反向代理
从字面意思上看,代理就是代替处理的意思,一个对象有能力代替另一个对象处理某一件事。代理,这个词在我们的日常生活中也不陌生,比如在购物、旅游等场景中,我们经常会委托别人代替...【详细内容】
2024-03-26  萤火架构  微信公众号  Tags:正向代理   点击:(11)  评论:(0)  加入收藏
看一遍就理解:IO模型详解
前言大家好,我是程序员田螺。今天我们一起来学习IO模型。在本文开始前呢,先问问大家几个问题哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步异步IO?什么是IO多路复用?select/epoll...【详细内容】
2024-03-26  捡田螺的小男孩  微信公众号  Tags:IO模型   点击:(9)  评论:(0)  加入收藏
为什么都说 HashMap 是线程不安全的?
做Java开发的人,应该都用过 HashMap 这种集合。今天就和大家来聊聊,为什么 HashMap 是线程不安全的。1.HashMap 数据结构简单来说,HashMap 基于哈希表实现。它使用键的哈希码来...【详细内容】
2024-03-22  Java技术指北  微信公众号  Tags:HashMap   点击:(11)  评论:(0)  加入收藏
如何从头开始编写LoRA代码,这有一份教程
选自 lightning.ai作者:Sebastian Raschka机器之心编译编辑:陈萍作者表示:在各种有效的 LLM 微调方法中,LoRA 仍然是他的首选。LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大...【详细内容】
2024-03-21  机器之心Pro    Tags:LoRA   点击:(12)  评论:(0)  加入收藏
这样搭建日志中心,传统的ELK就扔了吧!
最近客户有个新需求,就是想查看网站的访问情况。由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的...【详细内容】
2024-03-20  dbaplus社群    Tags:日志   点击:(4)  评论:(0)  加入收藏
站内最新
站内热门
站内头条