您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

数十万定时任务,如何高效触发定时和超时

时间:2023-11-07 13:59:57  来源:微信公众号  作者:二进制跳动

项目产品中,大家都会有"定时任务"和"定时超时"的需求,初始阶段,我们基本都是用少数的一些timer,即使是任务量越来越大的时候,我们就难免维护着大量的timer,或者进行了大量低效的扫描。

 

定时任务使用场景:当订单一直处于未支付状态时,如何及时的关闭订单(已经使用)

如何定期检查处于退款状态的订单是否已经退款成功(后期重构使用)

 

设计方案:

  • 整个redis当做消息池,以KV形式存储消息
  • 使用ZSET做优先队列,按照Score维持优先级
  • 使用LIST结构,以先进先出的方式消费
  • ZSET和LIST存储消息地址(对应消息池的每个KEY)
  • 使用定时器维护路由
  • 根据TTL规则实现消息延迟

 

咱们公司现阶段就是使用的这套方法:

1.新增一个job,会job_pool中插入一条数据,记录了业务方消费方。也会在bucket插入一条记录,记录执行的时间戳

2.搬运线程会去bucket中查找哪些执行时间戳的RunTimeMillis比现在的时间小,将这些记录全部删除;同时会解析出每个任务的Topic是什么,然后将这些任务PUSH到TOPIC对应的列表queue中

3每个topic的list都会有一个监听线程去批量获取list中的待消费数据,获取到的数据全部扔给这个topic的消费线程池

4.消费线程池执行会去job_pool查找数据结构,返回给回调结构,执行回调方法。

 

数十万定时任务,如何高效触发定时和超时图片

待优化的内容:

  1. 目前只有一个Queue队列存放消息,当需要消费的消息大量堆积后,会影响消息通知的时效。改进的办法是,开启多个Queue,进行消息路由,再开启多个消费线程进行消费,提供吞吐量
  2. 消息没有进行持久化,存在风险,后续会将消息持久化到MongoDB中

一般来说还有什么其他方法实现这类需求呢?

“轮询扫描法”

1.用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time

2.当某个用户uid有请求包来到,实时更新这个Map

3.启动一个timer,当Map中不为空时,轮询扫描这个Map,看每个uid的last_packet_time是否超过30s,如果超过则进行超时处理

 

“多timer触发法”

1.用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time

2.当某个用户uid有请求包来到,实时更新这个Map,并同时对这个uid请求包启动一个timer,30s之后触发

3.每个uid请求包对应的timer触发后,看Map中,查看这个uid的last_packet_time是否超过30s,如果超过则进行超时处理

方案一:只启动一个timer,但需要轮询,效率较低

方案二:不需要轮询,但每个请求包要启动一个timer,比较耗资源

 

ZSet(有序集合)数据结构来实现

  1. 创建ZSet:首先,你需要创建一个ZSet数据结构,其中每个订单将作为一个成员,其分数将表示订单的创建时间戳。你可以使用Redis等支持ZSet的数据库来实现。
  2. 添加订单:每当用户创建新订单时,将订单添加到ZSet中,其中成员是订单ID,分数是订单的创建时间戳。
  3. 定时检查订单:定期(例如,每分钟)执行一个程序或定时任务来检查ZSet中的订单。你可以使用程序来查询ZSet,找到创建时间超过一定时间阈值的订单,表示它们长时间未支付。
  4. 取消订单:对于那些长时间未支付的订单,可以将其从ZSet中删除,并执行取消订单的操作(例如,将订单状态设置为"已取消")。

 

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Tuple;
import JAVA.util.Set;


public class OrderCancellationSystem {
    public static void mAIn(String[] args) {
        Jedis jedis = new Jedis("localhost"); // 连接到本地Redis服务器


        // 模拟添加订单
        addOrder(jedis, "Order1");
        addOrder(jedis, "Order2");


        // 定时任务,每分钟检查订单并自动取消
        while (true) {
            cancelLongUnpaidOrders(jedis);
            try {
                Thread.sleep(60000); // 等待一分钟再次检查
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }


    public static void addOrder(Jedis jedis, String orderId) {
        long currentTime = System.currentTimeMillis();
        jedis.zadd("orders", currentTime, orderId);
    }


    public static void cancelOrder(String orderId) {
        // 执行取消订单操作,例如更新订单状态
        System.out.println("Cancelling order: " + orderId);
    }


    public static void cancelLongUnpaidOrders(Jedis jedis) {
        long expirationTime = System.currentTimeMillis() - 3600 * 1000; // 60分钟前的时间戳
        Set<Tuple> longUnpaidOrders = jedis.zrangeByScoreWithScores("orders", "-inf", String.valueOf(expirationTime));


        for (Tuple order : longUnpaidOrders) {
            String orderId = order.getElement();
            cancelOrder(orderId);
            jedis.zrem("orders", orderId); // 从ZSet中删除已取消的订单
        }
    }
}

 



Tags:定时任务   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
使用Linux定时器实现定时任务和计时器应用
使用Linux定时器可以实现多种定时任务和计时器应用,如定时执行脚本、定时发送消息、计时程序运行时间等。下面将详细介绍如何使用Linux定时器来实现这些功能。一、Linux定时...【详细内容】
2023-12-11  Search: 定时任务  点击:(219)  评论:(0)  加入收藏
Java与MongoDB的定时任务管理
构建一个高效的任务调度系统对于许多应用程序来说是至关重要的。下面将探讨如何使用Java和MongoDB来实现一个可靠且高效的定时任务管理系统。一、概述任务调度系统是一种将...【详细内容】
2023-11-16  Search: 定时任务  点击:(217)  评论:(0)  加入收藏
数十万定时任务,如何高效触发定时和超时
项目产品中,大家都会有"定时任务"和"定时超时"的需求,初始阶段,我们基本都是用少数的一些timer,即使是任务量越来越大的时候,我们就难免维护着大量的timer,或者进行了大量低效的扫...【详细内容】
2023-11-07  Search: 定时任务  点击:(289)  评论:(0)  加入收藏
Oracle 定时任务job实际应用
一、Oracle定时任务简介Oracle定时任务是在oracle系统中一个非常重要的子系统,运用得当,可以大大提高我们系统运行和维护能力。oracle定时任务的功能,可以在指定的时间点自行执...【详细内容】
2023-05-30  Search: 定时任务  点击:(132)  评论:(0)  加入收藏
40个定时任务!这次带你彻底理解 RocketMQ 设计精髓!
今天来分享 RocketMQ 的定时任务。通过这些定时任务,能让我们更加理解 RocketMQ 的消息处理机制和设计理念。从 RocketMQ 4.9.4 的源代码上看,RocketMQ 的定时任务有很多,今天...【详细内容】
2023-01-29  Search: 定时任务  点击:(202)  评论:(0)  加入收藏
分布式定时任务框架选型
为什么我们需要定时任务我们先思考下面几个业务场景的解决方案: 支付系统每天凌晨1点跑批,进行一天清算,每月1号进行上个月清算 电商整点抢购,商品价格8点整开始优惠 ...【详细内容】
2022-11-29  Search: 定时任务  点击:(200)  评论:(0)  加入收藏
linux服务器有木马后门如何排查定时任务计划
关于在linux在排查木马时查看定时任务,那定时任务是什么,其实它就是定时定点的执行Linux程序或者一个脚本。那如何创建定时任务,很简单,我们通过这个命令,每一个用户都可以创建自...【详细内容】
2022-09-08  Search: 定时任务  点击:(347)  评论:(0)  加入收藏
Java 定时任务技术趋势
定时任务是每个业务常见的需求,比如每分钟扫描超时支付的订单,每小时清理一次数据库历史数据,每天统计前一天的数据并生成报表等等。01Java 中自带的解决方案Cloud Native1使用...【详细内容】
2022-08-22  Search: 定时任务  点击:(415)  评论:(0)  加入收藏
主流定时任务解决方案全横评
定时任务作为一种按照约定时间执行预期逻辑的通用模式,在企业级开发中承载着丰富的业务场景,诸如后台定时同步数据生成报表,定时清理磁盘日志文件,定时扫描超时订单进行补偿回调...【详细内容】
2022-07-18  Search: 定时任务  点击:(384)  评论:(0)  加入收藏
一文教你实现Spring动态启停定时任务
为什么需要定时任务定时任务的应用场景十分广泛,如定时清理文件、定时生成报表、定时数据同步备份等。Java定时任务的原理jdk自带的库中,有两种技术可以实现定时任务,一种是Tim...【详细内容】
2022-06-23  Search: 定时任务  点击:(560)  评论:(0)  加入收藏
▌简易百科推荐
即将过时的 5 种软件开发技能!
作者 | Eran Yahav编译 | 言征出品 | 51CTO技术栈(微信号:blog51cto) 时至今日,AI编码工具已经进化到足够强大了吗?这未必好回答,但从2023 年 Stack Overflow 上的调查数据来看,44%...【详细内容】
2024-04-03    51CTO  Tags:软件开发   点击:(5)  评论:(0)  加入收藏
跳转链接代码怎么写?
在网页开发中,跳转链接是一项常见的功能。然而,对于非技术人员来说,编写跳转链接代码可能会显得有些困难。不用担心!我们可以借助外链平台来简化操作,即使没有编程经验,也能轻松实...【详细内容】
2024-03-27  蓝色天纪    Tags:跳转链接   点击:(12)  评论:(0)  加入收藏
中台亡了,问题到底出在哪里?
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之...【详细内容】
2024-03-27  dbaplus社群    Tags:中台   点击:(8)  评论:(0)  加入收藏
员工写了个比删库更可怕的Bug!
想必大家都听说过删库跑路吧,我之前一直把它当一个段子来看。可万万没想到,就在昨天,我们公司的某位员工,竟然写了一个比删库更可怕的 Bug!给大家分享一下(不是公开处刑),希望朋友们...【详细内容】
2024-03-26  dbaplus社群    Tags:Bug   点击:(5)  评论:(0)  加入收藏
我们一起聊聊什么是正向代理和反向代理
从字面意思上看,代理就是代替处理的意思,一个对象有能力代替另一个对象处理某一件事。代理,这个词在我们的日常生活中也不陌生,比如在购物、旅游等场景中,我们经常会委托别人代替...【详细内容】
2024-03-26  萤火架构  微信公众号  Tags:正向代理   点击:(10)  评论:(0)  加入收藏
看一遍就理解:IO模型详解
前言大家好,我是程序员田螺。今天我们一起来学习IO模型。在本文开始前呢,先问问大家几个问题哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步异步IO?什么是IO多路复用?select/epoll...【详细内容】
2024-03-26  捡田螺的小男孩  微信公众号  Tags:IO模型   点击:(8)  评论:(0)  加入收藏
为什么都说 HashMap 是线程不安全的?
做Java开发的人,应该都用过 HashMap 这种集合。今天就和大家来聊聊,为什么 HashMap 是线程不安全的。1.HashMap 数据结构简单来说,HashMap 基于哈希表实现。它使用键的哈希码来...【详细内容】
2024-03-22  Java技术指北  微信公众号  Tags:HashMap   点击:(11)  评论:(0)  加入收藏
如何从头开始编写LoRA代码,这有一份教程
选自 lightning.ai作者:Sebastian Raschka机器之心编译编辑:陈萍作者表示:在各种有效的 LLM 微调方法中,LoRA 仍然是他的首选。LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大...【详细内容】
2024-03-21  机器之心Pro    Tags:LoRA   点击:(12)  评论:(0)  加入收藏
这样搭建日志中心,传统的ELK就扔了吧!
最近客户有个新需求,就是想查看网站的访问情况。由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的...【详细内容】
2024-03-20  dbaplus社群    Tags:日志   点击:(4)  评论:(0)  加入收藏
Kubernetes 究竟有没有 LTS?
从一个有趣的问题引出很多人都在关注的 Kubernetes LTS 的问题。有趣的问题2019 年,一个名为 apiserver LoopbackClient Server cert expired after 1 year[1] 的 issue 中提...【详细内容】
2024-03-15  云原生散修  微信公众号  Tags:Kubernetes   点击:(6)  评论:(0)  加入收藏
站内最新
站内热门
站内头条