您当前的位置:首页 > 电脑百科 > 数据库 > 百科

Beyond the Cache——阿里云Tair云内存数据库场景解读

时间:2021-06-21 10:11:54  来源:  作者:数据库技术达摩院

作者:黄鹏程(马格)

 

一、Tair背景介绍

 

(一)什么是阿里云Tair云原生内存数据库

 

阿里云Tair云原生内存数据库线上名字为阿里云数据库redis企业版(又称阿里云Tair),从2009年开始正式承载集团业务,是一款历经磨练的企业级产品。它完全兼容Redis的数据结构和通讯协议,包括API接口,并且在内部逐步打磨的过程中,基于Tair研发云上托管云内存数据库。

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

如上图所示,Tair产品分为三个类型,从性能到性价比有不同的产品排布,下面用1.0X表示开源的Redis的性能与价格,从性能和价格上与三个类型的Tair产品进行对比。

 

  1. Tair性能增强型性能约为开源Redis的两倍,支持多种常见数据结构,在天猫/淘宝/高德/优酷中大规模使用,并拥有任意时间点恢复/全球分布式/热点散列等特性。
  2. Tair持久内存型基于Intel傲腾持久内存做的数据库,后文会重点阐述其特点。
  3. Tair容量存储型直接对标社区Pika等开源存储型Redis产品。然后因为我们会用阿里云的高效的高效云盘,所以说整个的功能和性能都会比Pika强很多。

 

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

如上图所示,从内存存储方面,Tair三个类型的产品适应不同的场景。

 

  • Tair性能增强型

1)数据读写频繁,要求低延迟,支持大连接;

2)成本相对不敏感,以满足业务性能需求为主。

 

  • Tair持久内存型

1)数据读写较频繁,延迟要求可稍微放宽,存储数据量有一定较大容量要求;

2)成本控制较之热数据要求更高。

 

  • Tair容量存储型

1)数据读写密集程度低,延迟要求不高,整体存储容量要求高;

2)成本是最大考量因素。

 

(二)阿里云Tair面向业务的数据结构让业务创新更容易

 

在业务方面,阿里云Tair与基于传统Redis存在许多不一样的地方,阿里云Tair业务结构如下所示。

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

除此之外,阿里云Tair有以下优点:

1)高性能

性能增强型,流量上涨淡然处之,性能是开源Redis的2倍。

2)持久化

持久内存型,数据可靠,方便业务使用,不再担心数据丢失。(RPO=0)

3)低成本

多种存储介质,选择最优性价比,性价比高于ECS自建。

4)丰富数据模型

在社区Redis上提供了更多面向应用的数据结构,应用开发更简便。

5)企业级能力

全球多活,数据闪回,混合多云(热点散列)。

 

(三)阿里云Tair历史

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

上图为Tair的发展历史。从Tair1.0开始,团队就孵化出了云Redis社区版和云Memcache,这是线上社区托管的两个版本。

在Tair1.0的时候,就会整个孵化出来,2.0逐步上云,3.0会孵化出来一款叫GDB的产品,是一款线上的图数据库。

再往下是Tair(Redis企业版/Tair 3.0),集团和云上是同一个版本,有很多种形态来支持用户在各种业务场景下的需求。

 

二、Tair功能介绍

 

(一)做一个不丢数据的内存数据库—Tair持久内存型

 

我们希望做一个不丢数据的数据库,做法是通过新硬件和新软件来进行。

 

1.新硬件

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

  • 引入英特尔® 傲腾™ 数据中心级持久内存;
  • 与DRAM内存相近的性能表现,而且其大容量和非易失性的特性还可帮助系统获得更优的可用性;
  • 它相比于DRAM内存的成本和容量优势,也可帮助客户有效地降低总拥有成本。

 

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

上图为存储介质图,速度延迟从上到下逐步增大,相反,容量逐步减少,成本逐步降低。Storage Class Memory处于中间,性价比较高。

 

2.新软件

 

  • 模式选择

新软件的开发模式方案有两种,分别是内存模式(Memory Mode)应用程序直接访问模式(App Direct Mode)

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

在内存模式下,应用和OS将其视为易失性内存池,虽对应用透明,但掉电即失,因此不采用。

在应用程序直接访问模式下,持久内存和 DRAM充当独立内存资源,通过构建符合Redis协议和数据结构的软件利用两块存储资源构建兼容Redis、具备命令级持久化能力的内存数据库。

 

  • 全新的挑战

 

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

我们选择重新写兼容Redis的东西,而不是在Redis基础上进行更改,是因为新软件有着全新的挑战:

1)替代原有的内存分配器,同时要保证内存分配器元数据的持久化;

2)Redis数据结构与索引的持久化要保持一致性;

3)持久内存和易失内存如何协同工作,让整个数据库高性能工作,同时还具备强大的持久化能力。

 

3.产品化能力

 

上文结合软硬件的能力阐述了如何去构建持久化内存的形态,下面可以看一下所带来的成果。

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

  • 消除aofrewrite与fsync的无Fork设计,服务更顺滑,P95延时较之内存版Redis更低更稳定;
  • 读写性能吞吐为内存版Redis的90%以上。

 

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

  • 原生命令级持久化能力,操作写入即持久化;
  • 缓存主存合一成为可能,成本更低,架构更优雅。

 

4.应用场景

 

应用场景主要分为如下两种。

 

场景一:大数据量、高性能、成本的综合选型考虑

  • 机器学习平台、推荐系统等计算数据对性能和容量的要求很高;
  • 全内存又使得成本压力巨大;
  • 可采用Tair持久内存型以有效降低成本,并能够保持高性能运行;
  • 同时用户也无需为降本而综合使用其他数据存储,有效地平衡了系统复杂度与成本。

 

场景二:用作持久化数据存储

  • 游戏、直播、数据分析中大数据结果集对外提供查询服务等场景可以使用;
  • 可采用Tair持久内存型作为数据最终的存储;
  • 对比缓存+主存的两层架构,数据同样可靠;
  • 性价比更高,代码更简化,架构更优雅。

 

(二)做一个具备时光机能力的数据库--数据闪回

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

我们希望这个内存数据库具备有时光机能力。时光机能力表示可以将数据恢复到过去指定的任何时间点,也称为数据闪回,它有如下两大特点:

 

  • 七天内任意时间点的数据恢复

1)Backup/Restore的终极形态

2)支持按秒级的数据恢复(可支持到按条)

3)防止删库跑路场景

4)Clone & Switching:随时回切

 

  • 根据按照指定Key或者Key Glob Pattern进行原地数据部分恢复

1)灵活应对部分数据异常

2)其余未指定数据不变化

3)游戏数据回档实现

 

(三)做一个全球多地写入的数据库--全球多活

 

1.基本概念

 

我们希望数据库能够多地写入,把多地的内存数据库进行多活操作,用户可以在多地访问与写入,我们帮用户做数据按序同步。

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

2. 三地六向同步

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

  • 全区全服同时在线,解决漫游(roaming)和DNS漂移问题。
  • 数据本地访问(locally data access)的流畅性。
  • 单元化:独立部署,区域容灾,按需调度。
  • 数据的高可靠和性能提升。

 

3. 低时延SLA保障

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

  • 推送模式(Push),Latency= T1 (binlog落盘时延)+ T2 (Replicator发现时延) + T3 (Apply时延)

1)整体看,T1 + T2 稳定在10ms,最差100ms;T3基本上时延是网络RTT。

2)忙时下不敏感,replicator具备独立的资源,点到点同步通道带宽稳定。

 

  • 适合写入量大,对平均时延要求高的客户。
  • 目前全球分布式缓存只能做3地6向。
  • 适合跨域多活及单元化业务(阿里内部经验)。
  • Tair全球同步时延测试白皮书:https://help.aliyun.com/document_detail/199010.html

 

4. Session场景

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

Session的容灾至关重要

  • 随着业务扩展,session访问压力几何级数增长。
  • 对抖动敏感,远距离访问体验差。
  • 单元化部署,全球化部署。
  • 除去容灾(跨域备份),还要能就近读写(跨域双活,多活)。

 

5. 游戏场景

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

架构特点:玩家可就近接入,本身逻辑就近计算数据读取,基本不存在数据一致性问题,灵活调整分布式节点。

可以灵活跨地域部署,数据通过Tair同步延迟根据网络速度决定通常在100ms以下。

场景:聊天室,弹幕信息同步;跨服对战;全球道具商城。

 

6.出行场景

 

Tair也在高德地图中深度使用,并解决了出行场景的一些问题。

 

使用前:导航时地理位置信息推送问题

  1. DNS漂移是一个边界效应,通常大概影响边界上5%-7%的用户。
  2. 在导航中跨越边界时,会大量出现交叉访问不同数据区的场景;业务逻辑复杂,可靠性低,用户体验差。

 

使用后:高德交通三地六向同步(Tair only)

  1. Redis-enterprise跨域多活提供百万OPS每秒的数据同步。
  2. 交通在三地都可高速写入/访问;极高性能的优势提供流畅的用户体验。
  3. 用户可以灵活的在SDK层控制读写,比例等。

 

(四)做一个有计算的内存数据库

 

1. TairCPC高精度计数

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

TairCPC是一种数据的压缩算法(sketches)的内存实现,可以利用很小的空间对采样数据做高性能的计算,适合在实时和流式计算场景下做高性能的风控和安全场景。

 

  • 主要特性

1)内存占用低

2)增量读写,IO最小化

3)毫秒级高性能去重

4)超高去重精度

5)误差率稳定收敛

 

  • 适用场景

1)想以较低的内存实现对海量数据的去重计算;

2)容忍一定的四舍五入的误差率;

3)适用于实时计算的滚窗和滑窗去重。

 

2. TairTS时序数据处理

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

TairTS是基于Redis Module开发的时序数据结构,提供低时延高并发的内存读写访问,以及快速的过滤聚合查询功能。将存储与计算集于一身,极大地简化用户处理时序数据的流程,结合Tair持久内存型单集群最大规模可达65T。

 

  • 主要特性

1)TairTS相对于TSDB类传统时序数据库,可提供更快的写入性能,并提供数10倍的查询性能。

2)针对小规模数据场景,TairTS可将批量查询与聚合计算集成到单条命令中,减少网络交互,实现毫秒级响应。

3)针对大规模数据场景,可利用索引命令,将大规模数据,分批查询与聚合,实现秒级响应。

 

  • 适用场景

1)监控数据的存储与计算

2)车联网、工业互联网实时IOT数据处理

3)APM秒级监控等

 

三、面向未来

 

Beyond the Cache——阿里云Tair云内存数据库场景解读

 

最后谈一下未来面对的事情,关注云产品的人可能都知道存储计算分离,我们希望在这基础上能再进行一层分离。将内存也分离出来,做一个大的内存存储池。希望我们的再分离一层,就是把内存也分离出来,因为现在可能是一个大的存储池,为用户提供更加弹性的服务。



Tags:Tair云   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
阿里云Tair云原生内存数据库线上名字为阿里云数据库Redis企业版(又称阿里云Tair),从2009年开始正式承载集团业务,是一款历经磨练的企业级产品。它完全兼容Redis的数据结构和通讯协议,包括API接口,并且在内部逐步打磨的过程...【详细内容】
2021-06-21  Tags: Tair云  点击:(99)  评论:(0)  加入收藏
▌简易百科推荐
1增1.1【插入单行】insert [into] <表名> (列名) values (列值)例:insert into Strdents (姓名,性别,出生日期) values (&#39;开心朋朋&#39;,&#39;男&#39;,&#39;1980/6/15&#3...【详细内容】
2021-12-27  快乐火车9d3    Tags:SQL   点击:(1)  评论:(0)  加入收藏
最近发现还有不少做开发的小伙伴,在写存储过程的时候,在参考已有的不同的写法时,往往很迷茫, 不知道各种写法孰优孰劣,该选用哪种写法,以及各种写法的优缺点,本文以一个简单的查询...【详细内容】
2021-12-23  linux上的码农    Tags:sql   点击:(9)  评论:(0)  加入收藏
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的HasorDB 是一个全功能数据库访问工具,提供对象映射、丰...【详细内容】
2021-12-22  GitHub精选    Tags:HasorDB   点击:(5)  评论:(0)  加入收藏
作者丨Rafal Grzegorczyk译者丨陈骏策划丨孙淑娟【51CTO.com原创稿件】您是否还在手动对数据库执行各种脚本?您是否还在浪费时间去验证数据库脚本的正确性?您是否还需要将...【详细内容】
2021-12-22    51CTO  Tags:Liquibase   点击:(3)  评论:(0)  加入收藏
场景描述:由于生产环境的表比较复杂,字段很多。这里我们做下简化,只为说明今天要聊的问题。有两张表 tab1,tab2: tab1 数据如下: tab2 数据如下: 然后给你看下,我用来统计 name=&#3...【详细内容】
2021-12-20  Bald    Tags:SQL   点击:(5)  评论:(0)  加入收藏
前言知识无底,学海无涯,知识点虽然简单,但是比较多,所以将MySQL的基础写出来,方便自己以后查找,还有就是分享给大家。一、SQL简述1.SQL的概述Structure Query Language(结构化查...【详细内容】
2021-12-16  谣言止于独立思考    Tags:SQL基础   点击:(13)  评论:(0)  加入收藏
前言作为一名测试工程师,工作中在对测试结果进行数据比对的时候,或多或少要和数据库打交道的,要和数据库打交道,那么一些常用的 SQL 查询语法必须要掌握。最近有部分做测试小伙...【详细内容】
2021-12-14  柠檬班软件测试    Tags:SQL   点击:(15)  评论:(0)  加入收藏
话说C是面向内存的编程语言。数据要能存得进去,取得出来,且要考虑效率。不管是顺序存储还是链式存储,其寻址方式总是很重要。顺序存储是连续存储。同质结构的数组通过其索引表...【详细内容】
2021-12-08  小智雅汇    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
概述DBConvert Studio 是一款强大的跨数据库迁移和同步软件,可在不同数据库格式之间转换数据库结构和数据。它将成熟、稳定、久经考验的 DBConvert 和 DBSync 核心与改进的现...【详细内容】
2021-11-17  雪竹聊运维    Tags:数据库   点击:(26)  评论:(0)  加入收藏
一、前言 大家好,我是小诚,《从0到1-全面深刻理解MySQL系列》已经来到第四章,这一章节的主要从一条SQL执行的开始,由浅入深的解析SQL语句由客户端到服务器的完整执行流程,最...【详细内容】
2021-11-09  woaker    Tags:SQL   点击:(35)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条