您当前的位置:首页 > 电脑百科 > 数据库 > Redis

redis sds 介绍

时间:2020-01-09 11:32:54  来源:  作者:

redis sds 介绍

 

字符串是redis中最为常见的存储数据存储类型,其底层实现是简单的动态字符串sds(simple dynamic string),可以修改的字符串。

sds 介绍

sds本质上是 char *,因为有了表头sdshdr结构的存在,所以sds比传统c字符串在某些方面更加优秀,并且能够兼容传统C字符串。

sds采用预分配存储空间的方式来减少内存的频繁分配,惰性空间释放的策略来优化sds的缩短操作,降低内存重新分配的概率。

redis 的字符串实现在sds.h sds.c 中。

typedef char *sds;/* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here to document the layout of type 5 SDS strings. */struct __attribute__ ((__packed__)) sdshdr5 {    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */    char buf[];};

上述代码来自sds.h

  • __attribute__ ((__packed__))redis3.2 之后,针对不同长度的字符串引入了不同的sds数据结构,并且强制内存对齐1,将内存对齐的交给统一的内存分配函数,从而达到节省内存的目的稍微了解c/c++的人都会了解在结构体建立的是时候,会进行字节对齐操作,所以往往比实际变量占用的字节要多一些,如果我们不想要字节对齐怎么办?在结构体声明当中__attribute__ ((__packed__))关键字可以让我们的结构体按照紧凑排列的方式,占用内存。如下2种数据结构分别sizeof 将得到不同的结果struct test{ unsigned char flags; int value; }; struct __attribute__ ((__packed__)) test_{ unsigned char flags; int value; }; sizeof(struct test) //size is 8sizeof(struct test_) //size is 5
  • char buf[]char buf[] 等价与 char buf[0] 在标准C和C++中0长数组如char buf[0]是不允许使用的,因为这从语义逻辑上看,是完全没有意义的。但是,GUN中却允许使用,而且,很多时候,应用在了变长结构体中。对编译器来说,此时长度为0的数组并不占用空间,因为数组名本身不占空间,它只是一个偏移量, 数组名这个符号本身代表了一个不可修改的地址常量。我们可以优雅的将buf称之为柔性数组。在结构中,buf是一个数组名;但该数组没有元素;该数组的真实地址紧随结构体sdshdr5之后,而这个地址就是结构体后面数据的地址(如果给这个结构体分配的内容大于这个结构体实际大小,后面多余的部分就是这个buf的内容);这种声明方法可以巧妙的实现C语言里的数组扩展。对于0长数组的这个特点,很容易构造出变长结构体,如缓冲区,数据包等等struct Buffer { int len; char cData[0]; }; 假如我们要发送1024个字节,我们如何构造这个数据包呢?char *buffer = (char*)malloc(sizeof(Buffer)+1024)我们首先申请1024字节的空间,其次做一个类型转换如下代码Buffer *p = (Buffer*)buffer p->len = 1024 memcpy(p.cData,"1024 data............",1024) send(socket,p,sizeof(Buffer)+1024);//发送数据

sds 数据存储结构

我们摘取其中一个sdshdr32的数据结构来分析redis中sdsh的数据存储结构

struct __attribute__ ((__packed__)) sdshdr32 {    uint32_t len; /* used */    uint32_t alloc; /* excluding the header and null terminator */    unsigned char flags; /* 3 lsb of type, 5 unused bits */    char buf[];};

sdsnew(const char *init) 会根据init数据的长度去分配内存,分配内存的大小为s_malloc(hdrlen+initlen+1) 其中 hdrlen 为sdshdr* 的结构体的大小,initlen为传入的init 变量的数据大小或者为sdsnewlen(const void *init, size_t initlen) 传入的initlen 的大小。

sdsnewlen 方法会根据initlen 的数值去通过sdsReqType去确定type的类型,然后根据返回的type数值再通过sdsHdrSize(type)获得hdrlen。 具体代码实现可参见sds.c文件。

当sds s = sdsnew()之后,其中s的位置并不是内存的起始位置, sh = s_malloc(hdrlen+initlen+1), 而是偏移了sh + hdrlen 后的位置 s = (char*)sh+hdrlen。

sds 有一个关键的宏SDS_HDR 定义如下

#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T))))

其中SDS_HDR 能够将s 的指针位置减去 sdshdr##T的大小,从而将指针位置指向sdsnew内存分配的起始位置dh,进而去通过sh去操作sdshdr##T的成员变量。其中T取值为(5,8,16,32,64)

  • 一个 sds 的内部数据结构
    -----------------------------    | len | alloc | flags | buf |    -----------------------------

如上,其中buf位置真正存储了字符数据, 前面十三个位置分别存储了buf相关的sds信息。

  • len记录当前字节数组的长度(不包括),使得获取字符串长度的时间复杂度由O(N)变为了O(1)
  • alloc记录了当前字节数组总共分配的内存大小(不包括)
  • flags记录了当前字节数组的属性、用来标识到底是sdshdr8还是sdshdr16等
  • buf保存了字符串真正的值以及末尾的一个

整个sds的内存是连续的,统一开辟的。在大多数操作中,buf内的字符串实体才是操作对象。统一开辟内存能通过buf头指针进行寻址,拿到整个struct的指针,而且通过buf的头指针减1直接就能获取flags的值, flags = s[-1]。

更详细的sds的分配可参见sds.c中sdsnewlen的实现部分。



Tags:redis sds   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
SDS(simple dynamic string)是Redis提供的字符串的封装,在redis中也是存在最广泛的数据结构,它也是很多其他数据结构的基础,所以才选择先介绍SDS。 SDS也兼容部分C字符串API(st...【详细内容】
2020-09-27  Tags: redis sds  点击:(107)  评论:(0)  加入收藏
字符串是redis中最为常见的存储数据存储类型,其底层实现是简单的动态字符串sds(simple dynamic string),可以修改的字符串。sds 介绍sds本质上是 char *,因为有了表头sdshdr...【详细内容】
2020-01-09  Tags: redis sds  点击:(102)  评论:(0)  加入收藏
▌简易百科推荐
来源: my.oschina.net/xiaomu0082/blog/2990388首先说下问题现象:内网sandbox环境API持续1周出现应用卡死,所有api无响应现象刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应...【详细内容】
2021-12-08  Java识堂    Tags:Redis   点击:(18)  评论:(0)  加入收藏
我不知道为什么你会选择对特定数量的“错误”(或警告)如此具体。听起来您正在寻找将要发布到 Yahoo! 的某些文章的内容。 Insider (N Foos to Blah for the BlahBlah)。那说:...【详细内容】
2021-12-07  富集云科技有限公司    Tags:Redis   点击:(14)  评论:(0)  加入收藏
目录 一、背景 二、步骤 0.理论支持 1、获取数据 2、结果 3、分析数据并评估大小 三、关于repl-backlog-size 一、背景 repl-backlog-size控制这个环形缓冲区. ​ 主从断...【详细内容】
2021-11-05  弈秋的美好生活    Tags:redis   点击:(41)  评论:(0)  加入收藏
Redis 性能测试是通过同时执行多个命令实现的。1,Redis-benchmarkRedis性能命令:redis性能命令格式: redis-benchmark [option] [option value] redis 性能测试工具可选参数如...【详细内容】
2021-11-02  川石信息    Tags:Redis   点击:(41)  评论:(0)  加入收藏
1 概述数据结构和内部编码 无传统关系型数据库的 Table 模型schema 所对应的db仅以编号区分。同一 db 内,key 作为顶层模型,它的值是扁平化的。即 db 就是key的命名空间。 key...【详细内容】
2021-11-01  JavaEdge    Tags:Redis   点击:(28)  评论:(0)  加入收藏
普通java中使用引用Java redis 驱动,即可连接:import redis.clients.jedis.Jedis; public class RedisTestJava { public static void main(String[] args) { //连...【详细内容】
2021-10-13  faesuite    Tags:Redis   点击:(34)  评论:(0)  加入收藏
Redis常用的数据结构有 string list set zset hashstringstring 是 Redis 的基本的数据类型,一个 key 对应一个 value。string 类型是二进制安全的,Redis的string可以包含任...【详细内容】
2021-10-12  语霖    Tags:Redis   点击:(36)  评论:(0)  加入收藏
列表类型可以存储一组按插入顺序排序的字符串,它非常灵活,支持在两端插入、弹出数据,可以充当栈和队列的角色。> LPUSH fruit apple(integer) 1> RPUSH fruit banana(integer)...【详细内容】
2021-09-17  深夜敲代码    Tags:Redis   点击:(54)  评论:(0)  加入收藏
Redis持久化意义 是做灾难恢复,数据恢复,也可以归类到高可用的一个环节里面去,比如你的redis整个挂了,然后redis就不可用了,你要做的事情是让redis变得可用,尽快变得可用 大量的请...【详细内容】
2021-08-12  小李说IT    Tags:Redis   点击:(77)  评论:(0)  加入收藏
当查询Redis中没有的数据时,该查询会下沉到数据库层,同时数据库层也没有该数据,当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据...【详细内容】
2021-07-30  随便t    Tags:缓存穿透   点击:(91)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条