在这篇文章中,我们将彻底了解 redis 的使用场景、Redis 的五种数据结构,以及如何在
Spring Boot 中使用 Redis,文章的最后还会列举面试过程中经常被问到的关于 Redis
的问题以及其解决方案。
Redis 是一个开源(BSD
许可)、内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合等数据类型。内置复制、Lua
脚本、LRU 收回、事务以及不同级别磁盘持久化功能,同时通过 Redis Sentinel
提供高可用,通过 Redis Cluster
提供自动分区。在实际的开发过程中,多多少少都会涉及到缓存,而 Redis
通常来说是我们分布式缓存的最佳选择。Redis 也是我们熟知的
NoSQL(非关系性数据库)之一,虽然其不能完全的替代关系性数据库,但它可作为其良好的补充。
微服务以及分布式被广泛使用后,Redis
的使用场景就越来越多了,这里我罗列了主要的几种场景。
当然 Redis
的使用场景并不仅仅只有这么多,还有很多未列出的场景,如计数、排行榜等,可见 Redis
的强大。不过 Redis
说到底还是一个数据库(非关系型),那么我们还是有必要了解一下它支持存储的数据结构。
前面也提到过,Redis
支持字符串、哈希表、列表、集合、有序集合五种数据类型的存储。了解这五种数据结构非常重要,可以说如果吃透了这五种数据结构,你就掌握了
Redis 应用知识的三分之一,下面我们就来逐一解析。
字符串(string)
string 这种数据结构应该是我们最为常用的。在 Redis 中 string
表示的是一个可变的字节数组,我们初始化字符串的内容、可以拿到字符串的长度,可以获取
string 的子串,可以覆盖 string 的子串内容,可以追加子串。
图 1. Redis 的 string 类型数据结构
如上图所示,在 Redis
中我们初始化一个字符串时,会采用预分配冗余空间的方式来减少内存的频繁分配,如图 1
所示,实际分配的空间 capacity 一般要高于实际字符串长度 len。如果您看过 Java 的
ArrayList 的源码相信会对此种模式很熟悉。
列表(list)
在 Redis 中列表 list
采用的存储结构是双向链表,由此可见其随机定位性能较差,比较适合首位插入删除。像
Java 中的数组一样,Redis 中的列表支持通过下标访问,不同的是 Redis
还为列表提供了一种负下标,-1 表示倒数一个元素,-2
表示倒数第二个数,依此类推。综合列表首尾增删性能优异的特点,通常我们使用
rpush/rpop/lpush/lpop 四条指令将列表作为队列来使用。
图 2. List 类型数据结构
如上图所示,在列表元素较少的情况下会使用一块连续的内存存储,这个结构是
ziplist,也即是压缩列表。它将所有的元素紧挨着一起存储,分配的是一块连续的内存。当数据量比较多的时候才会改成
quicklist。因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是
int 类型的数据,结构上还需要两个额外的指针 prev 和 next。所以 Redis 将链表和
ziplist 结合起来组成了 quicklist。也就是将多个 ziplist
使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
哈希表(hash)
hash 与 Java 中的 HashMap
差不多,实现上采用二维结构,第一维是数组,第二维是链表。hash 的 key 与 value
都存储在链表中,而数组中存储的则是各个链表的表头。在检索时,首先计算 key 的
hashcode,然后通过 hashcode 定位到链表的表头,再遍历链表得到 value
值。可能您比较好奇为啥要用链表来存储 key 和 value,直接用 key 和 value
一对一存储不就可以了吗?其实是因为有些时候我们无法保证 hashcode
值的唯一,若两个不同的 key 产生了相同的
hashcode,我们需要一个链表在存储两对键值对,这就是所谓的 hash 碰撞。
集合(set)
熟悉 Java 的同学应该知道 HashSet 的内部实现使用的是 HashMap,只不过所有的 value
都指向同一个对象。Redis 的 Set 结构也是一样,它的内部也使用 Hash 结构,所有的
value 都指向同一个内部值。
有序集合(sorted set)
有时也被称作 ZSet,是 Redis
中一个比较特别的数据结构,在有序集合中我们会给每个元素赋予一个权重,其内部元素会按照权重进行排序,我们可以通过命令查询某个范围权重内的元素,这个特性在我们做一个排行榜的功能时可以说非常实用了。其底层的实现使用了两个数据结构,
hash 和跳跃列表,hash 的作用就是关联元素 value 和权重 score,保障元素 value
的唯一性,可以通过元素 value 找到相应的 score 值。跳跃列表的目的在于给元素 value
排序,根据 score 的范围获取元素列表。
准备工作
开始在 Spring Boot 项目中使用 Redis 之前,我们还需要一些准备工作。
添加 Redis 依赖
Spring Boot 官方已经为我们提供好了集成 Redis 的 Starter,我们只需要简单地在
pom.xml 文件中添加如下代码即可。Spring Boot 的 Starter
给我们在项目依赖管理上提供了诸多便利。
清单 1. 添加 Redis 依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
添加完依赖之后,我们还需要配置 Redis
的地址等信息才能使用,在 Application.properties 中添加如下配置即可。
清单 2. Spring Boot 中配置 Redis
spring.redis.host=192.168.142.132
spring.redis.port=6379
# Redis 数据库索引(默认为 0)
spring.redis.database=0
# Redis 服务器连接端口
# Redis 服务器连接密码(默认为空)
spring.redis.password=
#连接池最大连接数(使用负值表示没有限制)
spring.redis.jedis.pool.max-active=8
# 连接池最大阻塞等待时间(使用负值表示没有限制)
spring.redis.jedis.pool.max-wait=-1
# 连接池中的最大空闲连接
spring.redis.jedis.pool.max-idle=8
# 连接池中的最小空闲连接
spring.redis.jedis.pool.min-idle=0
# 连接超时时间(毫秒)
spring.redis.timeout=0
Spring Boot 的 spring-boot-starter-data-redis 为 Redis
的相关操作提供了一个高度封装的 RedisTemplate 类,而且对每种类型的数据结构都进行了归类,将同一类型操作封装为
operation 接口。RedisTemplate 对五种数据结构分别定义了操作,如下所示:
但是对于 string 类型的数据,Spring Boot还专门提供了 StringRedisTemplate 类,而且官方也建议使用该类来操作 String类型的数据。那么它和 RedisTemplate 又有啥区别呢?
RedisTemplate 的配置
一个 Spring Boot
项目中,我们只需要维护一个 RedisTemplate 对象和一个 StringRedisTemplate 对象就可以了。所以我们需要通过一个 Configuration 类来初始化这两个对象并且交由的 BeanFactory 管理。我们在 cn.itweknow.sbredis.config包下面新建了一个 RedisConfig 类,其内容如下所示:
清单 3. RedisTemplate 和 StringRedisTemplate 的配置
@Configuration
public class RedisConfig {
@Bean
@ConditionalOnMissingBean(name = "redisTemplate")
public RedisTemplate<String, Object> redisTemplate(
RedisConnectionFactory redisConnectionFactory) {
Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer<Object>(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
RedisTemplate<String, Object> template = new RedisTemplate<String, Object>();
template.setConnectionFactory(redisConnectionFactory);
template.setKeySerializer(jackson2JsonRedisSerializer);
template.setValueSerializer(jackson2JsonRedisSerializer);
template.setHashKeySerializer(jackson2JsonRedisSerializer);
template.setHashValueSerializer(jackson2JsonRedisSerializer);
template.afterPropertiesSet();
return template;
}
@Bean
@ConditionalOnMissingBean(StringRedisTemplate.class)
public StringRedisTemplate stringRedisTemplate(
RedisConnectionFactory redisConnectionFactory) {
StringRedisTemplate template = new StringRedisTemplate();
template.setConnectionFactory(redisConnectionFactory);
return template;
}
}
操作字符串
StringRedisTempalte 在上面已经初始化好了,我们只需要在需要用到的地方通过 @AutoWired 注解注入就行。
@Test
public void testSet() {
stringRedisTemplate.opsForValue().set("test-string-value", "Hello Redis");
}
@Test
public void testGet() {
String value = stringRedisTemplate.opsForValue().get("test-string-value");
System.out.println(value);
}
@Test
public void testSetTimeOut() {
stringRedisTemplate.opsForValue().set("test-string-key-time-out", "Hello Redis", 3, TimeUnit.HOURS);
}
@Test
public void testDeleted() {
stringRedisTemplate.delete("test-string-value");
}
操作数组
在 Redis 数据类型小节中,我们提到过我们经常使用 Redis
的 lpush/rpush/lpop/rpop 四条指令来实现一个队列。那么这四条指令在 RedisTemplate 中也有相应的实现。
@Test
public void testLeftPush() {
redisTemplate.opsForList().leftPush("TestList", "TestLeftPush");
}
@Test
public void testRightPush() {
redisTemplate.opsForList().rightPush("TestList", "TestRightPush");
}
此时我们再一次执行 leftPush 方法,TestList 的内容就会变成下图(第二次执行leftPush 之后的内容)所示:
可以看到 leftPush 实际上是往数组的头部新增一个元素,那么 rightPush就是往数组尾部插入一个元素。
@Test
public void testLeftPop() {
Object leftFirstElement = redisTemplate.opsForList().leftPop("TestList");
System.out.println(leftFirstElement);
}
执行上面的代码之后,您会看到控制台会打印出 TestLeftPush,然后再去RedisDesktopManager 中查看 TestList 的内容,如下图(同数组顶端移除一个元素后)所示。您会发现数组中的第一个元素已经被移除了。
@Test
public void testRightPop() {
Object rightFirstElement = redisTemplate.opsForList().rightPop("TestList");
System.out.println(rightFirstElement);
}
操作 Hash
Redis 中的 Hash 数据结构实际上与 Java 中的 HashMap 是非常类似的,提供的 API
也很类似。下面我们就一起来看下 RedisTemplate 为 Hash 提供了哪些 API。
@Test
public void testPut() {
redisTemplate.opsForHash().put("TestHash", "FirstElement", "Hello,Redis hash.");
Assert.assertTrue(redisTemplate.opsForHash().hasKey("TestHash", "FirstElement"));
}
@Test
public void testGet() {
Object element = redisTemplate.opsForHash().get("TestHash", "FirstElement");
Assert.assertEquals("Hello,Redis hash.", element);
}
@Test
public void testDel() {
redisTemplate.opsForHash().delete("TestHash", "FirstElement");
Assert.assertFalse(redisTemplate.opsForHash().hasKey("TestHash", "FirstElement"));
}
操作集合
集合很类似于 Java 中的 Set,RedisTemplate 也为其提供了丰富的 API。
@Test
public void testAdd() {
redisTemplate.opsForSet().add("TestSet", "e1", "e2", "e3");
long size = redisTemplate.opsForSet().size("TestSet");
Assert.assertEquals(3L, size);
}
@Test
public void testGet() {
Set<String> testSet = redisTemplate.opsForSet().members("TestSet");
System.out.println(testSet);
}
执行上面的代码后,控制台输出的是 [e1, e3,e2],当然您可能会看到其他结果,因为 Set是无序的,并不是按照我们添加的顺序来排序的。
@Test
public void testRemove() {
redisTemplate.opsForSet().remove("TestSet", "e1", "e2");
Set testSet = redisTemplate.opsForSet().members("TestSet");
Assert.assertEquals("e3", testSet.toArray()[0]);
}
操作有序集合
与 Set 不一样的地方是,ZSet 对于集合中的每个元素都维护了一个权重值,那么
RedisTemplate 提供了不少与这个权重值相关的 API。
API描述add(K key, V value, double score)添加元素到变量中同时指定元素的分值。range(K key, long start, long end)获取变量指定区间的元素。rangeByLex(K key, RedisZSetCommands.Range range)用于获取满足非 score 的排序取值。这个排序只有在有相同分数的情况下才能使用,如果有不同的分数则返回值不确定。angeByLex(K key, RedisZSetCommands.Range range, RedisZSetCommands.Limit limit)用于获取满足非 score 的设置下标开始的长度排序取值。add(K key, Set<ZSetOperations.TypedTuple<V>> tuples)通过 TypedTuple 方式新增数据。rangeByScore(K key, double min, double max)根据设置的 score 获取区间值。rangeByScore(K key, double min, double max,long offset, long count)根据设置的 score 获取区间值从给定下标和给定长度获取最终值。rangeWithScores(K key, long start, long end)获取 RedisZSetCommands.Tuples 的区间值。
实现分布式锁
上面基本列出了 RedisTemplate 和 StringRedisTemplate 两个类所提供的对 Redis
操作的相关 API,但是有些时候这些 API
并不能完成我们所有的需求,这个时候我们其实还可以在 Spring Boot 项目中直接与
Redis
交互来完成操作。比如,我们在实现分布式锁的时候其实就是使用了 RedisTemplate 的 execute 方法来执行
lua 脚本来获取和释放锁的。
清单 4. 获取锁
Boolean lockStat = stringRedisTemplate.execute((RedisCallback<Boolean>)connection ->
connection.set(key.getBytes(Charset.forName("UTF-8")), value.getBytes(Charset.forName("UTF-8")),
Expiration.from(timeout, timeUnit), RedisStringCommands.SetOption.SET_IF_ABSENT));
清单 5. 释放锁
String script = “if redis.call(‘get’, KEYS[1]) == ARGV[1] then return redis.call(‘del’, KEYS[1]) else
return 0 end”; boolean unLockStat =
stringRedisTemplate.execute((RedisCallback<Boolean>)connection -> connection.eval(script.getBytes(), ReturnType.BOOLEAN, 1, key.getBytes(Charset.forName(“UTF-8”)), value.getBytes(Charset.forName(“UTF-8”))));
最近几年 Redis一直都是面试的热点话题,在面试的过程中相信大家都会被问到缓存与数据库一致性问题、缓存击穿、缓存雪崩以及缓存并发等问题。那么在文章的最后部分我们就一起来了解一下这几个问题。
缓存与数据库一致性问题
对于既有数据库操作又有缓存操作的接口,一般分为两种执行顺序。
大部分情况下,我们的缓存理论上都是需要可以从数据库恢复出来的,所以基本上采取第一种顺序都是不会有问题的。针对那些必须保证数据库和缓存一致的情况,通常是不建议使用缓存的。
缓存击穿问题
缓存击穿表示恶意用户频繁的模拟请求缓存中不存在的数据,以致这些请求短时间内直接落在了数据上,导致数据库性能急剧下降,最终影响服务整体的性能。这个在实际项目很容易遇到,如抢购活动、秒杀活动的接口API被大量的恶意用户刷,导致短时间内数据库宕机。对于缓存击穿的问题,有以下几种解决方案,这里只做简要说明。
缓存雪崩问题
在短时间内有大量缓存失效,如果这期间有大量的请求发生同样也有可能导致数据库发生宕机。在
Redis 机群的数据分布算法上如果使用的是传统的 hash 取模算法,在增加或者移除 Redis
节点的时候就会出现大量的缓存临时失效的情形。
缓存并发问题
这里的并发指的是多个 Redis 的客户端同时 set值引起的并发问题。比较有效的解决方案就是把 set
操作放在队列中使其串行化,必须得一个一个执行。