Redis设计与实现-数据库

Scroll Down

本章将对Redis服务器的数据库实现进行详细介绍,说明服务器保存数据库的方法,客户端切换数据库的方法,数据库保存键值对的方法,以及针对数据库的添加、删除、查看、更新操作的实现方法等。除此之外,本章还会说明服务器保存键的过期时间的方法,以及服务器自动删除过期键的方法。最后,本章还会说明Redis2.8新引入的数据库通知功能的实现方法。

服务器中的数据库

Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中,db数组中的每个项都是一个redis.h/redisDb结构,每个redisdb结构代表一个数据库。

struct redisServer {
	// ...
    // 一个数组,保存着服务器中的所有数据库
    redisDb *db;
    // ...
};

在初始化服务器时,程序会根据服务器状态的dbnum属性来决定应该创建多少个数据库:

struct redisServer {
	// ...
    // 服务器的数据库数量
    int dbnum;
    // ...
};

dbnum属性的值由服务器配置的database选项决定,默认情况下,该选项的值为16,所以Redis数据库默认会创建16个数据库。如下图所示:
redis-database-note-001.drawio

切换数据库

每个Redis客户端都有自己的目标数据库,每当客户端执行数据库写命令或者数据库读命令的时候,目标数据库就会成为这些命令的操作对象。
默认情况下,Redis客户端的目标数据库为0号数据库,但客户端可以通过执行SELECT命令来切换目标数据库。
在服务器内部,客户端状态redisClient结构的db属性记录了客户端当前的目标数据库,这个属性是一个指向redisDb结构的指针:

typedef struct redisClient {
	// ...
    // 记录客户端当前正在使用的数据库
    redisDb *db;
    //...
} redisClient;

redisClient.db指针指向redisServer.db数组的其中一个元素,而被指向的元素就是客户端的目标数据库。
redis-database-note-002.drawio
通过修改redisClient.db指针,让它指向服务器中的不同数据库,从而实现切换目标数据库的功能-这就是SELECT命令的实现原理。

数据库键空间

Redis是一个键值对(key-value pair)数据库服务器,服务器中的每个数据库都由一个redis.h/redisDB结构表示,其中,redisDb结构的dict字典保存了数据库中的所有键值对,我们将这个字典称为键空间(key space)。

typedef struct redisDb(
	// ...
    // 数据库键空间,保存着数据库中的所有键值对
    dict *dict;
    // ...
) redisDb;

键空间和用户所见的数据库是直接相对应的:
1、键空间的键也就是数据库的键,每个键都是一个字符串对象。
2、键空间的值也就是数据库的值,每个值可以是字符串对象,列表对象,哈希表对象、集合对象和有序集合对象中的任意一种Redis对象。
因为数据库的键空间是一个字典,所有针对数据库的操作,比如添加一个键值对到数据库,或者从数据库中删除一个键值对,又或者在数据库中获取某个键值对等,实际上都是通过对键空间字典进行操作来实现的,以下几节将分别介绍数据库的添加,删除,更新,取值等操作的实现原理。

添加新键

添加一个新键值对到数据库,实际上是将一个新键值对添加到键空间字典里面,其中键为字符串对象,而值则为任意一种类型的Redis对象。

删除键

删除数据库中的一个键,实际上就是在键空间里面删除所对应的键值对对象。

更新键

对一个数据库键进行更新,实际上就是对键空间里面键所对应的值对象进行更新,根据值对象的类型不同,更新的具体方法也会有所不同。

对键取值

对一个数据库键进行取值,实际上就是在键空间中取出键所对应的值对象,根据值对象的类型不同,具体的取值方法也会有所不同。

其他键空间操作

除了上面列举的添加,删除,更新,取值操作之外,还有很多针对数据库本身的Redis命令,也就是通过对键空间进行处理来完成的。
比如说,用于清空整个数据库的FLUSHDB命令,就是通过删除键空间中的所有键值对来实现的。

读写键空间时的维护操作

当使用Redis命令对数据库进行读写时,服务器不仅会对键空间执行指定的读写操作,还会执行一些额外的维护操作,其中包括。
1、在读取一个键之后,服务器会根据键是否存在来更新服务器的键空间命中(hit)次数或键空间不命中(miss)次数,这两个值可以在INFO status命令的keyspace_hit属性和keyspace_misses属性中查看。
2、在读取一个键之后,服务器会更新键的LRU时间,这个值可以用于计算键的限制空间,使用OBJECT idletime <key>命令可以查看键的限制时间。
3、如果服务器读取一个键时发现该键已经过期,那么服务器会先删除这个键,然后才执行余下的其他操作。
3、如果有客户端使用WATCH命令监视了某个键,那么服务器在对被监视的键进行修改之后,会将这个键标记为脏(dirty),从而让事务程序注意到这个键已经被修改过。
4、服务器每次修改一个键之后,都会对脏键计数器的值增1,这个计数器会被发现服务器的持久化以及复制操作。
5、如果服务器开启了数据库通知功能,那么在对键进行修改之后,服务器将按配置发送响应的数据库通知。

设置键的生存时间或过期时间

通过EXPIRE命令或者PEXPIRE命令,客户端可以以秒或者毫秒精度为数据库中的某个键设置生存时间(TTL),在经过执行的秒数或者毫秒数之后,服务器会自动删除生存时间为0的键。
与EXPIRE命令或者PEXPIRE命令类似,客户端可以通过EXPIREAT命令或PEXPIREAT命令,以秒或者毫秒精度给数据库中的某个键设置过期时间(expire time)。
过期时间是一个UNIX时间戳,当键的过期时间来临时,服务器就会自动从数据库中删除这个键。
TTL命令和PTTL命令接受一个带有生存时间或者过期时间的键,返回这个键的剩余生存时间,也就是,返回距离这个键被服务器自动删除还有多长时间。

设置过期时间

Redis有四个不同的命令可以用于设置键的生存时间(键可以存在多久)或过期时间(键什么时候被删除):
1、EXPIRE <key> <ttl>命令用于将键key的生存时间设置为ttl秒。
2、PEXPIRE <key> <ttl>命令用于将键key的生存时间设置为ttl毫秒。
3、EXPIREAT <key> <timestamp>命令用于将键key的过期时间设置为timestamp所指定的秒数时间戳。
4、PEXIREAT <key> <timestamp>命令用于将键key的过期时间设置为timestamp所指定的毫秒数时间戳。
虽然有多种不同单位和不同形式的设置命令,但实际上EXPIRE、PEXPIREEXPIREAT三个命令都是使用PEXIREAT命令来实现的;无论客户端执行的是以上四个命令的哪一个,经过转换之后,最终的执行效果都和PEXIREAT命令一样。

保存过期时间

redisDB结构的expires字典保存了数据库中所有键的过期时间,我们称这个字段为过期字典:
1、过期字典的键是一个指针,这个指针指向键空间中的某个键对象。
2、过期字典的值是一个long long类型的整数,这个整数保存了键所指向的数据库键的过期时间一个毫秒精度的UNIX时间戳。

typedef struct redisDb{
	// ...
    // 过期字典,保存着键的过期时间
    dict *expires;
    // ...
} redisDb;

当客户端执行PEXPIREAT命令为一个数据库键设置过期时间时,服务器会在数据库的过期字典中关联给定的数据库键和过期时间。

移除过期时间

PERSIST命令可以移除了一个键的过期时间。
PERSIST命令就是PEXPIREAT命令的反操作:PERSIST命令在过期字典中查找给定的键,并解除键和值(过期时间)在过期字典中的关联。

计算并返回剩余生存时间

TTL命令以秒为单位返回键的剩余生存空间,而PTTL命令则以毫秒为单位返回键的剩余生存时间。
TTL和PTTL两个命令都是通过计算键的过期时间和当前时间之间的差来实现的。

过期键的判定

通过过期字典,程序可以用以下步骤检查一个给定键是否过期:
1、检查给定键是否存在于过期字典:如果存在,那么取得键的过期时间。
2、检查当前UNIX时间戳是否大于键的过期时间:如果是的话,那么键已经过期;否则的话,键未过期。

过期键删除策略

1、定时删除:在设置键的过期时间的同时,创建一个定时器(timer),让定时器在键的过期时间来临时,立即执行对键的删除操作。
2、惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
3、定期删除:每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库,则由算法决定。
在这三种策略中,第一种和第三种为主动删除策略,而第二种则为被动删除策略。

定时删除

定时删除策略是对内存最友好的:通过使用定时器、定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存。
另一方面,定时删除策略的缺点是,它对CPU时间是最不友好的:在过期键比较多的情况下,删除过期键这一行为可能会占用相当一部分CPU时间,在内存不紧张的情况下,将CPU时间用在删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。

惰性删除

惰性删除策略对CPU来说是友好的:程序只会在取出键时才对键进行过期检查,这可以保证删除过期键的操作只会在非做不可的情况下进行,并且删除的目标仅限于当前处理的键,这个策略不会在删除其他无关的过期键上花费任何CPU时间。
惰性删除策略的缺点是,它对内存是不友好的:如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会被释放。
在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远不会被删除,我们甚至可以将这种情况看作是一种内存泄漏。

定期删除

从上面对定时删除和惰性删除的讨论来看,这两种删除方式在单一使用时都有明显的缺陷:
1、定时删除占用太多的CPU时间,影响服务器的响应时间和吞吐量。
2、惰性删除浪费太多的内存,有内存泄漏的危险。
定时删除策略是前两种删除策略的折中:
1、定期删除策略每隔一段时间执行一次删除过期键操作,并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响。
2、除此之外,通过定期删除过期键,定期删除策略有效地减少了因为过期键而带来的内存浪费。

Redis的过期键删除策略

Redis服务器实际使用的是惰性删除和定期删除两种策略:通过配合使用这两种删除策略,服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡。

惰性删除策略的实现

过期键的删除策略由db.c/expireIfNeed函数实现,所有读写数据库的Redis命令在执行之前都会调用expireIfNeed函数对输入键进行检查:

  • 如果输入键已经过期,那么expireIfNeeded函数将输入键从数据库中删除。
  • 如果输入键未过期,那么expireIfNeeded函数不做动作。

expireIfNeeded函数就像一个过滤器,它可以在命令真正执行之前,过滤掉过期的输入键,从而避免命令接触到过期键。
另外,因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除,所以每个命令的实现函数都必须能同时处理键存在以及键不存在这两种情况:

  • 当键存在时,命令按照键存在的情况执行。
  • 当键不存在时或者因为过期而被expireIfNeeded函数删除时,命令按照键不存在的情况执行。

定期删除策略的实现

过期键的定期删除策略由redis.c/activeExpireCycle函数实现,每当Redis的服务器周期性操作redis.c/serverCron函数执行时,activeExpireCycle函数就会被调用,它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库中的expires字典中随机检查一部分键的过期时间,并删除其中的过期键。

AOF、RDB和复制功能对过期键的处理

在这一节,我们将探讨过期键对Redis服务器中其他模块的影响,看看RDB持久化功能、AOF持久化功能以及复制功能是如何处理数据库中的过期键的。

生成RDB文件

在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时,程序会对数据库中的键进行检查,已过期的键不会被保存到新创建的RDB文件中。

载入RDB文件

在启动Redis服务器时,如果服务器开启了RDB功能,那么服务器将对RDB文件进行载入:
1、如果服务器以主服务器模式运行,那么在载入RDB文件时,程序会对文件中保存的键进行检查,未过期的键会被载入到数据库中,而过期键会被忽略,所以过期键对载入RDB文件的主服务器不会造成影响。
2、如果服务器以从服务器模式运行,那么在载入RDB文件时,文件中保存的所有键,不论是否过期,都会被载入到数据库中。不过因为主从服务器在进行数据同步的时候,从服务器的数据库就会被清空,所以一般来讲,过期键对载入的RDB文件的从服务器也不会造成影响。

AOF文件写入

当服务器以AOF持久化模式运行时,如果数据库中的某个键已经过期,但它还没有被惰性删除或者定期删除,那么AOF文件不会因为这个过期键而产生任何影响。
当过期键被惰性删除或者定期删除之后,程序会向AOF文件追加一条DEL命令,来显示地记录该键已被删除。

AOF重写

和生成RDB文件时类似,在执行AOF重写的过程中,程序会对数据库中的键进行检查,已过期的键不会被保存到重写后的AOF文件中。

复制

当服务器运行在复制模式下,从服务器的过期删除动作由主服务器控制:
1、主服务器在删除一个过期键之后,会显式地向所有从服务器发送一个DEL命令,告知从服务器删除这个过期键。
2、从服务器在执行客户端发送的读命令时,即使碰到过期键也不会将过期键删除,而是继续像处理未过期的键一样来处理过期策略。
3、从服务器只有在接收到主服务器发来的DEL命令之后,才会删除过期键。
通过由主服务器来控制从服务器统一地删除过期键,可以保证主从服务器数据的一致性,也正因为这个原因,当一个过期键仍然存在于主服务器的数据库时,这个过期键在从服务器里的复制品也会继续存在。

重点回顾

1、Redis服务器的所有数据库都保存在redisServer.db数组中,而数据库的数量则由redisServer.dbnum属性保存。
2、客户端通过修改目标数据库指针,让它指向redisServer.db数组中的不同元素来切换不同的数据库。
3、数据库主要由dict和expires两个字典构成,其中dict字典负责保存键值对,而expires字典则负责保存键的过期时间。
4、因为数据库由字典构成,所以对数据库的操作都是建立在字典操作之上的。
5、数据库的键总是一个字符串对象,而值则可以是任意一种Redis对象类型,包括字符串对象、哈希表对象、集合对象、列表对象、有序集合对象,分别对应字符串键、哈希表键、集合键、列表键和有序集合键。
6、expires字典的键指向数据库中的某个键,而值则记录了数据库键的过期时间,过期时间是一个以毫秒为单位的UNIX时间戳。
7、Redis使用惰性删除和定期删除两种策略来删除过期的键:惰性删除策略只在碰到过期键时才进行删除操作,定期删除策略则每隔一段时间主动查找并删除过期键。
8、执行SAVE命令或者BGSAVE命令所产生的新的RDB文件不会包含已经过期的键。
9、执行BGREWRITEAOF命令所产生的重写AOF文件不会包含已经过期的键。
10、当一个过期键被删除之后,服务器会追加一条DEL命令到现有AOF文件的末尾,显示地删除过期键。
11、当主服务器删除一个过期键之后,它会向所有从服务器发送一条DEL命令,显示地删除过期键。
12、从服务器即使发现过期键也不会自作主张地删除它,而是等待主节点发来DEL命令,这种统一,中心化的过期键删除策略可以保证主从服务器数据的一致性。
13、当Redis命令对数据库进行修改之后,服务器会根据配置向客户端发送数据库通知。