架構(gòu)秘笈：移花接木。使用mysql模擬redis

文章轉(zhuǎn)載自公眾號(hào)：小姐姐味道

這年頭，你看到的東西未必就是你認(rèn)為的東西。一個(gè) mysql 協(xié)議的后面，可能是tidb；一個(gè) linux 機(jī)器后面，可能是一個(gè)精簡(jiǎn)的 docker ；你覺(jué)得xjjdog是個(gè)女的，但可能ta自己也不太清楚；而當(dāng)你大呼 php 萬(wàn)歲的時(shí)候，可能是研發(fā)人員和你開(kāi)個(gè)玩笑，重寫(xiě)了后綴，而后端用的卻是 java。

大家都知道 redis 速度快，但它的容量和內(nèi)存容量有關(guān)，很容易達(dá)到瓶頸。有些互聯(lián)網(wǎng)公司，直接使用 redis 作為后端數(shù)據(jù)庫(kù)（在下佩服）。當(dāng)業(yè)務(wù)量暴增，就面臨一個(gè) redis 容量和價(jià)格的權(quán)衡問(wèn)題。改業(yè)務(wù)代碼是來(lái)不及了，只好用一些持久化存儲(chǔ) ，來(lái)模擬 redis 的一些數(shù)據(jù)結(jié)構(gòu)。

redis 支持近十種數(shù)據(jù)類(lèi)型，最常用的有5種。string、hash、zset、set、list等。本文將針對(duì)幾種常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，探討一下常用操作的模擬實(shí)現(xiàn)。

其實(shí)，我們所需要開(kāi)發(fā)的，就是一個(gè)redis代理proxy。redis的客戶(hù)端，連接上我們的代理之后，會(huì)進(jìn)行協(xié)議解析。解析出來(lái)的命令，將會(huì)被模擬，然后根據(jù)配置的路由，定位到相應(yīng)的mysql中。

也就是你所使用的redis，其實(shí)使用mysql來(lái)存儲(chǔ)數(shù)據(jù)的。沒(méi)有rdb，也沒(méi)有aof。

Redis是文本協(xié)議

redis是文本協(xié)議，協(xié)議名稱(chēng)叫做RESP。RESP 是 Redis 序列化協(xié)議的簡(jiǎn)寫(xiě)。它是一種直觀(guān)的文本協(xié)議，優(yōu)勢(shì)在于實(shí)現(xiàn)異常簡(jiǎn)單，解析性能極好。

如圖，Redis 協(xié)議將傳輸?shù)慕Y(jié)構(gòu)數(shù)據(jù)，可以總結(jié)為 5 種最小單元類(lèi)型。每個(gè)單元結(jié)束時(shí)，統(tǒng)一加上回車(chē)換行符號(hào) \r\n 。

下面是幾個(gè)規(guī)則：

單行字符串 以 + 開(kāi)頭；
多行字符串 以 $ 開(kāi)頭，后跟字符串長(zhǎng)度；
整數(shù)值 以 : 開(kāi)頭，后跟整數(shù)的字符串形式；
錯(cuò)誤消息 以 - 符號(hào)開(kāi)頭；
數(shù)組 以 * 號(hào)開(kāi)頭，后跟數(shù)組的長(zhǎng)度；

比如，下面這個(gè)就是數(shù)組[9,9,6]的報(bào)文。

*3\r\n:9\r\n:9\r\n:6\r\n

所以這個(gè)協(xié)議的解析和拼裝，是非常簡(jiǎn)單的。拿netty來(lái)說(shuō)，就有codec-redis 模塊供我們使用。

實(shí)現(xiàn)：數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

在數(shù)據(jù)表的設(shè)計(jì)上，我們發(fā)現(xiàn)，kv和hash在效率上沒(méi)有什么差別，因?yàn)樗軌蛑苯痈鶕?jù)key定位到。

反倒是zset，由于有排序的功能，造成了很多操作的執(zhí)行效率都不盡人意。

另外，由于我們不同的數(shù)據(jù)結(jié)構(gòu)，是使用不同的表進(jìn)行存儲(chǔ)的。所以刪除操作，要在每張表上都執(zhí)行一遍。

kv設(shè)計(jì)

kv，即string，是redis里最基本的數(shù)據(jù)類(lèi)型。一個(gè)key對(duì)應(yīng)一個(gè)value，string類(lèi)型的值最大能存儲(chǔ)512MB。

設(shè)計(jì)專(zhuān)用的數(shù)據(jù)庫(kù)表rstore_kv，其中，rkey是主鍵。

rkey        varchar
val     varchar
lastTime    bigint

set操作

insert into rstore_kv("rkey","val","lastTime") values($1,$2,$3)
on duplicate key update set "val"=$2,"lastTime"=$3

get操作

select val from rstore_kv where "rkey" = $1

del操作

delete from rstore_kv where "rkey" = $1

exists操作

select count(*) as n from rstore_kv where  "rkey" = $1

ttl操作

select lastTIme from rstore_kv  where  "rkey" = $1

hash設(shè)計(jì)

hash 是一個(gè)鍵值(key=>value)對(duì)集合。hash 特別適合用于存儲(chǔ)對(duì)象。

設(shè)計(jì)專(zhuān)用的數(shù)據(jù)庫(kù)表rstore_hash，其中，rkey和hkey是聯(lián)合主鍵。

rkey        varchar
hkey        varchar
val     varchar
lastTime    bigint

hset操作

insert into rstore_hash("rkey","hkey","val","lastTime") values($1,$2,$3,$4)
on duplicate key update set "val"=$3,"lastTime"=$4

hget操作

select val from rstore_hash where "rkey" = $1 and "hkey" = $2

hgetall操作

select hkey,val from rstore_hash where "rkey" = $1

hdel操作

delete from rstore_hash where "rkey" = $1 and "hkey" = $2

del操作

delete from rstore_hash where "rkey" = $1

hlen,hexists操作

select count(*) as num from rstore_hash where "rkey" = $1

ttl操作

select max(lastTIme) from rstore_hash  where  "rkey" = $1

zset設(shè)計(jì)

Redis zset 和 set 一樣也是string類(lèi)型元素的集合,且不允許重復(fù)的成員。不同的是每個(gè)元素都會(huì)關(guān)聯(lián)一個(gè)double類(lèi)型的分?jǐn)?shù)。redis正是通過(guò)分?jǐn)?shù)來(lái)為集合中的成員進(jìn)行從小到大的排序。它的底層結(jié)構(gòu)是跳躍表，效率特別高，但是會(huì)占用大量?jī)?nèi)存。

設(shè)計(jì)專(zhuān)用的數(shù)據(jù)庫(kù)表rstore_zset，其中，rkey和member是聯(lián)合主鍵。

rkey        varchar
member        varchar
score     double
lastTime    bigint

zadd操作

insert into rstore_zset("rkey","member","score","lastTime") values($1,$2,$3,$4) on duplicate key update update set "score"=$3,"lastTime"=$4

zscore操作

select score from rstore_zset where "rkey" = $1 and "member" = $2

zrem操作

delete from rstore_zset where "rkey" = $1 and "member" = $2"

zcard,exists操作

select count(*) as num from rstore_zset where "rkey" = $1

zcount操作

select count(*) as num from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3

zremrangebyscore操作

delete from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3

zrangebyscore操作

select member,score from rstore_zset
where "rkey" = $1 and score>=$2 and score<=$3 order by score asc,member asc

zrange操作

select member,score from rstore_zset
where "rkey" = $1 order by score asc offset $2 limit $3

zrank操作

select rank from (select member,rank() over (order by "score" asc, "lastTime" asc) as rank from rstore_zset where "rkey" = $1 ) m where m."member"= $2;

ttl操作

select max(lastTIme) from rstore_zset  where  "rkey" = $1

del操作

delete from rstore_zset where "rkey" = $1

set設(shè)計(jì)

Redis的Set是string類(lèi)型的無(wú)序集合。

設(shè)計(jì)專(zhuān)用的數(shù)據(jù)庫(kù)表rstore_set，其中，rkey和member是聯(lián)合主鍵。

rkey        varchar
member        varchar
lastTime    bigint

sadd操作

insert into rstore_set("rkey","member","lastTime") values($1,$2,$3)
on duplicate key update update set "lastTime"=$3

scard操作

select count(*) as num from rstore_set where "rkey" = $1

sismember操作

select member from rstore_set where "rkey" = $1 and "member" = $2

smembers操作

select member from rstore_set where "rkey" = $1

srem操作

delete from rstore_set where "rkey" = $1 and "member" = $2

del操作

delete from rstore_set where "rkey" = $1

ttl操作

select max(lastTIme) from rstore_set  where  "rkey" = $1

End

本篇文章僅僅模擬了最常用數(shù)據(jù)結(jié)構(gòu)的最常用功能，有很多很多功能是不支持的，比較明顯的就是分布式鎖setnx等。所以這個(gè)proxy層的開(kāi)發(fā)，要想做到ok，并不是那么簡(jiǎn)單。

同時(shí)，我們以一種模擬的視角，來(lái)看一下redis的數(shù)據(jù)結(jié)構(gòu)，在關(guān)系型數(shù)據(jù)庫(kù)中的表現(xiàn)形式。這樣，更能夠加深我們對(duì)redis的認(rèn)識(shí)，明白它存在的價(jià)值。

以上就是W3Cschool編程獅關(guān)于架構(gòu)秘笈：移花接木。使用mysql模擬redis的相關(guān)介紹了，希望對(duì)大家有所幫助。