共計 2589 個字符，預計需要花費 7 分鐘才能閱讀完成。
如何高效的在 Mysql 百萬級數據量級下遷移到 Redis，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
redis 協議學習
協議的格式為：
* 參數數量 \r\n
$ 參數 1 的字節數量 \r\n
參數 1 的數據 \r\n
...
$ 參數 N 的字節數量 \r\n
參數 N 的數據 \r\n比如：插入一條 hash 類型的數據。
HSET id book1 book_description1根據 Redis 協議，總共有 4 個部分，所以開頭為 *4，其余內容解釋如下：
內容長度協議命令 HSET4$4id2$2book15$5book_description117$17
注意一下：HSET 命令本身也作為協議的其中一個參數來發送。
構造出來的協議數據結構：
*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n
格式化一下：
*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\nRESP 協議 bulk
Redis 客戶機使用一種稱為 RESP (Redis 序列化協議) 的協議與 Redis 服務器通信。
redis-cli pipe 模式需要和 nc 命令一樣快，并且解決了 nc 命令不知道何時命令結束的問題。
在發送數據的同時，它同樣會去讀取響應，嘗試去解析。
一旦輸入流中沒有讀取到更多的數據之后，它就會發送一個特殊的 20 比特的 echo 命令，標識最后一個命令已經發送完畢如果在響應結果中匹配到這個相同數據后，說明本次批量發送是成功的。
使用這個技巧，我們不需要解析發送給服務器的協議來了解我們發送了多少命令，只需要解析應答即可。
在解析應答時，redis 會對解析的應答進行一個計數，在最后能夠告訴用戶大量插入會話向服務器傳輸的命令的數量。也就是上面我們使用 pipe 模式實際操作的響應結果。
將輸入數據源換成 mysql
上面的例子中，我們以一個 txt 文本為輸入數據源，使用了 pipe 模式導入數據。
基于上述協議的學習和理解，我們只需要將 mysql 中的數據按照既定的協議通過 pipe 模式導入 Redis 即可。
實際案例 – 從 Mysql 導入百萬級數據到 Redis 首先造數據
由于環境限制，所以這里沒有用真實數據來實現導入，那么我們就先使用一個存儲過程來造一百萬條數據把。使用存儲過程如下：
DELIMITER $$
USE `cb_mon`$$
DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i = 1000000
DO
INSERT INTO t_book(id,number,NAME,descrition)
VALUES (i, CONCAT( 00000 ,i) , CONCAT(book ,i)
, CONCAT(book_description ,i));
SET i=i+1;
END WHILE ;
COMMIT;
END$$
DELIMITER ;調用存儲過程：
CALL test_insert();查看表數據：
按協議構造查詢語句
按照上述 redis 協議，我們使用如下 sql 來構造協議數據
SELECT
CONCAT(
*4\r\n ,
$ ,
LENGTH(redis_cmd),
\r\n ,
redis_cmd,
\r\n ,
$ ,
LENGTH(redis_key),
\r\n ,
redis_key,
\r\n ,
$ ,
LENGTH(hkey),
\r\n ,
hkey,
\r\n ,
$ ,
LENGTH(hval),
\r\n ,
hval,
\r
)
FROM
(SELECT
HSET AS redis_cmd,
id AS redis_key,
NAME AS hkey,
descrition AS hval
FROM
cb_mon.t_book
) AS t limit 1000000并將內容保存至 redis.sql 文件中。
編寫腳本使用 pipe 模式導入 redis
編寫 shell 腳本。由于我在主機上是通過 docker 安裝的 redis 和 mysql，以下腳本供參考：
#!/bin/bash
starttime=`date + %Y-%m-%d %H:%M:%S `
docker exec -i 899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe
endtime=`date + %Y-%m-%d %H:%M:%S `
start_seconds=$(date --date= $starttime +%s);
end_seconds=$(date --date= $endtime +%s);
echo 腳本執行耗時：$((end_seconds-start_seconds)) s
執行截圖：
可以看到百萬級的數據導入 redis，只花費了 7 秒，效率非常高。
注意事項
如果 mysql 表特別大，可以考慮分批導入，或者將表拆分，否則在導入過程中可能會發生
lost connection to mysql server during query由于 max_allowed_packed 和超時時間限制，查詢數據的過程中，可能會造成連接斷開，所以在數據表的數據量特別大的時候，需要分頁或者將表拆分導入。
小結
redis 單線程執行命令，避免了線程切換所消耗的時間，但是在超大數據量級下，其發送、響應接收的時延不可忽視。
網絡 nc 命令的應用場景，及在數據導入時存在的缺點。
redis RESP 協議的理解和應用。
百萬量級 Mysql 數據的 Redis 快速導入案例。
看完上述內容，你們掌握如何高效的在 Mysql 百萬級數據量級下遷移到 Redis 的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注丸趣 TV 行業資訊頻道，感謝各位的閱讀！
