共計 17928 個字符，預計需要花費 45 分鐘才能閱讀完成。
自動寫代碼機器人，免費開通
這篇文章將為大家詳細講解有關 redis 與 memcached 的區別是什么，文章內容質量較高，因此丸趣 TV 小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。
傳統 MySQL+ Memcached 架構遇到的問題
實際 MySQL 是適合進行海量數據存儲的，通過 Memcached 將熱點數據加載到 cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務數據量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：
1.MySQL 需要不斷進行拆庫拆表，Memcached 也需不斷跟著擴容，擴容和維護工作占據大量開發時間。
2.Memcached 與 MySQL 數據庫數據一致性問題。
3.Memcached 數據命中率低或 down 機，大量訪問直接穿透到 DB，MySQL 無法支撐。
4. 跨機房 cache 同步問題。
眾多 NoSQL 百花齊放，如何選擇
最近幾年，業界不斷涌現出很多各種各樣的 NoSQL 產品，那么如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的問題，實際歸根結底最重要的是了解這些產品的定位，并且了解到每款產品的 tradeoffs，在實際應用中做到揚長避短，總體上這些 NoSQL 主要用于解決以下幾種問題
1. 少量數據存儲，高速讀寫訪問。此類產品通過數據全部 in-momery 的方式來保證高速訪問，同時提供數據落地的功能，實際這正是 Redis 最主要的適用場景。
2. 海量數據存儲，分布式系統支持，數據一致性保證，方便的集群節點添加 / 刪除。
3. 這方面最具代表性的是 dynamo 和 bigtable 2 篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間通過 gossip 方式傳遞集群信息，數據保證最終一致性，后者是一個中心化的方案設計，通過類似一個分布式鎖服務來保證強一致性, 數據寫入先寫內存和 redo log，然后定期 compat 歸并到磁盤上，將隨機寫優化為順序寫，提高寫入性能。
4.Schema free，auto-sharding 等。比如目前常見的一些文檔數據庫都是支持 schema-free 的，直接存儲 json 格式數據，并且支持 auto-sharding 等功能，比如 mongodb。
面對這些不同類型的 NoSQL 產品, 我們需要根據我們的業務場景選擇最合適的產品。
Redis 適用場景，如何正確的使用
前面已經分析過，Redis 最適合所有數據 in-momory 的場景，雖然 Redis 也提供持久化功能，但實際更多的是一個 disk-backed 的功能，跟傳統意義上的持久化有比較大的差別，那么可能大家就會有疑問，似乎 Redis 更像一個加強版的 Memcached，那么何時使用 Memcached, 何時使用 Redis 呢?
如果簡單地比較 Redis 與 Memcached 的區別，大多數都會得到以下觀點：
1 Redis 不僅僅支持簡單的 k / v 類型的數據，同時還提供 list，set，zset，hash 等數據結構的存儲。
2 Redis 支持數據的備份，即 master-slave 模式的數據備份。
3 Redis 支持數據的持久化，可以將內存中的數據保持在磁盤中，重啟的時候可以再次加載進行使用。
拋開這些，可以深入到 Redis 內部構造去觀察更加本質的區別，理解 Redis 的設計。
在 Redis 中，并不是所有的數據都一直存儲在內存中的。這是和 Memcached 相比一個最大的區別。Redis 只會緩存所有的 key 的信息，如果 Redis 發現內存的使用量超過了某一個閥值，將觸發 swap 的操作，Redis 根據“swappability = age*log(size_in_memory)”計 算出哪些 key 對應的 value 需要 swap 到磁盤。然后再將這些 key 對應的 value 持久化到磁盤中，同時在內存中清除。這種特性使得 Redis 可以 保持超過其機器本身內存大小的數據。當然，機器本身的內存必須要能夠保持所有的 key，畢竟這些數據是不會進行 swap 操作的。同時由于 Redis 將內存 中的數據 swap 到磁盤中的時候，提供服務的主線程和進行 swap 操作的子線程會共享這部分內存，所以如果更新需要 swap 的數據，Redis 將阻塞這個 操作，直到子線程完成 swap 操作后才可以進行修改。
使用 Redis 特有內存模型前后的情況對比：
VM off: 300k keys, 4096 bytes values: 1.3G used
VM on: 300k keys, 4096 bytes values: 73M used
VM off: 1 million keys, 256 bytes values: 430.12M used
VM on: 1 million keys, 256 bytes values: 160.09M used
VM on: 1 million keys, values as large as you want, still: 160.09M used當 從 Redis 中讀取數據的時候，如果讀取的 key 對應的 value 不在內存中，那么 Redis 就需要從 swap 文件中加載相應數據，然后再返回給請求方。這里就存在一個 I / O 線程池的問題。在默認的情況下，Redis 會出現阻塞，即完成所有的 swap 文件加載后才會相應。這種策略在客戶端的數量較小，進行 批量操作的時候比較合適。但是如果將 Redis 應用在一個大型的網站應用程序中，這顯然是無法滿足大并發的情況的。所以 Redis 運行我們設置 I / O 線程 池的大小，對需要從 swap 文件中加載相應數據的讀取請求進行并發操作，減少阻塞的時間。
如果希望在海量數據的環境中使用好 Redis，我相信理解 Redis 的內存設計和阻塞的情況是不可缺少的。
補充的知識點：
memcached 和 redis 的比較
1 網絡 IO 模型
Memcached 是多線程，非阻塞 IO 復用的網絡模型，分為監聽主線程和 worker 子線程，監聽線程監聽網絡連接，接受請求后，將連接描述字 pipe 傳遞給 worker 線程，進行讀寫 IO, 網絡層使用 libevent 封裝的事件庫，多線程模型可以發揮多核作用，但是引入了 cache coherency 和鎖的問題，比如，Memcached 最常用的 stats 命令，實際 Memcached 所有操作都要對這個全局變量加鎖，進行計數等工作，帶來了性能損耗。
(Memcached 網絡 IO 模型)
Redis 使用單線程的 IO 復用模型，自己封裝了一個簡單的 AeEvent 事件處理框架，主要實現了 epoll、kqueue 和 select，對于單純只有 IO 操作來說，單線程可以將速度優勢發揮到最大，但是 Redis 也提供了一些簡單的計算功能，比如排序、聚合等，對于這些操作，單線程模型實際會嚴重影響整體吞吐量，CPU 計算過程中，整個 IO 調度都是被阻塞住的。
2. 內存管理方面
Memcached 使用預分配的內存池的方式，使用 slab 和大小不同的 chunk 來管理內存，Item 根據大小選擇合適的 chunk 存儲，內存池的方式可以省去申請 / 釋放內存的開銷，并且能減小內存碎片產生，但這種方式也會帶來一定程度上的空間浪費，并且在內存仍然有很大空間時，新的數據也可能會被剔除，原因可以參考 Timyang 的文章：http://timyang.net/data/Memcached-lru-evictions/
Redis 使用現場申請內存的方式來存儲數據，并且很少使用 free-list 等方式來優化內存分配，會在一定程度上存在內存碎片，Redis 跟據存儲命令參數，會把帶過期時間的數據單獨存放在一起，并把它們稱為臨時數據，非臨時數據是永遠不會被剔除的，即便物理內存不夠，導致 swap 也不會剔除任何非臨時數據(但會嘗試剔除部分臨時數據)，這點上 Redis 更適合作為存儲而不是 cache。
3. 數據一致性問題
Memcached 提供了 cas 命令，可以保證多個并發訪問操作同一份數據的一致性問題。Redis 沒有提供 cas 命令，并不能保證這點，不過 Redis 提供了事務的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。
4. 存儲方式及其它方面
Memcached 基本只支持簡單的 key-value 存儲，不支持枚舉，不支持持久化和復制等功能
Redis 除 key/value 之外，還支持 list,set,sorted set,hash 等眾多數據結構，提供了 KEYS
進行枚舉操作，但不能在線上使用，如果需要枚舉線上數據，Redis 提供了工具可以直接掃描其 dump 文件，枚舉出所有數據，Redis 還同時提供了持久化和復制等功能。
5. 關于不同語言的客戶端支持
在不同語言的客戶端方面，Memcached 和 Redis 都有豐富的第三方客戶端可供選擇，不過因為 Memcached 發展的時間更久一些，目前看在客戶端支持方面，Memcached 的很多客戶端更加成熟穩定，而 Redis 由于其協議本身就比 Memcached 復雜，加上作者不斷增加新的功能等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。
根據以上比較不難看出，當我們不希望數據被踢出，或者需要除 key/value 之外的更多數據類型時，或者需要落地功能時，使用 Redis 比使用 Memcached 更合適。
關于 Redis 的一些周邊功能
Redis 除了作為存儲之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting 等，對于此類功能需要了解其實現原理，清楚地了解到它的局限性后，才能正確的使用，比如 pubsub 功能，這個實際是沒有任何持久化支持的，消費方連接閃斷或重連之間過來的消息是會全部丟失的，又比如聚合計算和 scripting 等功能受 Redis 單線程模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。
總的來說 Redis 作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入了解后再使用。
總結：
1.Redis 使用最佳方式是全部數據 in-memory。
2.Redis 更多場景是作為 Memcached 的替代者來使用。
3. 當需要除 key/value 之外的更多數據類型支持時，使用 Redis 更合適。
4. 當存儲的數據不能被剔除時，使用 Redis 更合適。
談談 Memcached 與 Redis
1. Memcached 簡介
Memcached 是以 LiveJurnal 旗下 Danga Interactive 公司的 Bard Fitzpatric 為首開發的高性能分布式內存緩存服務器。其本質上就是一個內存 key-value 數據庫，但是不支持數據的持久化，服務器關閉之后數據全部丟失。Memcached 使用 C 語言開發，在大多數像 Linux、BSD 和 Solaris 等 POSIX 系統上，只要安裝了 libevent 即可使用。在 Windows 下，它也有一個可用的非官方版本(http://code.jellycan.com/memcached/)。Memcached 的客戶端軟件實現非常多，包括 C /C++, PHP, Java, Python, Ruby, Perl, Erlang, Lua 等。當前 Memcached 使用廣泛，除了 LiveJournal 以外還有 Wikipedia、Flickr、Twitter、Youtube 和 WordPress 等。
在 Window 系統下，Memcached 的安裝非常方便，只需從以上給出的地址下載可執行軟件然后運行 memcached.exe –d install 即可完成安裝。在 Linux 等系統下，我們首先需要安裝 libevent，然后從獲取源碼，make make install 即可。默認情況下，Memcached 的服務器啟動程序會安裝到 /usr/local/bin 目錄下。在啟動 Memcached 時，我們可以為其配置不同的啟動參數。
1.1 Memcache 配置
Memcached 服務器在啟動時需要對關鍵的參數進行配置，下面我們就看一看 Memcached 在啟動時需要設定哪些關鍵參數以及這些參數的作用。
1）-p num Memcached 的 TCP 監聽端口，缺省配置為 11211；
2）-U num Memcached 的 UDP 監聽端口，缺省配置為 11211，為 0 時表示關閉 UDP 監聽；
3）-s file Memcached 監聽的 UNIX 套接字路徑；
4）-a mask 訪問 UNIX 套接字的八進制掩碼，缺省配置為 0700；
5）-l addr 監聽的服務器 IP 地址，默認為所有網卡；
6）-d 為 Memcached 服務器啟動守護進程；
7）-r 最大 core 文件大小；
8）-u username 運行 Memcached 的用戶，如果當前為 root 的話需要使用此參數指定用戶；
9）-m num 分配給 Memcached 使用的內存數量，單位是 MB；
10）-M 指示 Memcached 在內存用光的時候返回錯誤而不是使用 LRU 算法移除數據記錄；
11）-c num 最大并發連數，缺省配置為 1024；
12）-v –vv –vvv 設定服務器端打印的消息的詳細程度，其中 - v 僅打印錯誤和警告信息，-vv 在 - v 的基礎上還會打印客戶端的命令和相應，-vvv 在 -vv 的基礎上還會打印內存狀態轉換信息；
13）-f factor 用于設置 chunk 大小的遞增因子；
14）-n bytes 最小的 chunk 大小，缺省配置為 48 個字節；
15）-t num Memcached 服務器使用的線程數，缺省配置為 4 個；
16）-L 嘗試使用大內存頁；
17）-R 每個事件的最大請求數，缺省配置為 20 個；
18）-C 禁用 CAS，CAS 模式會帶來 8 個字節的冗余；
2. Redis 簡介
Redis 是一個開源的 key-value 存儲系統。與 Memcached 類似，Redis 將大部分數據存儲在內存中，支持的數據類型包括：字符串、哈希表、鏈表、集合、有序集合以及基于這些數據類型的相關操作。Redis 使用 C 語言開發，在大多數像 Linux、BSD 和 Solaris 等 POSIX 系統上無需任何外部依賴就可以使用。Redis 支持的客戶端語言也非常豐富，常用的計算機語言如 C、C#、C++、Object-C、PHP、Python、Java、Perl、Lua、Erlang 等均有可用的客戶端來訪問 Redis 服務器。當前 Redis 的應用已經非常廣泛，國內像新浪、淘寶，國外像 Flickr、Github 等均在使用 Redis 的緩存服務。
Redis 的安裝非常方便，只需從 http://redis.io/download 獲取源碼，然后 make make install 即可。默認情況下，Redis 的服務器啟動程序和客戶端程序會安裝到 /usr/local/bin 目錄下。在啟動 Redis 服務器時，我們需要為其指定一個配置文件，缺省情況下配置文件在 Redis 的源碼目錄下，文件名為 redis.conf。
2.1 Redis 配置文件
為了對 Redis 的系統實現有一個直接的認識，我們首先來看一下 Redis 的配置文件中定義了哪些主要參數以及這些參數的作用。
1）daemonize no 默認情況下，redis 不是在后臺運行的。如果需要在后臺運行，把該項的值更改為 yes；
2）pidfile /var/run/redis.pid 當 Redis 在后臺運行的時候，Redis 默認會把 pid 文件放在 /var/run/redis.pid，你可以配置到其他地址。當運行多個 redis 服務時，需要指定不同的 pid 文件和端口；
3）port 6379 指定 redis 運行的端口，默認是 6379；
4）bind 127.0.0.1 指定 redis 只接收來自于該 IP 地址的請求，如果不進行設置，那么將處理所有請求。在生產環境中最好設置該項；
5）loglevel debug 指定日志記錄級別，其中 Redis 總共支持四個級別：debug、verbose、notice、warning，默認為 verbose。debug 表示記錄很多信息，用于開發和測試。verbose 表示記錄有用的信息，但不像 debug 會記錄那么多。notice 表示普通的 verbose，常用于生產環境。
warning 表示只有非常重要或者嚴重的信息會記錄到日志；
6）logfile /var/log/redis/redis.log 配置 log 文件地址，默認值為 stdout。若后臺模式會輸出到 /dev/null；
7）databases 16 可用數據庫數，默認值為 16，默認數據庫為 0，數據庫范圍在 0 -（database-1）之間；
8）save 900 1 保存數據到磁盤，格式為 save seconds changes，指出在多長時間內，有多少次更新操作，就將數據同步到數據文件 rdb。相當于條件觸發抓取快照，這個可以多個條件配合。save 900 1 就表示 900 秒內至少有 1 個 key 被改變就保存數據到磁盤；
9）rdbcompression yes 存儲至本地數據庫時（持久化到 rdb 文件）是否壓縮數據，默認為 yes；
10）dbfilename dump.rdb 本地持久化數據庫文件名，默認值為 dump.rdb；
11）dir ./ 工作目錄，數據庫鏡像備份的文件放置的路徑。這里的路徑跟文件名要分開配置是因為 redis 在進行備份時，先會將當前數據庫的狀態寫入到一個臨時文件中，等備份完成時，再把該臨時文件替換為上面所指定的文件。而這里的臨時文件和上面所配置的備份文件都會放在這個指定的路徑當中，AOF 文件也會存放在這個目錄下面。注意這里必須指定一個目錄而不是文件；
12）slaveof masterip masterport 主從復制，設置該數據庫為其他數據庫的從數據庫。設置當本機為 slave 服務時，設置 master 服務的 IP 地址及端口。在 Redis 啟動時，它會自動從 master 進行數據同步；
13）masterauth master-password 當 master 服務設置了密碼保護時(用 requirepass 制定的密碼)slave 服務連接 master 的密碼；
14）slave-serve-stale-data yes 當從庫同主機失去連接或者復制正在進行，從機庫有兩種運行方式：如果 slave-serve-stale-data 設置為 yes(默認設置)，從庫會繼續相應客戶端的請求。如果 slave-serve-stale-data 是指為 no，除去 INFO 和 SLAVOF 命令之外的任何請求都會返回一個錯誤 SYNC with master in progress；
15）repl-ping-slave-period 10 從庫會按照一個時間間隔向主庫發送 PING，可以通過 repl-ping-slave-period 設置這個時間間隔，默認是 10 秒；
16）repl-timeout 60 設置主庫批量數據傳輸時間或者 ping 回復時間間隔，默認值是 60 秒，一定要確保 repl-timeout 大于 repl-ping-slave-period；
17）requirepass foobared 設置客戶端連接后進行任何其他指定前需要使用的密碼。因為 redis 速度相當快，所以在一臺比較好的服務器下，一個外部的用戶可以在一秒鐘進行 150K 次的密碼嘗試，這意味著你需要指定非常強大的密碼來防止暴力破解；
18）rename-command CONFIG 命令重命名，在一個共享環境下可以重命名相對危險的命令，比如把 CONFIG 重名為一個不容易猜測的字符：# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52。如果想刪除一個命令，直接把它重命名為一個空字符 即可：rename-command CONFIG；
19）maxclients 128 設置同一時間最大客戶端連接數，默認無限制。Redis 可以同時打開的客戶端連接數為 Redis 進程可以打開的最大文件描述符數。如果設置 maxclients 0，表示不作限制。當客戶端連接數到達限制時，Redis 會關閉新的連接并向客戶端返回 max number of clients
reached 錯誤信息；
20）maxmemory bytes 指定 Redis 最大內存限制。Redis 在啟動時會把數據加載到內存中，達到最大內存后，Redis 會先嘗試清除已到期或即將到期的 Key，Redis 同時也會移除空的 list 對象。當此方法處理后，仍然到達最大內存設置，將無法再進行寫入操作，但仍然可以進行讀取操作。注意：Redis 新的 vm 機制，會把 Key 存放內存，Value 會存放在 swap 區；
21）maxmemory-policy volatile-lru 當內存達到最大值的時候 Redis 會選擇刪除哪些數據呢？有五種方式可供選擇：volatile-lru 代表利用 LRU 算法移除設置過過期時間的 key (LRU: 最近使用 Least Recently Used)，allkeys-lru 代表利用 LRU 算法移除任何 key，volatile-random 代表移除設置過過期時間的隨機 key，allkeys_random 代表移除一個隨機的 key，volatile-ttl 代表移除即將過期的 key(minor TTL)，noeviction 代表不移除任何 key，只是返回一個寫錯誤。
注意：對于上面的策略，如果沒有合適的 key 可以移除，寫的時候 Redis 會返回一個錯誤；
22）appendonly no 默認情況下，redis 會在后臺異步的把數據庫鏡像備份到磁盤，但是該備份是非常耗時的，而且備份也不能很頻繁。如果發生諸如拉閘限電、拔插頭等狀況，那么將造成比較大范圍的數據丟失，所以 redis 提供了另外一種更加高效的數據庫備份及災難恢復方式。開啟 append only 模式之后，redis 會把所接收到的每一次寫操作請求都追加到 appendonly.aof 文件中。當 redis 重新啟動時，會從該文件恢復出之前的狀態，但是這樣會造成 appendonly.aof 文件過大，所以 redis 還支持了 BGREWRITEAOF 指令對 appendonly.aof 進行重新整理，你可以同時
開啟 asynchronous dumps 和 AOF；
23）appendfilename appendonly.aof AOF 文件名稱, 默認為 appendonly.aof
24）appendfsync everysec Redis 支持三種同步 AOF 文件的策略: no 代表不進行同步，系統去操作，always 代表每次有寫操作都進行同步，everysec 代表對寫操作進行累積，每秒同步一次，默認是 everysec，按照速度和安全折中這是最好的。
25）slowlog-log-slower-than 10000 記錄超過特定執行時間的命令。執行時間不包括 I / O 計算，比如連接客戶端，返回結果等，只是命令執行時間。可以通過兩個參數設置 slow log：一個是告訴 Redis 執行超過多少時間被記錄的參數 slowlog-log-slower-than(微妙)，另一個是 slow
log 的長度。當一個新命令被記錄的時候最早的命令將被從隊列中移除，下面的時間以微妙微單位，因此 1000000 代表一分鐘。注意制定一個負數將關閉慢日志，而設置為 0 將強制每個命令都會記錄；
26）hash-max-zipmap-entries 512 hash-max-zipmap-value 64 當 hash 中包含超過指定元素個數并且最大的元素沒有超過臨界時，hash 將以一種特殊的編碼方式（大大減少內存使用）來存儲，這里可以設置這兩個臨界值。Redis Hash 對應 Value 內部實際就是一個 HashMap，實際這里會有 2 種不同實現。這個 Hash 的成員比較少時 Redis 為了節省內存會采用類似一維數組的方式來緊湊存儲，而不會采用真正的 HashMap 結構，對應的 value redisObject 的 encoding 為 zipmap。當成員數量增大時會自動轉成真正的 HashMap，此時 encoding 為 ht；
27）list-max-ziplist-entries 512 list 數據類型多少節點以下會采用去指針的緊湊存儲格式；
28）list-max-ziplist-value 64 數據類型節點值大小小于多少字節會采用緊湊存儲格式；
29）set-max-intset-entries 512 set 數據類型內部數據如果全部是數值型，且包含多少節點以下會采用緊湊格式存儲；
30）zset-max-ziplist-entries 128 zsort 數據類型多少節點以下會采用去指針的緊湊存儲格式；
31）zset-max-ziplist-value 64 zsort 數據類型節點值大小小于多少字節會采用緊湊存儲格式。
32）activerehashing yes Redis 將在每 100 毫秒時使用 1 毫秒的 CPU 時間來對 redis 的 hash 表進行重新 hash，可以降低內存的使用。當你的使用場景中，有非常嚴格的實時性需要，不能夠接受 Redis 時不時的對請求有 2 毫秒的延遲的話，把這項配置為 no。如果沒有這么嚴格的實時性要求，可以設置為 yes，以便能夠盡可能快的釋放內存；
Redis 的常用數據類型
與 Memcached 僅支持簡單的 key-value 結構的數據記錄不同，Redis 支持的數據類型要豐富得多。最為常用的數據類型主要由五種：String、Hash、List、Set 和 Sorted Set。在具體描述這幾種數據類型之前，我們先通過一張圖來了解下 Redis 內部內存管理中是如何描述這些不同數據類型的。
圖 1 Redis 對象
Redis 內部使用一個 redisObject 對象來表示所有的 key 和 value。redisObject 最主要的信息如圖 1 所示：type 代表一個 value 對象具體是何種數據類型，encoding 是不同數據類型在 redis 內部的存儲方式，比如：type=string 代表 value 存儲的是一個普通字符串，那么對應的 encoding 可以是 raw 或者是 int，如果是 int 則代表實際 redis 內部是按數值型類存儲和表示這個字符串的，當然前提是這個字符串本身可以用數值表示，比如: 123 456 這樣的字符串。這里需要特殊說明一下 vm 字段，只有打開了 Redis 的虛擬內存功能，此字段才會真正的分配內存，該功能默認是關閉狀態的。通過 Figure1 我們可以發現 Redis 使用 redisObject 來表示所有的 key/value 數據是比較浪費內存的，當然這些內存管理成本的付出主要也是為了給 Redis 不同數據類型提供一個統一的管理接口，實際作者也提供了多種方法幫助我們盡量節省內存使用。下面我們先來逐一的分析下這五種數據類型的使用和內部實現方式。
1）String
常用命令：set/get/decr/incr/mget 等；
應用場景：String 是最常用的一種數據類型，普通的 key/value 存儲都可以歸為此類；
實現方式：String 在 redis 內部存儲默認就是一個字符串，被 redisObject 所引用，當遇到 incr、decr 等操作時會轉成數值型進行計算，此時 redisObject 的 encoding 字段為 int。
2）Hash
常用命令：hget/hset/hgetall 等
應用場景：我們要存儲一個用戶信息對象數據，其中包括用戶 ID、用戶姓名、年齡和生日，通過用戶 ID 我們希望獲取該用戶的姓名或者年齡或者生日；
實現方式：Redis 的 Hash 實際是內部存儲的 Value 為一個 HashMap，并提供了直接存取這個 Map 成員的接口。如圖 2 所示，Key 是用戶 ID, value 是一個 Map。這個 Map 的 key 是成員的屬性名，value 是屬性值。這樣對數據的修改和存取都可以直接通過其內部 Map 的 Key(Redis 里稱內部 Map 的 key 為 field), 也就是通過 key(用戶 ID) + field(屬性標簽) 就可以操作對應屬性數據。當前 HashMap 的實現有兩種方式：當 HashMap 的成員比較少時 Redis 為了節省內存會采用類似一維數組的方式來緊湊存儲，而不會采用真正的 HashMap 結構，這時對應的 value 的 redisObject 的 encoding 為 zipmap，當成員數量增大時會自動轉成真正的 HashMap, 此時 encoding 為 ht。
圖 2 Redis 的 Hash 數據類型
3）List
常用命令：lpush/rpush/lpop/rpop/lrange 等；
應用場景：Redis list 的應用場景非常多，也是 Redis 最重要的數據結構之一，比如 twitter 的關注列表，粉絲列表等都可以用 Redis 的 list 結構來實現；
實現方式：Redis list 的實現為一個雙向鏈表，即可以支持反向查找和遍歷，更方便操作，不過帶來了部分額外的內存開銷，Redis 內部的很多實現，包括發送緩沖隊列等也都是用的這個數據結構。
4）Set
常用命令：sadd/spop/smembers/sunion 等；
應用場景：Redis set 對外提供的功能與 list 類似是一個列表的功能，特殊之處在于 set 是可以自動排重的，當你需要存儲一個列表數據，又不希望出現重復數據時，set 是一個很好的選擇，并且 set 提供了判斷某個成員是否在一個 set 集合內的重要接口，這個也是 list 所不能提供的；
實現方式：set 的內部實現是一個 value 永遠為 null 的 HashMap，實際就是通過計算 hash 的方式來快速排重的，這也是 set 能提供判斷一個成員是否在集合內的原因。
5）Sorted Set
常用命令：zadd/zrange/zrem/zcard 等；
應用場景：Redis sorted set 的使用場景與 set 類似，區別是 set 不是自動有序的，而 sorted set 可以通過用戶額外提供一個優先級 (score) 的參數來為成員排序，并且是插入有序的，即自動排序。當你需要一個有序的并且不重復的集合列表，那么可以選擇 sorted set 數據結構，比如
twitter 的 public timeline 可以以發表時間作為 score 來存儲，這樣獲取時就是自動按時間排好序的。
實現方式：Redis sorted set 的內部使用 HashMap 和跳躍表 (SkipList) 來保證數據的存儲和有序，HashMap 里放的是成員到 score 的映射，而跳躍表里存放的是所有的成員，排序依據是 HashMap 里存的 score, 使用跳躍表的結構可以獲得比較高的查找效率，并且在實現上比較簡單。
2.3 Redis 的持久化
Redis 雖然是基于內存的存儲系統，但是它本身是支持內存數據的持久化的，而且提供兩種主要的持久化策略：RDB 快照和 AOF 日志。我們會在下文分別介紹這兩種不同的持久化策略。
2.3.1 Redis 的 AOF 日志
Redis 支持將當前數據的快照存成一個數據文件的持久化機制，即 RDB 快照。這種方法是非常好理解的，但是一個持續寫入的數據庫如何生成快照呢？Redis 借助了 fork 命令的 copy on write 機制。在生成快照時，將當前進程 fork 出一個子進程，然后在子進程中循環所有的數據，將數據
寫成為 RDB 文件。
我們可以通過 Redis 的 save 指令來配置 RDB 快照生成的時機，比如你可以配置當 10 分鐘以內有 100 次寫入就生成快照，也可以配置當 1 小時內有 1000 次寫入就生成快照，也可以多個規則一起實施。這些規則的定義就在 Redis 的配置文件中，你也可以通過 Redis 的 CONFIG SET 命令在 Redis 運
行時設置規則，不需要重啟 Redis。
Redis 的 RDB 文件不會壞掉，因為其寫操作是在一個新進程中進行的，當生成一個新的 RDB 文件時，Redis 生成的子進程會先將數據寫到一個臨時文件中，然后通過原子性 rename 系統調用將臨時文件重命名為 RDB 文件，這樣在任何時候出現故障，Redis 的 RDB 文件都總是可用的。同時，Redis 的 RDB 文件也是 Redis 主從同步內部實現中的一環。
但是，我們可以很明顯的看到，RDB 有他的不足，就是一旦數據庫出現問題，那么我們的 RDB 文件中保存的數據并不是全新的，從上次 RDB 文件生成到 Redis 停機這段時間的數據全部丟掉了。在某些業務下，這是可以忍受的，我們也推薦這些業務使用 RDB 的方式進行持久化，因為開啟 RDB
的代價并不高。但是對于另外一些對數據安全性要求極高的應用，無法容忍數據丟失的應用，RDB 就無能為力了，所以 Redis 引入了另一個重要的持久化機制：AOF 日志。
Redis 的 AOF 日志
AOF 日志的全稱是 append only file，從名字上我們就能看出來，它是一個追加寫入的日志文件。與一般數據庫的 binlog 不同的是，AOF 文件是可識別的純文本，它的內容就是一個個的 Redis 標準命令。當然，并不是發送發 Redis 的所有命令都要記錄到 AOF 日志里面，只有那些會導致數據發生修改的命令才會追加到 AOF 文件。那么每一條修改數據的命令都生成一條日志，那么 AOF 文件是不是會很大？答案是肯定的，AOF 文件會越來越大，所以 Redis 又提供了一個功能，叫做 AOF rewrite。其功能就是重新生成一份 AOF 文件，新的 AOF 文件中一條記錄的操作只會有一次，而不像一份老文件那樣，可能記錄了對同一個值的多次操作。其生成過程和 RDB 類似，也是 fork 一個進程，直接遍歷數據，寫入新的 AOF 臨時文件。在寫入新文件的過程中，所有的寫操作日志還是會寫到原來老的 AOF 文件中，同時還會記錄在內存緩沖區中。當重完操作完成后，會將所有緩沖區中的日志一次性寫入到臨時文件中。然后調用原子性的 rename 命令用新的 AOF 文件取代老的 AOF 文件。
AOF 是一個寫文件操作，其目的是將操作日志寫到磁盤上，所以它也同樣會遇到我們上面說的寫操作的 5 個流程。那么寫 AOF 的操作安全性又有多高呢。實際上這是可以設置的，在 Redis 中對 AOF 調用 write(2)寫入后，何時再調用 fsync 將其寫到磁盤上，通過 appendfsync 選項來控制，下面 appendfsync 的三個設置項，安全強度逐漸變強。
1）appendfsync no
當設置 appendfsync 為 no 的時候，Redis 不會主動調用 fsync 去將 AOF 日志內容同步到磁盤，所以這一切就完全依賴于操作系統的調試了。對大多數 Linux 操作系統，是每 30 秒進行一次 fsync，將緩沖區中的數據寫到磁盤上。
2）appendfsync everysec
當設置 appendfsync 為 everysec 的時候，Redis 會默認每隔一秒進行一次 fsync 調用，將緩沖區中的數據寫到磁盤。但是當這一次的 fsync 調用時長超過 1 秒時。Redis 會采取延遲 fsync 的策略，再等一秒鐘。也就是在兩秒后再進行 fsync，這一次的 fsync 就不管會執行多長時間都會進行。這時候由于在 fsync 時文件描述符會被阻塞，所以當前的寫操作就會阻塞。所以結論就是，在絕大多數情況下，Redis 會每隔一秒進行一次 fsync。在最壞的情況下，兩秒鐘會進行一次 fsync 操作。這一操作在大多數數據庫系統中被稱為 group commit，就是組合多次寫操作的數據，一次性將日志寫到磁盤。
3）appednfsync always
當設置 appendfsync 為 always 時，每一次寫操作都會調用一次 fsync，這時數據是最安全的，當然，由于每次都會執行 fsync，所以其性能也會受到影響。
3. Memcached 和 Redis 關鍵技術對比
作為內存數據緩沖系統，Memcached 和 Redis 均具有很高的性能，但是兩者在關鍵實現技術上具有很大差異，這種差異決定了兩者具有不同的特點和不同的適用條件。下面我們會對兩者的關鍵技術進行一些對比，以此來揭示兩者的差異。
Memcached 和 Redis 的內存管理機制對比
對于像 Redis 和 Memcached 這種基于內存的數據庫系統來說，內存管理的效率高低是影響系統性能的關鍵因素。傳統 C 語言中的 malloc/free 函數是最常用的分配和釋放內存的方法，但是這種方法存在著很大的缺陷：首先，對于開發人員來說不匹配的 malloc 和 free 容易造成內存泄露；其次，頻繁調用會造成大量內存碎片無法回收重新利用，降低內存利用率；最后，作為系統調用，其系統開銷遠遠大于一般函數調用。所以，為了提高內存的管理效率，高效的內存管理方案都不會直接使用 malloc/free 調用。Redis 和 Memcached 均使用了自身設計的內存管理機制，但是實現方法存在很大的差異，下面將會對兩者的內存管理機制分別進行介紹。
Memcached 的內存管理機制
Memcached 默認使用 Slab Allocation 機制管理內存，其主要思想是按照預先規定的大小，將分配的內存分割成特定長度的塊以存儲相應長度的 key-value 數據記錄，以完全解決內存碎片問題。Slab Allocation 機制只為存儲外部數據而設計，也就是說所有的 key-value 數據都存儲在 Slab Allocation 系統里，而 Memcached 的其它內存請求則通過普通的 malloc/free 來申請，因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響
Slab Allocation 的原理相當簡單。如圖 3 所示，它首先從操作系統申請一大塊內存，并將其分割成各種尺寸的塊 Chunk，并把尺寸相同的塊分成組 Slab Class。其中，Chunk 就是用來存儲 key-value 數據的最小單位。每個 Slab Class 的大小，可以在 Memcached 啟動的時候通過制定 Growth Factor 來控制。假定 Figure 1 中 Growth Factor 的取值為 1.25，所以如果第一組 Chunk 的大小為 88 個字節，第二組 Chunk 的大小就為 112 個字節，依此類推。
圖 3 Memcached 內存管理架構
當 Memcached 接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的 Slab Class，然后通過查詢 Memcached 保存著的該 Slab Class 內空閑 Chunk 的列表就可以找到一個可用于存儲數據的 Chunk。當一條數據庫過期或者丟棄時，該記錄所占用的 Chunk 就可以回收，重新添加到空閑列表中。從以上過程我們可以看出 Memcached 的內存管理制效率高，而且不會造成內存碎片，但是它最大的缺點就是會導致空間浪費。因為每個 Chunk 都分配了特定長度的內存空間，所以變長數據無法充分利用這些空間。如圖 4 所示，將 100 個字節的數據緩存到 128 個字節的 Chunk 中，剩余的 28 個字節就浪費掉了。
圖 4 Memcached 的存儲空間浪費
Redis 的內存管理機制
Redis 的內存管理主要通過源碼中 zmalloc.h 和 zmalloc.c 兩個文件來實現的。Redis 為了方便內存的管理，在分配一塊內存之后，會將這塊內存的大小存入內存塊的頭部。如圖 5 所示，real_ptr 是 redis 調用 malloc 后返回的指針。redis 將內存塊的大小 size 存入頭部，size 所占據的內存大小是已知的，為 size_t 類型的長度，然后返回 ret_ptr。當需要釋放內存的時候，ret_ptr 被傳給內存管理程序。通過 ret_ptr，程序可以很容易的算出 real_ptr 的值，然后將 real_ptr 傳給 free 釋放內存。
圖 5 Redis 塊分配
Redis 通過定義一個數組來記錄所有的內存分配情況，這個數組的長度為 ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表當前程序所分配的內存塊的個數，且內存塊的大小為該元素的下標。在源碼中，這個數組為 zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為 16bytes 的內存塊的個數。zmalloc.c 中有一個靜態變量 used_memory 用來記錄當前分配的內存總大小。所以，總的來看，Redis 采用的是包裝的 mallc/free，相較于 Memcached 的內存管理方法來說，要簡單很多。
Redis 和 Memcached 的集群實現機制對比
Memcached 是全內存的數據緩沖系統，Redis 雖然支持數據的持久化，但是全內存畢竟才是其高性能的本質。作為基于內存的存儲系統來說，機器物理內存的大小就是系統能夠容納的最大數據量。如果需要處理的數據量超過了單臺機器的物理內存大小，就需要構建分布式集群來擴展存儲能力。
Memcached 的分布式存儲
Memcached 本身并不支持分布式，因此只能在客戶端通過像一致性哈希這樣的分布式算法來實現 Memcached 的分布式存儲。圖 6 給出了 Memcached 的分布式存儲實現架構。當客戶端向 Memcached 集群發送數據之前，首先會通過內置的分布式算法計算出該條數據的目標節點，然后數據會直接發送到該節點上存儲。但客戶端查詢數據時，同樣要計算出查詢數據所在的節點，然后直接向該節點發送查詢請求以獲取數據。
圖 6 Memcached 客戶端分布式存儲實現
Redis 的分布式存儲
相較于 Memcached 只能采用客戶端實現分布式存儲，Redis 更偏向于在服務器端構建分布式存儲。盡管 Redis 當前已經發布的穩定版本還沒有添加分布式存儲功能，但 Redis 開發版中已經具備了 Redis Cluster 的基本功能。預計在 2.6 版本之后，Redis 就會發布完全支持分布式的穩定版本，時間不晚于 2012 年底。下面我們會根據開發版中的實現，簡單介紹一下 Redis Cluster 的核心思想。
Redis Cluster 是一個實現了分布式且允許單點故障的 Redis 高級版本，它沒有中心節點，具有線性可伸縮的功能。圖 7 給出 Redis Cluster 的分布式存儲架構，其中節點與節點之間通過二進制協議進行通信，節點與客戶端之間通過 ascii 協議進行通信。在數據的放置策略上，Redis Cluster 將整個 key 的數值域分成 4096 個哈希槽，每個節點上可以存儲一個或多個哈希槽，也就是說當前 Redis Cluster 支持的最大節點數就是 4096。Redis Cluster 使用的分布式算法也很簡單：crc16(key) % HASH_SLOTS_NUMBER。
圖 7 Redis 分布式架構
為了保證單點故障下的數據可用性，Redis Cluster 引入了 Master 節點和 Slave 節點。如圖 4 所示，在 Redis Cluster 中，每個 Master 節點都會有對應的兩個用于冗余的 Slave 節點。這樣在整個集群中，任意兩個節點的宕機都不會導致數據的不可用。當 Master 節點退出后，集群會自動選擇一個 Slave 節點成為新的 Master 節點。
圖 8 Redis Cluster 中的 Master 節點和 Slave 節點
Redis 和 Memcached 整體對比
Redis 的作者 Salvatore Sanfilippo 曾經對這兩種基于內存的數據存儲系統進行過比較，總體來看還是比較客觀的，現總結如下：
1）性能對比：由于 Redis 只使用單核，而 Memcached 可以使用多核，所以平均每一個核上 Redis 在存儲小數據時比 Memcached 性能更高。而在 100k 以上的數據中，Memcached 性能要高于 Redis，雖然 Redis 最近也在存儲大數據的性能上進行優化，但是比起 Memcached，還是稍有遜色。
2）內存使用效率對比：使用簡單的 key-value 存儲的話，Memcached 的內存利用率更高，而如果 Redis 采用 hash 結構來做 key-value 存儲，由于其組合式的壓縮，其內存利用率會高于 Memcached。
3）Redis 支持服務器端的數據操作：Redis 相比 Memcached 來說，擁有更多的數據結構和并支持更豐富的數據操作，通常在 Memcached 里，你需要將數據拿到客戶端來進行類似的修改再 set 回去。這大大增加了網絡 IO 的次數和數據體積。在 Redis 中，這些復雜的操作通常和一般的 GET/SET 一樣高效。所以，如果需要緩存能夠支持更復雜的結構和操作，那么 Redis 會是不錯的選擇。
關于 redis 與 memcached 的區別是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
向 AI 問一下細節
