共計 2012 個字符，預計需要花費 6 分鐘才能閱讀完成。
本篇內容主要講解“Redis 去重的方法有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓丸趣 TV 小編來帶大家學習“Redis 去重的方法有哪些”吧!
唯一計數是網站系統中十分常見的一個功能特性，例如網站需要統計每天訪問的人數 unique visitor（也就是 UV）。計數問題很常見，但解決起來可能十分復雜：一是需要計數的量可能很大，比如大型的站點每天有數百萬的人訪問，數據量相當大；二是通常還希望擴展計數的維度，比如除了需要每天的 UV，還想知道每周或每月的 UV，這樣導致計算十分復雜。
在關系數據庫存儲的系統里，實現唯一計數的方法就是 select count(distinct item_id)，它十分簡單，但是如果數據量很大，這個語句執行是很慢的。用關系數據庫另外一個問題是插入數據性能也不高。
Redis 解決這類計數問題得心應手，相比關系數據庫速度更快，消耗資源更少，甚至提供了 3 種不同的方法。
1. 基于 set
Redis 的 set 用于保存唯一的數據集合，通過它可以快速判斷某一個元素是否存在于集合中，也可以快速計算某一個集合的元素個數，另外和可以合并集合到一個新的集合中。涉及的命令如下：
復制代碼 代碼如下:
SISMEMBER key member # 判斷 member 是否存在
SADD key member # 往集合中加入 member
SCARD key # 獲取集合元素個數 基于 set 的方法簡單有效，計數精確，適用面廣，易于理解，它的缺點是消耗資源比較大（當然比起關系數據庫是少很多的），如果元素個數很大（比如上億的計數），消耗內存很恐怖。
2. 基于 bit
Redis 的 bit 可以用于實現比 set 內存高度壓縮的計數，它通過一個 bit 1 或 0 來存儲某個元素是否存在信息。例如網站唯一訪客計數，可以把 user_id 作為 bit 的偏移量 offset，設置為 1 表示有訪問，使用 1 MB 的空間就可以存放 800 多萬用戶的一天訪問計數情況。涉及的命令如下：
復制代碼 代碼如下:
SETBIT key offset value # 設置位信息
GETBIT key offset # 獲取位信息
BITCOUNT key [start end] # 計數
BITOP operation destkey key [key ...] # 位圖合并 基于 bit 的方法比起 set 空間消耗小得多，但是它要求元素能否簡單映射為位偏移，適用面窄了不少，另外它消耗的空間取決于最大偏移量，和計數值無關，如果最大偏移量很大，消耗內存也相當可觀。
3. 基于 HyperLogLog
實現超大數據量精確的唯一計數都是比較困難的，但是如果只是近似的話，計算科學里有很多高效的算法，其中 HyperLogLog Counting 就是其中非常著名的算法，它可以僅僅使用 12 k 左右的內存，實現上億的唯一計數，而且誤差控制在百分之一左右。涉及的命令如下：
復制代碼 代碼如下:
PFADD key element [element ...] # 加入元素
PFCOUNT key [key ...] # 計數 這種計數方法真的很神奇，其中涉及到統計學中的一些均勻分布、隨機概率、伯努利分布等，我也沒有徹底弄明白，有興趣可以深入研究相關文章。
redis 提供的這三種唯一計數方式各有優劣，可以充分滿足不同情況下的計數要求。
4. 基于 bloomfilter
BloomFilter 是利用類似位圖或者位集合數據結構來存儲數據，利用位數組來簡潔的表示一個集合，并且能夠快速的判斷一個元素是不是已經存在于這個集合。雖然 BloomFilter 不是 100% 準確，但是可以通過調節參數，使用 Hash 函數的個數，位數組的大小來降低失誤率。這樣調節完全可以把失誤率降低到接近于 0。可以滿足大部分場景了。
假如此時有一個集合 S = {x1, x2, … xn}，Bloom Filter 使用 k 個獨立的 hash 函數，分別將集合中的每一個元素映射到{1,…,m}的范圍。對于任何一個元素，被映射到的數字作為對應的位數組的索引，該位會被置為 1。比如元素 x1 被 hash 函數映射到數字 8，那么位數組的第 8 位就會被置為 1。下圖中集合 S 只有兩個元素 x 和 y，分別被 3 個 hash 函數進行映射，映射到的位置分別為（0，3，6）和（4，7，10），對應的位會被置為 1:
現在假如要判斷另一個元素是否是在此集合中，只需要被這 3 個 hash 函數進行映射，查看對應的位置是否有 0 存在，如果有的話，表示此元素肯定不存在于這個集合，否則有可能存在。
redis 使用布隆過濾器需要安裝插件：https://blog.csdn.net/u013030276/article/details/88350641。
到此，相信大家對“Redis 去重的方法有哪些”有了更深的了解，不妨來實際操作一番吧！這里是丸趣 TV 網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
