共計 9119 個字符，預計需要花費 23 分鐘才能閱讀完成。

這篇文章主要介紹“什么是拉鏈表”，在日常操作中，相信很多人在什么是拉鏈表問題上存在疑惑，丸趣 TV 小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”什么是拉鏈表”的疑惑有所幫助！接下來，請跟著丸趣 TV 小編一起來學習吧！

  一、拉鏈表介紹

拉鏈表：維護歷史狀態，以及最新狀態數據的一種表，拉鏈表根據拉鏈粒度的不同，實際上相當于快照，只不過做了優化，去除了一部分不變的記錄，通過拉鏈表可以很方便的還原出拉鏈時點的客戶記錄

二、拉鏈表場景

數據倉庫的數據模型設計過程中，經常會遇到這樣的需求：

表中的部分字段會被 update，例如：用戶的地址，產品的描述信息，品牌信息等等;

需要查看某一個時間點或者時間段的歷史快照信息，例如：查看某一個產品在歷史某一時間點的狀態 查看某一個用戶在過去某一段時間內，更新過幾次等等

變化的比例和頻率不是很大，例如：總共有 1000 萬的會員，每天新增和發生變化的有 10 萬左右

三、商品數據案例

需求：商品表：

列名類型說明 goods_idvarchar(50)商品編號 goods_statusvarchar(50)商品狀態（待審核、待售、在售、已刪除）createtimevarchar(50)商品創建日期 modifytimevarchar(50)商品修改日期

2019 年 12 月 20 日的數據如下所示：

goods_idgoods_statuscreatetimemodifytime001 待審核 2019-12-202019-12-20002 待售 2019-12-202019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-202019-12-20

商品的狀態，會隨著時間推移而變化，我們需要將商品的所有變化的歷史信息都保存下來。如何實現呢?

方案一: 快照每一天的數據到數倉(圖解)

該方案為：

每一天都保存一份全量，將所有數據同步到數倉中(我這里就使用 MySQL 操作的)

很多記錄都是重復保存，沒有任何變化

12 月 20 日(4 條數據)

goods_idgoods_statuscreatetimemodifytime001 待審核 2019-12-182019-12-20002 待售 2019-12-192019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-152019-12-20

12 月 21 日(10 條數據)

goods_idgoods_statuscreatetimemodifytime 以下為 12 月 20 日快照數據  001 待審核 2019-12-182019-12-20002 待售 2019-12-192019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-152019-12-20 以下為 12 月 21 日快照數據  001   待售（從待審核到待售）2019-12-182019-12-21002 待售 2019-12-192019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-152019-12-20005（新商品）待審核 2019-12-212019-12-21006（新商品）待審核 2019-12-212019-12-21

12 月 22 日(18 條數據)

goods_idgoods_statuscreatetimemodifytime 以下為 12 月 20 日快照數據  001 待審核 2019-12-182019-12-20002 待售 2019-12-192019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-152019-12-20 以下為 12 月 21 日快照數據  001 待售（從待審核到待售）2019-12-182019-12-21002 待售 2019-12-192019-12-20003 在售 2019-12-202019-12-20004 已刪除 2019-12-152019-12-20005 待審核 2019-12-212019-12-21006 待審核 2019-12-212019-12-21 以下為 12 月 22 日快照數據  001 待售 2019-12-182019-12-21002 待售 2019-12-192019-12-20003 已刪除（從在售到已刪除）2019-12-202019-12-22004 待審核 2019-12-212019-12-21005 待審核 2019-12-212019-12-21006 已刪除（從待審核到已刪除）2019-12-212019-12-22007 待審核 2019-12-222019-12-22008 待審核 2019-12-222019-12-22

方案一: MySQL 到，MySQL 數倉代碼實現

MySQL 初始化

1. 在 MySQL 中 zw 庫和商品表用于到原始數據層

--  創建數據庫  create database if not exists zw; --  創建商品表  create table if not exists `zw`.`t_product`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50) --  商品修改時間  );

2. 在 MySQL 中創建 ods 和 dw 層 模擬數倉

-- ods 創建商品表  create table if not exists `zw`.`ods_t_product`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50), --  商品修改時間  cdat varchar(10) -- 模擬 hive 分區  )default character set =  utf8  ; -- dw 創建商品表  create table if not exists `zw`.`dw_t_product`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50), --  商品修改時間  cdat varchar(10) --  模擬 hive 分區  )default character set =  utf8  ;

增量導入 12 月 20 號數據

1. 原始數據導入 12 月 20 號數據(4 條)

insert into `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) values (001 ,  待審核 ,  2019-12-18 ,  2019-12-20), (002 ,  待售 ,  2019-12-19 ,  2019-12-20), (003 ,  在售 ,  2019-12-20 ,  2019-12-20), (004 ,  已刪除 ,  2019-12-15 ,  2019-12-20

注意：由于我這里使用的 MySQL 來模擬的數倉在這里偷個懶直接使用 insert into 的方式導入數據，在企業中可能會使用 hive 來做數倉使用 kettle   或者 sqoop 或 datax 等來同步數據

#  從原始數據層導入到 ods  層  insert into zw.ods_t_product select *, 20191220  from zw.t_product ; #  從 ods 同步到 dw 層  insert into zw.dw_t_product select * from zw.ods_t_product where cdat= 20191220

增量導入 12 月 21 數據

1. 原始數據層導入 12 月 21 日數據(6 條數據)

UPDATE `zw`.`t_product` SET goods_status =  待售 , modifytime =  2019-12-21  WHERE goods_id =  001  INSERT INTO `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) VALUES (005 ,  待審核 ,  2019-12-21 ,  2019-12-21), (006 ,  待審核 ,  2019-12-21 ,  2019-12-21

2. 將數據導入到 ods 層與 dw 層

#  從原始數據層導入到 ods  層  insert into zw.ods_t_product select *, 20191221  from zw.t_product ; #  從 ods 同步到 dw 層  insert into zw.dw_t_product select * from zw.ods_t_product where cdat= 20191221

3. 查看 dw 層的運行結果

select * from zw.dw_t_product where cdat= 20191221

增量導入 12 月 22 日數據

1. 原始數據層導入 12 月 22 日數據（6 條數據）

UPDATE `zw`.`t_product` SET goods_status =  已刪除 , modifytime =  2019-12-22  WHERE goods_id =  003  UPDATE `zw`.`t_product` SET goods_status =  已刪除 , modifytime =  2019-12-22  WHERE goods_id =  006  INSERT INTO `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) VALUES (007 ,  待審核 ,  2019-12-22 ,  2019-12-22), (008 ,  待審核 ,  2019-12-22 ,  2019-12-22

2. 將數據導入到 ods 層與 dw 層

#  從原始數據層導入到 ods  層  insert into zw.ods_t_product select *, 20191222  from zw.t_product ; #  從 ods 同步到 dw 層  insert into zw.dw_t_productpeizhiwenjian select * from zw.ods_t_product where cdat= 20191222

3. 查看 dw 層的運行結果

select * from zw.dw_t_product where cdat= 20191222

從上述案例，可以看到：

表每天保留一份全量，每次全量中會保存很多不變的信息，如果數據量很大的話，對存儲是極大的浪費

可以講表設計為拉鏈表，既能滿足反應數據的歷史狀態，又可以最大限度地節省存儲空間。

方案二: 使用拉鏈表保存歷史快照(思路 / 圖解)

拉鏈表不存儲冗余的數據，只有某行的數據發生變化，才需要保存下來，相比每次全量同步會節省存儲空間

能夠查詢到歷史快照

額外的增加了兩列(dw_start_date、dw_end_date)，為數據行的生命周期

12 月 20 日商品拉鏈表的數據：

goods_idgoods_statuscreatetimemodifytimedw_start_datedw_end_date001 待審核 2019-12-182019-12-202019-12-209999-12-31002 待售 2019-12-192019-12-20 2019-12-209999-12-31003 在售 2019-12-202019-12-20 2019-12-209999-12-31004 已刪除 2019-12-152019-12-202019-12-209999-12-31

12 月 20 日的數據是全新的數據導入到 dw 表

dw_start_date 表示某一條數據的生命周期起始時間，即數據從該時間開始有效(即生效日期)

dw_end_date 表示某一條數據的生命周期結束時間，即數據到這一天(不包含)(即失效日期)

dw_end_date 為 9999-12-31，表示當前這條數據是最新的數據，數據到 9999-12-31 才過期

12 月 21 日商品拉鏈表的數據

goods_idgoods_statuscreatetimemodifytimedw_start_datedw_end_date001 待審核 2019-12-182019-12-202019-12-202019-12-21002 待售 2019-12-192019-12-202019-12-209999-12-31003 在售 2019-12-202019-12-202019-12-209999-12-31004 已刪除 2019-12-152019-12-202019-12-209999-12-31001（變）待售 2019-12-182019-12-212019-12-219999-12-31005（新）待審核 2019-12-212019-12-212019-12-219999-12-31

12 月 21 日商品拉鏈表的數據

拉鏈表中沒有存儲冗余的數據，(只要數據沒有變化，無需同步)

001 編號的商品數據的狀態發生了變化 (從待審核 rarr;   待售)，需要將原有的 dw_end_date 從 9999-12-31 變為 2019-12-21，表示待審核狀態，在 2019/12/20(包含) –  2019/12/21(不包含) 有效

001 編號新的狀態重新保存了一條記錄，dw_start_date 為 2019/12/21，dw_end_date 為 9999/12/31

新數據 005、006、dw_start_date 為 2019/12/21，dw_end_date 為 9999/12/31

12 月 22 日商品拉鏈表的數據

goods_idgoods_statuscreatetimemodifytimedw_start_datedw_end_date001 待審核 2019-12-182019-12-202019-12-202019-12-21002 待售 2019-12-192019-12-202019-12-209999-12-31003 在售 2019-12-202019-12-202019-12-202019-12-22004 已刪除 2019-12-152019-12-202019-12-209999-12-31001 待售 2019-12-182019-12-212019-12-219999-12-31005 待審核 2019-12-212019-12-212019-12-219999-12-31006 待審核 2019-12-212019-12-212019-12-219999-12-31003（變）已刪除 2019-12-202019-12-222019-12-229999-12-31007（新）  待審核 2019-12-222019-12-22 2019-12-229999-12-31008（新）  待審核 2019-12-222019-12-22 2019-12-229999-12-31

12 月 22 日商品拉鏈表的數據

003 編號的商品數據的狀態發生了變化(從在售 rarr; 已刪除)，需要將原有的  dw_end_date 從 9999-12-31 變為 2019-12-22，表示在售狀態，在 2019/12/20(包含) – 2019/12/22(不包含)   有效

003 編號新的狀態重新保存了一條記錄，dw_start_date 為 2019/12/22，dw_end_date 為 9999/12/31

新數據 007、008、dw_start_date 為 2019/12/22，dw_end_date 為 9999/12/31

方案二: 拉鏈表快照代碼實現

操作流程：

鴻蒙官方戰略合作共建——HarmonyOS 技術社區

在原有 dw 層表上，添加額外的兩列

只同步當天修改的數據到 ods 層

拉鏈表算法實現

拉鏈表的數據為：當天最新的數據 UNION ALL 歷史數據

代碼實現：

1. 在 MySQL 中 zw 庫和商品表用于到原始數據層

--  創建數據庫  create database if not exists zw; --  創建商品表  create table if not exists `zw`.`t_product_2`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50) --  商品修改時間  )default character set =  utf8

2. 在 MySQL 中創建 ods 和 dw 層 模擬數倉

-- ods 創建商品表  create table if not exists `zw`.`ods_t_product2`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50), --  商品修改時間  cdat varchar(10) --  模擬 hive 分區  )default character set =  utf8  -- dw 創建商品表  create table if not exists `zw`.`dw_t_product2`( goods_id varchar(50), --  商品編號  goods_status varchar(50), --  商品狀態  createtime varchar(50), --  商品創建時間  modifytime varchar(50), --  商品修改時間  dw_start_date varchar(12), --  生效日期  dw_end_date varchar(12), --  失效時間  cdat varchar(10) --  模擬 hive 分區  )default character set =  utf8

全量導入 2019 年 12 月 20 日數據

1. 原始數據層導入 12 月 20 日數據(4 條數據)

insert into `zw`.`t_product_2`(goods_id, goods_status, createtime, modifytime) values (001 ,  待審核 ,  2019-12-18 ,  2019-12-20), (002 ,  待售 ,  2019-12-19 ,  2019-12-20), (003 ,  在售 ,  2019-12-20 ,  2019-12-20), (004 ,  已刪除 ,  2019-12-15 ,  2019-12-20

2. 將數據導入到數倉中的 ods 層

insert into zw.ods_t_product2 select *, 20191220  from zw.t_product_2 where modifytime  = 2019-12-20

3. 將數據從 ods 層導入到 dw 層

insert into zw.dw_t_product2 select goods_id, goods_status, createtime, modifytime, modifytime, 9999-12-31 , cdat from zw.ods_t_product2 where cdat= 20191220

增量導入 2019 年 12 月 21 日數據

1. 原始數據層導入 12 月 21 日數據(6 條數據)

UPDATE `zw`.`t_product_2` SET goods_status =  待售 , modifytime =  2019-12-21  WHERE goods_id =  001  INSERT INTO `zw`.`t_product_2`(goods_id, goods_status, createtime, modifytime) VALUES (005 ,  待審核 ,  2019-12-21 ,  2019-12-21), (006 ,  待審核 ,  2019-12-21 ,  2019-12-21

2. 原始數據層同步到 ods 層

insert into zw.ods_t_product2 select *, 20191221  from zw.t_product_2 where modifytime  = 2019-12-21

3. 編寫 ods 層到 dw 層重新計算 dw_end_date

注意：我這里直接將結果的 SQL 語句放在這里語句 因為需要將覆蓋寫入到數據庫中我這里就沒有寫了，但是不影響我們結果。12 月 22 號的操作流程跟 21   一樣我就里就不寫了

select t1.goods_id, t1.goods_status, t1.createtime, t1.modifytime, t1.dw_start_date, case when (t2.goods_id is not null and t1.dw_end_date 2019-12-21) then  2019-12-21 else t1.dw__date end as end , t1.cdat from zw.dw_t_product2 t1 left join (select * from zw.ods_t_product2 where cdat= 20191221)t2 on t1.goods_id=t2.goods_id union select goods_id, goods_status, createtime, modifytime, modifytime, 9999-12-31 , cdat from zw.ods_t_product2 where cdat= 20191221

查詢結果

到此，關于“什么是拉鏈表”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注丸趣 TV 網站，丸趣 TV 小編會繼續努力為大家帶來更多實用的文章！