共計 2593 個字符,預(yù)計需要花費 7 分鐘才能閱讀完成。
這篇文章將為大家詳細(xì)講解有關(guān)使用 Insert into select 語句把用戶訂單全鎖了該怎么辦,文章內(nèi)容質(zhì)量較高,因此丸趣 TV 小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
前言
Insert into select 請慎用。這天同事接到一個需求,需要將表 A 的數(shù)據(jù)遷移到表 B 中去做一個備份。本想通過程序先查詢查出來然后批量插入。但 xxx 覺得這樣有點慢,需要耗費大量的網(wǎng)絡(luò) I /O,決定采取別的方法進(jìn)行實現(xiàn)。通過在 Baidu 的海洋里遨游,他發(fā)現(xiàn)了可以使用 insert into select 實現(xiàn),這樣就可以避免使用網(wǎng)絡(luò) I /O,直接使用 SQL 依靠數(shù)據(jù)庫 I / O 完成,這樣簡直不要太棒了。然后他就被開除了。
事故發(fā)生的經(jīng)過
由于數(shù)據(jù)庫中 order_today 數(shù)據(jù)量過大,當(dāng)時好像有 700W 了并且每天在以 30W 的速度增加。所以上司命令同事將 order_today 內(nèi)的部分?jǐn)?shù)據(jù)遷移到 order_record 中,并將 order_today 中的數(shù)據(jù)刪除。這樣來降低 order_today 表中的數(shù)據(jù)量。
由于考慮到會占用數(shù)據(jù)庫 I /O,為了不影響業(yè)務(wù),計劃是 9:00 以后開始遷移,但是同事在 8:00 的時候,嘗試遷移了少部分?jǐn)?shù)據(jù) (1000 條),覺得沒啥問題,就開始考慮大批量遷移。
在遷移的過程中,應(yīng)急群是先反應(yīng)有小部分用戶出現(xiàn)支付失敗,隨后反應(yīng)大批用戶出現(xiàn)支付失敗的情況,以及初始化訂單失敗的情況,同時騰訊也開始報警。
然后同事就慌了,立即停止了遷移。
本以為停止遷移就就可以恢復(fù)了,但是并沒有。后面發(fā)生的你們可以腦補一下。
事故還原
在本地建立一個精簡版的數(shù)據(jù)庫,并生成了 100w 的數(shù)據(jù)。模擬線上發(fā)生的情況。
建立表結(jié)構(gòu)
訂單表
CREATE TABLE `order_today` ( `id` varchar(32) NOT NULL COMMENT 主鍵 , `merchant_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 商戶編號 , `amount` decimal(15,2) NOT NULL COMMENT 訂單金額 , `pay_success_time` datetime NOT NULL COMMENT 支付成功時間 , `order_status` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 支付狀態(tài) S:支付成功、F:訂單支付失敗 , `remark` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT 備注 , `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 創(chuàng)建時間 , `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 修改時間 -- 修改時自動更新 , PRIMARY KEY (`id`) USING BTREE, KEY `idx_merchant_id` (`merchant_id`) USING BTREE COMMENT 商戶編號 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
訂單記錄表
CREATE TABLE order_record like order_today;
今日訂單表數(shù)據(jù)
模擬遷移
把 8 號之前的數(shù)據(jù)都遷移到 order_record 表中去。
INSERT INTO order_record SELECT * FROM order_today WHERE pay_success_time 2020-03-08 00:00:00
在 navicat 中運行遷移的 sql, 同時開另個一個窗口插入數(shù)據(jù),模擬下單。
從上面可以發(fā)現(xiàn)一開始能正常插入,但是后面突然就卡住了,并且耗費了 23s 才成功,然后才能繼續(xù)插入。這個時候已經(jīng)遷移成功了,所以能正常插入了。
出現(xiàn)的原因
在默認(rèn)的事務(wù)隔離級別下:insert into order_record select * from order_today 加鎖規(guī)則是:order_record 表鎖,order_today 逐步鎖(掃描一個鎖一個)。
分析執(zhí)行過程。
通過觀察遷移 sql 的執(zhí)行情況你會發(fā)現(xiàn) order_today 是全表掃描,也就意味著在執(zhí)行 insert into select from 語句時,mysql 會從上到下掃描 order_today 內(nèi)的記錄并且加鎖,這樣一來不就和直接鎖表是一樣了。
這也就可以解釋,為什么一開始只有少量用戶出現(xiàn)支付失敗,后續(xù)大量用戶出現(xiàn)支付失敗,初始化訂單失敗等情況,因為一開始只鎖定了少部分?jǐn)?shù)據(jù),沒有被鎖定的數(shù)據(jù)還是可以正常被修改為正常狀態(tài)。由于鎖定的數(shù)據(jù)越來越多,就導(dǎo)致出現(xiàn)了大量支付失敗。最后全部鎖住,導(dǎo)致無法插入訂單,而出現(xiàn)初始化訂單失敗。
解決方案
由于查詢條件會導(dǎo)致 order_today 全表掃描,什么能避免全表掃描呢,很簡單嘛,給 pay_success_time 字段添加一個 idx_pay_suc_time 索引就可以了,由于走索引查詢,就不會出現(xiàn)掃描全表的情況而鎖表了,只會鎖定符合條件的記錄。
最終的 sql
INSERT INTO order_record SELECT * FROM order_today FORCE INDEX (idx_pay_suc_time) WHERE pay_success_time = 2020-03-08 00:00:00
執(zhí)行過程
總結(jié)
使用 insert into tablA select * from tableB 語句時,一定要確保 tableB 后面的 where,order 或者其他條件,都需要有對應(yīng)的索引,來避免出現(xiàn) tableB 全部記錄被鎖定的情況。
關(guān)于使用 Insert into select 語句把用戶訂單全鎖了該怎么辦就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。