共計 1825 個字符,預計需要花費 5 分鐘才能閱讀完成。
這篇文章主要介紹了 MySQL 如何去重,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓丸趣 TV 小編帶著大家一起了解一下。
需求分析
數據庫中存在重復記錄,刪除保留其中一條(是否重復判斷基準為多個字段)
解決方案
碰到這個需求的時候,心里大概是有思路的。最快想到的是可以通過一條 sql 語句來解決,無奈自己對于復雜 sql 語句的道行太淺,所以想找大佬幫忙。
找人幫忙
因為這個需求有點著急,所以最開始想到的是,可以找這方面的同行來解決,然后分享這個問題給同事,結果這貨隨便百度了一下,就甩給我一個從未用過的 sql 語句,讓我自己嘗試,心里萬匹那啥啥啥奔騰而過 …
自己百度
找到了一條 sql 語句:
DELETE
vitae a
WHERE
(a.peopleId, a.seq) IN (
SELECT
peopleId,
seq
FROM
vitae
GROUP BY
peopleId,
seq
HAVING
count(*) 1
)
AND rowid NOT IN (
SELECT
min(rowid)
FROM
vitae
GROUP BY
peopleId,
seq
HAVING
count(*) 1
)
這條語句是在【MySQL 中刪除重復數據只保留一條】這篇文章里找到的。這條 sql 思路很明顯,有以下 3 步:
SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) 1 查詢出表中重復記錄作為條件
SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) 1 查詢出表中重復記錄中 ID 最小的值為第二個條件
最后根據以上兩個條件,刪除 除 重復記錄中最小 ID 的其余重復記錄
但是很無奈的是,運行這條語句出現了錯誤,大致報錯意思是,不能在查詢的時候同時更新這個表。
代碼解決
根據上面這個 sql 語句想到或許可以通過代碼的方式,兩步來達到同樣的目的:
先取出重復的數據集
根據查詢到的數據集,循環刪除其余的重復數據
想法是有了,寫出來也很快,但是一運行嚇我一跳,竟然需要 116s 左右,然后自己就想一定要找到可以使用的 sql 語句,貼一下代碼和運行結果:
完美的【去重留一】SQL
最后在一個技術群里得到了完美的答案,看這條 sql 語句:
DELETE consum_record
consum_record,
(
SELECT
min(id) id,
user_id,
monetary,
consume_time
FROM
consum_record
GROUP BY
user_id,
monetary,
consume_time
HAVING
count(*) 1
) t2
WHERE
consum_record.user_id = t2.user_id
and consum_record.monetary = t2.monetary
and consum_record.consume_time = t2.consume_time
AND consum_record.id t2.id;
上面這條 sql 語句,仔細看一下,揣摩出思路也不難,大概也分為 3 步來理解:
(SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) 1 ) t2 查詢出重復記錄形成一個集合(臨時表 t2),集合里是每種重復記錄的最小 ID
consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 關聯 判斷重復基準的字段
根據條件,刪除原表中 id 大于 t2 中 id 的記錄
看到這個語句的時候,心里想這也太厲害了。這么一個簡單的 sql 語句,竟然可以解決這么復雜的問題,漲姿勢了~
運行起來也超級快,原先的代碼循環執行,需要 116s 左右,而這里 0.3s 就可以了,厲害了~
感謝你能夠認真閱讀完這篇文章,希望丸趣 TV 小編分享的“MySQL 如何去重”這篇文章對大家有幫助,同時也希望大家多多支持丸趣 TV,關注丸趣 TV 行業資訊頻道,更多相關知識等著你來學習!