久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

MySql中怎么更新優(yōu)化策略

151次閱讀
沒有評論

共計(jì) 3691 個(gè)字符,預(yù)計(jì)需要花費(fèi) 10 分鐘才能閱讀完成。

MySql 中怎么更新優(yōu)化策略,針對這個(gè)問題,這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

模擬場景一:

給數(shù)據(jù)庫中的一張表的結(jié)構(gòu)調(diào)整,添加幾個(gè)字段,后面對之前的數(shù)據(jù)進(jìn)行刷新,刷新的內(nèi)容是對其中的一個(gè)已有字段 url 進(jìn)行匹配,然后更新新加的字段 type 和 typeid。

后來就寫了個(gè) shell 腳本來刷數(shù)據(jù),結(jié)果運(yùn)行 shell 腳本后我就懵了,怎么這么慢~~~

情景再現(xiàn)

復(fù)制代碼 代碼如下:
CREATE TABLE `fuckSpeed` (`uin` bigint(20) unsigned NOT NULL DEFAULT 0, `id` int(11) unsigned NOT NULL DEFAULT 0, `url` varchar(255) NOT NULL DEFAULT , `type` int(11) unsigned NOT NULL DEFAULT 0, `typeid` varchar(64) NOT NULL DEFAULT , …… KEY `uin_id` (`uin`,`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表結(jié)構(gòu)大概是上面這樣的(省略了好多字段),表中只有一個(gè)聯(lián)合索引 uin_id,而我在更新的時(shí)候是下面的思路:

首先根據(jù)一個(gè) id 范圍獲取到一定數(shù)量的數(shù)據(jù)

復(fù)制代碼 代碼如下:
select id,url from funkSpeed where id =101 and id =200;

遍歷所有的數(shù)據(jù),對每一條數(shù)據(jù)進(jìn)行更新

# 首先對數(shù)據(jù)進(jìn)行處理,匹配獲取 type 和 typeid

復(fù)制代碼 代碼如下:
update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

按照上面的思路搞了之后,發(fā)現(xiàn)更新特別的慢,平均每秒鐘 3~5 個(gè)左右,我也是醉了,我看看要更新的數(shù)據(jù),總共有 32w+ 條,這樣更新下來大概需要 24h+,也就是 1 天還要多,額~~ 哭了,想想肯定是哪里出問題了。

發(fā)現(xiàn)問題首先我想到的是是不是因?yàn)橹挥幸粋€(gè)進(jìn)程在更新,導(dǎo)致很慢,我啟動(dòng)了 5 個(gè)進(jìn)程,將 id 分段了,就像下面這樣

復(fù)制代碼 代碼如下:
./update_url.sh 0 10000 ./update_url.sh 10000 20001 ./update_url.sh 20001 30001 ./update_url.sh 30002 40002 ./update_url.sh 40003 50003

運(yùn)行之后發(fā)現(xiàn)還是那樣,速度沒有提升多少,還是每秒鐘更新 3~5 個(gè)左右,想想也是啊,時(shí)間不可能花費(fèi)在插入數(shù)據(jù)之前的那些步驟(匹配、組裝 sql 語句、。。。),應(yīng)該是插入的時(shí)候有問題

再來看看我的 sql 語句

復(fù)制代碼 代碼如下:
select id,url from funkSpeed where id =101 and id =200;,

這里,試著在命令行執(zhí)行了下,結(jié)果如下

復(fù)制代碼 代碼如下:
mysql select id,url from funkSpeed where id =0 and id =200;Empty set (0.18 sec)

竟然花了 0.18 秒,這個(gè)時(shí)候我猜恍然大悟,聯(lián)合索引我沒有使用到,聯(lián)合索引生效的條件是——必須要有左邊的字段,用 explain 驗(yàn)證下,果然是這樣:

復(fù)制代碼 代碼如下:
mysql explain id,url from funkSpeed where id =0 and id =200;+————-+——+—————+——+———+——+——–+————-+| table | type | possible_keys | key | key_len | ref | rows | Extra |+————-+——+—————+——+———+——+——–+————-+| funkSpeed | ALL | NULL | NULL | NULL | NULL | 324746 | Using where |+————-+——+—————+——+———+——+——–+————-+1 row in set (0.00 sec)

然后使用聯(lián)合索引:

復(fù)制代碼 代碼如下:
mysql select uin,id from funkSpeed where uin=10023 and id=162;+————+———-+| uin | id |+————+———-+| 10023 | 162 |+————+———-+1 row in set (0.00 sec)mysql explain select uin,id from funkSpeed where uin=10023 and id=162;+————-+——+—————+———-+———+————-+——+————-+| table | type | possible_keys | key | key_len | ref | rows | Extra |+————-+——+—————+———-+———+————-+——+————-+| funkSpeed | ref | uin_id | uin_id | 12 | const,const | 4 | Using index |+————-+——+—————+———-+———+————-+——+————-+1 row in set (0.00 sec)

可以看到幾乎是秒查,這個(gè)時(shí)候基本可以斷定問題是出現(xiàn)在索引這個(gè)地方了

我 select 的時(shí)候次數(shù)比較少,每兩個(gè) select 之間 id 相差 10000,所以這里可以忽略掉,而且這里沒辦法優(yōu)化,除非在 id 上面添加索引。

問題發(fā)生在

復(fù)制代碼 代碼如下:
update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

這里在更新的時(shí)候也是會(huì)用到查詢的,我的 mysql 版本是 5.5,不能 explain update,不然肯定可以驗(yàn)證我所說的,這里要更新 32w+ 條數(shù)據(jù),每條數(shù)據(jù)都會(huì)去更新,每條數(shù)據(jù) 0.2s 左右,這太嚇人了~~

解決問題問題找到了,解決起來就容易多了~~

select 的時(shí)候加了一個(gè)字段 uin,改為下面這樣

復(fù)制代碼 代碼如下:
select uin,id,url from funkSpeed where id =101 and id =200;

然后更新的時(shí)候使用

復(fù)制代碼 代碼如下:
update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]

這樣一來索引就是用上了。

三下五除二改好了代碼,試著啟動(dòng)了一個(gè)進(jìn)程,看看效果如何,果然,效果提升的不是一點(diǎn)點(diǎn),平均 30+ 次 /s,這樣大概 3 個(gè)小時(shí)左右就可以完成所有的更新了。

模擬場景二:需求 6 個(gè)表 pid 字段 寫到對應(yīng)的 brand_id 字段

問題 sql 背景:項(xiàng)目有 6 個(gè)表的要根據(jù) pid 字段要寫入對應(yīng)的 brand_id 字段。但是這個(gè)其中有兩個(gè)表是千萬級別的。我的 worker 運(yùn)行之后,線上的 mysql 主從同步立刻延遲了!運(yùn)行了一個(gè)多小時(shí)之后,居然延遲到了 40 分鐘,而且只更新了十幾萬行數(shù)據(jù)。問題 sql 如下:

復(fù)制代碼 代碼如下:
!– 根據(jù)商品 id 更新品牌 id — update id= updateBrandIdByPid parameter >

項(xiàng)目組的 mysql 專家?guī)臀曳治隽讼拢驗(yàn)?pid 字段沒有索引,mysql 引擎要逐行掃描出與傳入的 pid 值相等的列,然后更新數(shù)據(jù),也就是要掃描完 1000W+ 行磁盤數(shù)據(jù)才能執(zhí)行完這個(gè) sql。更嚴(yán)重的是,這個(gè)千萬級的表里面有多少個(gè)不同的 pid,我就要執(zhí)行多少個(gè)這樣的 sql。同事給我的建議的根據(jù) id 字段進(jìn)行 sql 代碼層次的縱向分表。每次更新 1000 行的數(shù)據(jù),這樣 mysql 引擎就不用每次在掃全表了,數(shù)據(jù)庫壓力是之前的萬分之一。而且 id 作為主鍵,是有索引的有索引,有索引能大大優(yōu)化查詢性能,優(yōu)化后的 sql 如下:

復(fù)制代碼 代碼如下:
!– 根據(jù)商品 id 更新品牌 id — update id= updateBrandIdByPid parameter >

僅僅用了 id 限區(qū)間的語句,將一個(gè)千萬級的大表代碼層次上進(jìn)行縱向切割。重新上線 worker 后,mysql 主從沒有任何延遲!而且經(jīng)過監(jiān)視,短短 10 分鐘就更新了十幾萬數(shù)據(jù),效率是之前的 6 倍!更重要的是數(shù)據(jù)庫負(fù)載均衡,應(yīng)用健康運(yùn)行。

關(guān)于 MySql 中怎么更新優(yōu)化策略問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注丸趣 TV 行業(yè)資訊頻道了解更多相關(guān)知識。

正文完
 
丸趣
版權(quán)聲明:本站原創(chuàng)文章,由 丸趣 2023-08-03發(fā)表,共計(jì)3691字。
轉(zhuǎn)載說明:除特殊說明外本站除技術(shù)相關(guān)以外文章皆由網(wǎng)絡(luò)搜集發(fā)布,轉(zhuǎn)載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 永胜县| 佳木斯市| 江津市| 新河县| 彭州市| 额尔古纳市| 大埔区| 新郑市| 库尔勒市| 桃江县| 鄯善县| 渝中区| 南城县| 民丰县| 泰顺县| 深水埗区| 本溪市| 苍溪县| 罗平县| 中卫市| 乐东| 疏附县| 调兵山市| 当阳市| 旺苍县| 荔浦县| 金堂县| 随州市| 平江县| 南安市| 光泽县| 花莲县| 兴文县| 繁昌县| 武强县| 广宁县| 南靖县| 云南省| 武平县| 饶平县| 天津市|