如何提高mysql插入數(shù)據(jù)的速度

126次閱讀

共計(jì) 893 個(gè)字符，預(yù)計(jì)需要花費(fèi) 3 分鐘才能閱讀完成。

本篇內(nèi)容介紹了“如何提高 mysql 插入數(shù)據(jù)的速度”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓丸趣 TV 小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

需要在 mysql 中插入 2000 萬條記錄，用 insert 語句插入速度很有限，每秒鐘幾百條，放在 hadoop 集群上跑也是這個(gè)速度，可能是的問題了，網(wǎng)上看到 sql server 和 oracle 的 insert 速度也不是很快。比較簡(jiǎn)單的優(yōu)化方法如下：

1、在一條 insert 語句中插入多條記錄

[sql]
INSERT INTO tablename (field0, field1, …) VALUES
(value0, value1, …),
(value0, value1, …),
(value0, value1, …),
…
(value0, value1, …)

這樣插入速度可以提高很多倍，但還是不夠塊，對(duì)于 2000 萬條記錄，每秒鐘一兩千條的插入速度還是太慢。
2、從文本文件導(dǎo)入數(shù)據(jù)

可以從文本文件直接導(dǎo)入記錄，不過需要文本文件是行記錄，并且每個(gè)字段之間用相同的字符隔開、每行之間也用相同的字符隔開。

寫了個(gè)程序把文本文件的格式處理一下，就可以在 mysql 客戶端使用如下語句導(dǎo)入數(shù)據(jù)了：

[sql]
mysql LOAD DATA LOCAL INFILE fileName INTO TABLE tableName FIELDS TERMINATED BY \t LINES TERMINATED BY \n
其中 \t 和 \n 分別是字段和行的分隔符，在不同的情況下可能不一樣。

用這種方式，感覺導(dǎo)入的速度主要和文件的大小有關(guān)，和記錄的條數(shù)關(guān)系不太（可能是 2000 萬的記錄還不夠多吧。。）
導(dǎo)入一個(gè) 800MB 的文本文件（2000 萬行），在單機(jī)上預(yù)處理用了 3 分鐘，導(dǎo)入數(shù)據(jù)庫用了 7 分鐘（機(jī)器配置是 i5-2400CPU、8GB 內(nèi)存、硬盤讀取速度大約 90MB/S）