共計 1056 個字符,預計需要花費 3 分鐘才能閱讀完成。
這篇文章將為大家詳細講解有關大容量 csv 快速內導入 sqlserver 的解決方法是什么,文章內容質量較高,因此丸趣 TV 小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
前言
在論壇中回答了一個問題,導入 csv 數據,并對導入的數據增加一個新的列 date datetime。要求在 10s 內完成,200w 行數據的導入. 分享下解決問題的思路和方法
分析
通常來講 Bulk insert 比 BCP 更快一點,我們選擇 Bulk insert 的方式。提出的解決方案:先把數據導入到 sql server 的臨時表,然后再插入目標表。具體語句如下:
bulk insert test07232 from D:\2017-7-22.csv WITH ( FIELDTERMINATOR = , , ROWTERMINATOR = /n )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
但是他提供的的 csv 進行導入時,提示如下錯誤
消息 4866,級別 16,狀態 1,第 1 行 大容量加載失敗。數據文件中第 1 行的第 2 列太長。請驗證是否正確指定了字段終止符和行終止符。消息 7399,級別 16,狀態 1,第 1 行 鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 報錯。提供程序未給出有關錯誤的任何信息。
消息 7330,級別 16,狀態 2,第 1 行 無法從鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 提取行。
這是由于行終止符無法識別導致的。使用 notepad++ 打開 csv 文件,在視圖中選擇顯示行尾號。
可以看到文件的換行符是 LF
而對于正常的 csv 問題 默認是用 CRLF 作為換行符的
因此上面的 bulk insert 語句無法正常執行。
解決
1. 首先想到的是修改數據源頭,讓源頭產生正常的數據,但是源頭數據不好修改 2. 用程序,寫 c# 處理,,太費時間 3. 最后終于找到了正確的辦法
bulk insert test07232 from D:\2017-7-22.csv WITH ( FIELDTERMINATOR = , , ROWTERMINATOR = 0x0a )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
最后全部都在 SSD 上,導入用時 2s。生產正式表 1s。整個過程 3s 完成。
關于大容量 csv 快速內導入 sqlserver 的解決方法是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。