久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

大容量csv快速內導入sqlserver的解決方法是什么

157次閱讀
沒有評論

共計 1056 個字符,預計需要花費 3 分鐘才能閱讀完成。

這篇文章將為大家詳細講解有關大容量 csv 快速內導入 sqlserver 的解決方法是什么,文章內容質量較高,因此丸趣 TV 小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

前言

在論壇中回答了一個問題,導入 csv 數據,并對導入的數據增加一個新的列 date datetime。要求在 10s 內完成,200w 行數據的導入. 分享下解決問題的思路和方法

分析

通常來講 Bulk insert 比 BCP 更快一點,我們選擇 Bulk insert 的方式。提出的解決方案:先把數據導入到 sql server 的臨時表,然后再插入目標表。具體語句如下:

bulk insert test07232 from  D:\2017-7-22.csv  WITH ( FIELDTERMINATOR =  , , ROWTERMINATOR =  /n  )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

但是他提供的的 csv 進行導入時,提示如下錯誤

消息 4866,級別 16,狀態 1,第 1 行 大容量加載失敗。數據文件中第 1 行的第 2 列太長。請驗證是否正確指定了字段終止符和行終止符。消息 7399,級別 16,狀態 1,第 1 行 鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 報錯。提供程序未給出有關錯誤的任何信息。

消息 7330,級別 16,狀態 2,第 1 行 無法從鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 提取行。

這是由于行終止符無法識別導致的。使用 notepad++ 打開 csv 文件,在視圖中選擇顯示行尾號。

可以看到文件的換行符是 LF

而對于正常的 csv 問題 默認是用 CRLF 作為換行符的

因此上面的 bulk insert 語句無法正常執行。

解決

1. 首先想到的是修改數據源頭,讓源頭產生正常的數據,但是源頭數據不好修改 2. 用程序,寫 c# 處理,,太費時間 3. 最后終于找到了正確的辦法

bulk insert test07232 from  D:\2017-7-22.csv  WITH ( FIELDTERMINATOR =  , , ROWTERMINATOR =  0x0a  )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

最后全部都在 SSD 上,導入用時 2s。生產正式表 1s。整個過程 3s 完成。

關于大容量 csv 快速內導入 sqlserver 的解決方法是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-07-18發表,共計1056字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 邹平县| 荥阳市| 巢湖市| 金门县| 木兰县| 安顺市| 海晏县| 务川| 牡丹江市| 鄂伦春自治旗| 深水埗区| 宁津县| 乌审旗| 长阳| 洛阳市| 阿克陶县| 开封县| 中山市| 马公市| 莆田市| 普安县| 大关县| 平乡县| 宝鸡市| 柳江县| 庆阳市| 张家港市| 都匀市| 炉霍县| 阿鲁科尔沁旗| 大邑县| 两当县| 康马县| 都匀市| 蒙山县| 郧西县| 大埔区| 信阳市| 行唐县| 个旧市| 葫芦岛市|