久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

大容量csv快速內導入sqlserver的解決方法是什么

135次閱讀
沒有評論

共計 1056 個字符,預計需要花費 3 分鐘才能閱讀完成。

這篇文章將為大家詳細講解有關大容量 csv 快速內導入 sqlserver 的解決方法是什么,文章內容質量較高,因此丸趣 TV 小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

前言

在論壇中回答了一個問題,導入 csv 數據,并對導入的數據增加一個新的列 date datetime。要求在 10s 內完成,200w 行數據的導入. 分享下解決問題的思路和方法

分析

通常來講 Bulk insert 比 BCP 更快一點,我們選擇 Bulk insert 的方式。提出的解決方案:先把數據導入到 sql server 的臨時表,然后再插入目標表。具體語句如下:

bulk insert test07232 from  D:\2017-7-22.csv  WITH ( FIELDTERMINATOR =  , , ROWTERMINATOR =  /n  )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

但是他提供的的 csv 進行導入時,提示如下錯誤

消息 4866,級別 16,狀態 1,第 1 行 大容量加載失敗。數據文件中第 1 行的第 2 列太長。請驗證是否正確指定了字段終止符和行終止符。消息 7399,級別 16,狀態 1,第 1 行 鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 報錯。提供程序未給出有關錯誤的任何信息。

消息 7330,級別 16,狀態 2,第 1 行 無法從鏈接服務器 (null) 的 OLE DB 訪問接口 BULK 提取行。

這是由于行終止符無法識別導致的。使用 notepad++ 打開 csv 文件,在視圖中選擇顯示行尾號。

可以看到文件的換行符是 LF

而對于正常的 csv 問題 默認是用 CRLF 作為換行符的

因此上面的 bulk insert 語句無法正常執行。

解決

1. 首先想到的是修改數據源頭,讓源頭產生正常的數據,但是源頭數據不好修改 2. 用程序,寫 c# 處理,,太費時間 3. 最后終于找到了正確的辦法

bulk insert test07232 from  D:\2017-7-22.csv  WITH ( FIELDTERMINATOR =  , , ROWTERMINATOR =  0x0a  )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

最后全部都在 SSD 上,導入用時 2s。生產正式表 1s。整個過程 3s 完成。

關于大容量 csv 快速內導入 sqlserver 的解決方法是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-07-17發表,共計1056字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 闽侯县| 潼关县| 巍山| 蒙自县| 郸城县| 东方市| 云阳县| 琼海市| 苍山县| 柘荣县| 乌海市| 阳曲县| 泾阳县| 弥勒县| 萍乡市| 祁门县| 额尔古纳市| 鸡泽县| 江陵县| 平泉县| 万年县| 五原县| 永嘉县| 万宁市| 青川县| 广西| 林西县| 安庆市| 岑溪市| 白水县| 德昌县| 宁远县| 襄樊市| 栾川县| 武宁县| 永济市| 两当县| 南溪县| 叙永县| 鹤峰县| 汾西县|