久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

SQLServer數據庫中開啟CDC導致事務日志空間被占滿的原因是什么

197次閱讀
沒有評論

共計 4409 個字符,預計需要花費 12 分鐘才能閱讀完成。

行業資訊    
數據庫    
SQLServer 數據庫中開啟 CDC 導致事務日志空間被占滿的原因是什么

SQLServer 數據庫中開啟 CDC 導致事務日志空間被占滿的原因是什么,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面丸趣 TV 小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。

SQLServer 中開啟 CDC 之后,在某些情況下會導致事務日志空間被占滿的現象為:

在執行增刪改語句(產生事務日志)的過程中提示,The transaction log for database *** is full due to REPLICATION (數據庫“***”的事務日志已滿,原因為“REPLICATION”).

CDC 以及復制的基本原理粗略地講,對于日志的使用步驟如下:

1,每當基礎表(開啟了 CDC 或者 replication 的表)產生事務性操作(增刪改)之后,對應的事務日志寫入日志文件,

2,此時的日志被狀態被標記為 Replication,也即處于待復制狀態,這個活動狀態跟數據庫的還原模式無關,即便是簡單還原模式,

3,然后有后臺進程來讀取這個日志,根據事務日志的內存寫入目標表,

這個目標對于 cdc 來說是記錄數據變化的系統表,

對于 replication 來說是寫入 distribution 這個庫

4,步驟 3 完成之后,事務日志被標記為正常狀態,如果是簡單還原模式,被后臺進程解析過的事務日志被截斷,可以重用如果上述中間的第三個步驟出現問題,也即后臺進程無法解析日志后釋放可用的日志空間,再次往數據庫中寫入操作,就會出現:數據庫“TestDB”的事務日志已滿,原因為“REPLICATION”的情況

本文通過通過演示開啟 CDC 的情況下日志空間被占滿的現象,以及對應的處理辦法

測試環境搭建

首先建立一個測試數據庫,

USE masterGOCREATE DATABASE TestLogFull ON PRIMARY ( NAME = N TestLogFull , FILENAME = N D:\DBFile\TestLogFull\TestLogFull.mdf  , SIZE = 500MB , MAXSIZE = UNLIMITED, FILEGROWTH = 100MB )LOG ON ( NAME = N TestLogFull_log , FILENAME = N D:\DBFile\TestLogFull\TestLogFull_Log.ldf  , SIZE = 1MB , MAXSIZE = 512MB )

這里指定日志文件的最大為 512M,主要是為了演示日志空間被占滿的現象

接著開啟新建一個表同時開啟 CDC 來測試

USE TestLogFull-- 啟用 CDCEXECUTE sys.sp_cdc_enable_db;GO-- 創建一張測試表 create table test_cdc( id int identity(1,1) primary key, name nvarchar(50), mail varchar(50), address nvarchar(50), lastupdatetime datetime)-- 對表啟用 CDCEXEC sys.sp_cdc_enable_table @source_schema =  dbo , @source_name =  test_cdc , @role_name =  cdc_admin , @capture_instance = DEFAULT, @supports_net_changes = 1, @index_name = NULL, @filegroup_name = DEFAULT

CDC 開啟成功,開始測試日志被占滿的情況

這里演示對某些表開啟 CDC 的情況下日志文件文件被占滿的情況

1,代理服務器未啟動導致日志空間被占滿

文中一開始提到的步驟 3,對于 CDC,進程就是 SQL Server Agent 中的 cdc.***_capture 作業或者復制代理作業來讀取日志如果 SQL Server Agent 在開啟了 CDC 或者復制之后被關閉,或者重啟服務器之后 SQL Server Agent 沒有隨機自動啟動就有可能造成步驟 2 中的日志積壓,也就是記錄數據變化之后的事務日志處于 replication 狀態,無法重用,導致沒有可以使用的日志致使發生操作數據庫的時候提示 The transaction log for database *** is full due to REPLICATION .

這里暫時關閉代理服務(僅僅是為了測試演示這一現象)

增刪改都可以產生事務日志,這里就演示 insert 數據的情況,做一個寫數據的 SQL,往開啟了 CDC 的表中寫數據庫 在建庫的時候日志文件有限制成了 512M,因為這個表上開啟了 CDC,寫數據這個過程會產生事務日志,日志有空空間限制在寫入數據的過程中,一開始是沒有問題的,隨著數據的不斷寫入(Replication 狀態的日志不斷積壓),當日志全部使用之后,下面的報錯就會產生了

此時觀察事務日志的使用情況,發現已經是完全使用了,

因為日志空間被完全使用了,那么觀察一下日志的等待狀態,是 Replication 狀態

此時嘗試收縮也是無效的,因為日志都是出于活動狀態,活動狀態的日志是無法收縮的

可見,因為代理被關閉,讀取日志的作業無法執行,造成日志堵塞,那么開啟代理來看看到底行不行?開啟代理,查看 CDC 作業的執行情況,會發現,此時代理作業也不好使了,作業執行的時候并沒有成功,一樣提示說事務日志已滿

此時觀察測試表的 cdc 目標表沒有任何數據,說明此時即便開啟了代理,cdc 的作業依然沒有成功執行 那么這里為什么 CDC 的代理作業也無法正常執行?

其實也不難理解,cdc 的作業也是讀取事務日志寫數據的,這中間也相當于有事務性操作,必須要借助日志來實現,而此時又沒有可用的日志空間,

這個作業當然要失敗了。

那么此時怎么辦?

既然是日志堵塞了,就想辦法清理到這部分活動日志,嘗試將事務日志標記為已分發(雖然這里是 CDC,但是對于日志的使用應該是跟復制一樣的)

根據本人的測試,在執行上面的語句,將復制的事物標記為已分發之后,再次查看日志使用率,發現還是 100%,但是嘗試寫入數據的時候是成功的,再次寫入數據(一條即可)之后,日志空間開始釋放,應該是寫入時候的時候觸發被標記為已分發的日志截斷,也就是將上面占用了 100% 的日志空間釋放出來然后再觀察日志的使用率,發現如預期的,這部分日志已被截斷,日志空間不再是被完全占用了,日志變成 Nothing 狀態(可重用)

這個測試說明,如果開啟了 CDC,SQL Server 代理沒有正常啟動或者對應的作業沒有正常啟動,日志空間會隨著不斷產生的事物被占滿,導致數據庫無法進行寫入性操作

這里是用過手動標記日志為已分發的方式來釋放日志的,這種情況下會導致 cdc 日志斷裂的情況,也就是手動釋放的日志無法傳遞到下游(cdc 日志表)

畢竟不是一個太好的辦法,下面會說明另外一種辦法。

2,短時間內較大的事務性操作導致的日志空間被占滿的情況

對去上面所說的代理服務被關閉導致日志堵塞的情況不同,這里直接開啟代理服務,依舊拿著下面的腳本往表中寫數據(比如實際業務中批量導入數據之類的)

在寫入一段時間之后,依然出現了事務日志被填滿的情況,這又是為什么?

還要從 CDC 的代理任務說起,這個代理的 JOB 雖然是連續執行的,但是因為上面寫數據的時候也是連續寫入的,也就是日志是連續產生的,

因為限制了日志文件的大小(這里為了方便演示,限制為 512M),日志文件有最大使用空間的限制。

這里可以認為是一個 Session 消耗日志空間(Insert 操作),一個進程解析日志之后釋放日志空間(代理作業),

但是消耗的速度要高于釋放的速度,一旦日志空間被使用完,CDC 的代理作業也無法完成,

這樣就又造成了上面的情況:日志空間被填滿,數據庫無法執行任何寫入操作,CDC 作業也無法執行從而釋放可重用的日志空間,

上面是通過手動標記事務日志的狀態來解決日志文件被填滿的,

直接手動標記日志為已分發的做法是有點不合適的,

一旦標記日志狀態為已分發,接下來他就不會傳遞給 CDC 的系統表或者訂閱端了

這里通過另外一種方法來解決此問題: 既然當前日志占滿了,就在添加一個日志,注意新加日志初始化的空間不要太小。

(有興趣測試的盆友,這里添加完日志文件后注意耐心等待一兩分鐘)然后隨后的 CDC 作業會借助新加的這個日志空間會繼續執行

此種情況說明,如果限制了日志的大小(或者存儲日志的磁盤空間不足),數據庫中開啟了 CDC 或者復制,

一旦數據出現大批量持續性寫入操作(增刪改),此時會出現 SQL Server 代理解析并釋放日志的速度跟不上,也有可能造成日志被占滿的情況

3,不增加日志文件空間或者添加日志文件情況下重啟 SQLServer 服務

這個辦法也是本人在重現這一現象并嘗試解決的時候試出來的,可行性不是太強,但還是說明一下,那就是重啟大法,同時重啟之后日志文件也發生了一些有意思的變化

建庫的時候日志文件限制為最大 512M,同時沒有手動標記標記日志為已分發狀態,但是重啟 SQLServer 服務之后,如果存放日志的磁盤有空間,這個日志會自動擴充一部分

然后有了這部分擴充出來的日志,代理 job 就可以解析 Replication 狀態的日志(之后)就可以釋放日志空間了(需要一段時間來解析并釋放日志,根據待復制的日志量有關)

日志限制為 512MB,但是初始化為 556MB,明顯大過最大日志大小,這個是歸功于重啟 SQLServer 服務的結果

在 SQL Server 2014 SP2 版本下測試的現象,

如果是 SQL Server 2014(非 SP2 補丁版),開啟 CDC 的方式占滿日志則不會出現如下的情況,也就是說重啟有日志并不會自動擴充一部分,我也是醉了,驗證個東西真不容易,這些小細節跟補丁版本也有關系,不過這種偏門的方法不能作為經驗!

當開啟了 CDC 之后,在相關表上的變化會寫入事務日志(日志狀態為 Replication 狀態),代理任務會解析日志,解析完日之后標記日志為可重建狀態(如果是簡單還原模式,是可重用,如果是完整還原模式,日志備份也無法截斷 Replication 狀態的日志),這種狀態下如果限制了日志的最大大小比較小,或者沒有限制,存儲日志的磁盤空間不足,在大批量寫入數據(增刪改)的時候,有可能產生的日志占滿日志文件的情況,會導致釋放日志的代理作業無法進行,代理作業無法進行又無法釋放日志,仿佛是死循環。

此時要么新增日志文件或者增加日志文件的最大大小,要么通過執行系統存儲過程 sp_repldone 來標記事務為已分發(標記事務日志可重用)來解決這一問題。

看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注丸趣 TV 行業資訊頻道,感謝您對丸趣 TV 的支持。

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-07-18發表,共計4409字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 牟定县| 辽中县| 进贤县| 阳泉市| 江陵县| 郑州市| 宣恩县| 东阿县| 璧山县| 德州市| 巢湖市| 长春市| 万载县| 体育| 桂林市| 福建省| 连州市| 扎赉特旗| 北海市| 体育| 密山市| 仙游县| 宜章县| 宜宾县| 东乡族自治县| 内丘县| 沛县| 松溪县| 抚远县| 大连市| 拜城县| 布尔津县| 阿巴嘎旗| 云林县| 称多县| 蓝山县| 玛多县| 南充市| 福鼎市| 大埔区| 威远县|