共計 2465 個字符,預計需要花費 7 分鐘才能閱讀完成。
今天就跟大家聊聊有關數據庫連接配置的策略和實踐是怎樣的,可能很多人都不太了解,為了讓大家更加了解,丸趣 TV 小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
一 前言
應用執行 SQL 請求完成的過程中,數據庫連接占很重要一部分。尤其是涉及到流量瞬間暴漲,需要創建大量連接,或者網絡異常導致重連時,從業務端來看,sql 執行緩慢的問題,此時 sql 執行并非真的慢。本文是基于我們自己的生產環境的 Durid 實踐,僅供各位參考,當然不同公司的鏈路 / 業務壓力可能不一樣。
二 具體實踐
從整體系統的角度,我們要考慮幾個點,數據庫連接數配置多少合適,針對空閑連接,網絡異常的超時時間,如何高效復用連接,druid 版本選擇這幾個方面來介紹。
2.1 如何設置連接池大小
合適的連接池大小和業務請求的 QPS 和 單個請求的 RT(單位為毫秒)。基本公式:
連接數 = QPS /(1000/RT) + N = QPS * RT /1000 + N
注意: 此處 QPS 和 RT 為單個應用端統計。假定隨連接數量增加,客戶端能處理的請求數線性增加。
舉個例子
比如 一個請求的耗時 rt=2ms, 每個連接能處理的請求數量 S = 1000/2 =500 , 業務層總請求量是 M=5000 , 那么合理的連接數為 M/S=5000/500=10 為了避免連接數被占滿,我們會在上面的連接數的基礎上再加上 N , 最終的連接數為 10+N .
統計平時的最大 QPS 和此時的 RT,以此計算 minIdle,并設置 initialSize = minIdle。
統計峰值時的 QPS 和此時的 RT,以此計算 maxActive。
可以通過以下方法,通過 jmx 觀察 Druid 實際的連接池狀況,重點關注 ActiveCount:活動連接數,PoolingCount:池子中的連接數。并根據實際情況考慮調整。
java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 com.alibaba.druid:type=DruidDataSourceStat DataSourceList | grep -E ActiveCount|PoolingCount
2.2 如何設置超時時間
連接池中的超時時間主要有:
connectTimeout 建立 TCP 連接的超時時間
maxWait 從連接池獲取連接的最長等待時間
socketTimeout 發送請求后等待響應的超時時間
其中,connectTimeout 建議不要小于 1200ms。TCP 在建立連接時,SYN 包的超時重傳時間為 1s。connectTimeout 設置過短,很可能造成應用發布時,初始化連接池過程中由于網絡抖動,或中間網絡設備需要初始化狀態發生丟包觸發超時,從而造成連接池初始化失敗而導致發布失敗。
socketTimeout 可以根據應用最長的查詢返回時間設置。過長會造成生網絡問題,或數據庫服務有問題時雪崩; 過短也會造成頻繁請求超時。不要短于 300ms。TCP 的最小 RTO 為 200ms,并根據延遲動態調整。過短的超時時間會造成單個丟包就造成請求超時。生產環境數據庫都配置有 SQL Killer,會自動殺死執行時間過長的請求。因此,設置過長的 socketTimeout 也是沒有意義的。
maxWait 可以根據應用期待的等待時間設置。為避免在發生網絡問題,或數據庫服務有問題時雪崩,這個時間設置不要過大。下面的默認值 800ms 是個保守的設置。應用可以設置一個更短的時間,如 300ms。過短的時間也會造成在連接池中連接數不足,需要新建連接時造成大量超時。建議不要低于 100ms。
2.3 如何設置連接保持時間
設置連接保持活躍的時間需要考慮是直連還是通過數據庫中間件 proxy 連接。一般現在的生產環境大多為:
App - LVS - Proxy - DB
其中應用到 RDS 的訪問路徑為 App – LVS – Proxy。
其中,LVS 空閑連接保留時間為 90s。Proxy 為了避免訪問到已被關閉的連接,自身的空閑連接保留時間為 [70, 85) s。因此,應用程序為了避免從連接池獲取到已被關閉的連接,應當設置自身保留空閑連接時間不能超過 70s。打開 KeepAlive 之后的效果
初始化連接池時會填充到 minIdle 數量。
連接池中的 minIdle 數量以內的連接,空閑時間超過
minEvictableIdleTimeMillis,則會執行 keepAlive 操作。
當網絡斷開等原因產生的由 ExceptionSorter 檢測出來的死連接被清除后,自動補充連接到 minIdle 數量。
timeBetweenEvictionRunsMillis=10000, minEvictableIdleTimeMillis=44000, maxEvictableIdleTimeMillis=55000。
2.4 必選配置項
以下默認配置可以根據實際情況調整。
bean id= cartDataSource >1.0.28 版本之后,新加入 keepAlive 配置,缺省關閉。使用 keepAlive 功能,建議使用 1.1.16 或者更高版本。一般業務無需打開,除非分鐘請求量在個位數或者啟動時間超長導致初始連接都過期。
2.5 druid 版本
建議使用最新版本,不要使用太老的版本,以免遇到 bug。
e.g. Maven 配置:
dependency groupId com.alibaba /groupId artifactId druid /artifactId version 1.0.27 /version /dependency
看完上述內容,你們對數據庫連接配置的策略和實踐是怎樣的有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注丸趣 TV 行業資訊頻道,感謝大家的支持。