共計 2548 個字符,預計需要花費 7 分鐘才能閱讀完成。
本篇內容介紹了“Fuse 文件系統優化的方法有哪些”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓丸趣 TV 小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
優化 1:延長元數據有效時間
Linux 中每個打開文件在內核中擁有兩種元數據信息:struct dentry 和 struct inode,它們是文件在內核的基礎。所有對文件的操作,都需要先獲取文件這兩個結構方可繼續下去,而這兩個結構又是由具體文件系統負責構造填充。以下兩點解釋了元數據優化的必要性:
1). 應用程序調用文件系統操作系統接口時,傳入的參數一般為文件路徑,如 open(“a/b/c/d.txt”),內核需要對路徑名進行解析,從根目錄開始,根據路徑中的每個分量獲取其 dentry 和 inode,接著解析路徑的下一個分量,直至解析出目的文件的 inode 和 dentry,如果路徑名分量中的 dentry 沒有緩存在內存中,需要從具體文件系統上讀出(這就耗時多了)。
2). 很多應用程序喜歡調用 stat 接口以獲取文件屬性,內核實現其實是找到文件 inode,從 inode 中獲取文件屬性。如果 inode 沒有被緩存,則需要從具體文件系統中獲取(可能會很耗時)。
因為 Fuse 的內核模塊只是一個橋梁,連接了應用程序和我們基于 Fuse 開發的文件系統。所以,按照道理說,每次獲取文件 / 目錄的 inode 以及 dentry 的時候 Fuse 內核模塊都應該去 LibFuse 以及我們的文件系統走一遭。
但是這樣做的話缺點非常明顯:IO 路徑拉長,效率變低,而且假如我們基于 fuse 開發的文件系統是網絡文件系統(例如 NOS 等),可能會導致后端服務器壓力增大。
有鑒于此,Fuse 的作者在 Kernel Fuse 模塊中增加了元數據緩存,包含 dentry 和 inode 緩存。相比本地文件系統,我們必須時刻警惕一個問題:緩存有效性。所以,如何在提升性能的同時又盡量保證正確性是一個棘手的問題。
利用 fuse 掛載我們自己文件系統時,可指定 dentry 以及 inode 屬性有效時間,當然這個有效時間得具體問題具體設置了,無統一答案。
優化方法:fuse 掛載指定 ndash;o entry_timeout=T ndash;o attr_timeout=T
優化建議:五顆星
優化 2:擴大每次寫入頁面數
應用程序每次對基于 Fuse 開發的文件系統的文件寫入必先經過 Kernel Fuse 模塊,Kernel Fuse 其實是有很大權限決定何時將數據寫入到用戶態文件系統的。寫的越頻繁,效率必然越低,但一致性可能會更好,控制寫入頻率其實也是一個權衡的過程。
如果稍微熟悉 Kernel 你可能就會知道內核的 IO 其實是以 Page 為單位的。內核會將應用程序的寫入請求按照 PAGE_SIZE 劃分成多個 page,然后再對 page 進行 IO,簡潔優美。
如果不作優化,Kernel Fuse 對應用程序的每次 page 都會調用一次用戶態文件系統的寫操作,這樣假如我們用戶態的 64KB 的寫請求,按照默認的 PAGE_SIZE(4KB) 可能會觸發 16 次的用戶態寫,實際 IO 次數被放大,效率嚴重下降。如果采取優化,Kernel Fuse 默認會每 128KB 才觸發一次用戶態文件系統寫調用,當然亦可指定觸發寫調用的閾值。
優化方法:fuse 掛載指定 ndash;o big_write ndash;o max_write=N
優化建議:五顆星
優化 3:開啟內核讀緩存
Linux 文件系統實現充分利用了內存來緩存文件數據,這樣應用程序很多時候讀文件其實只需從內核緩沖區拷貝數據至用戶態緩沖區即可,根本不必啟動磁盤 IO。
由于 Fuse 的特殊性,需要嚴格控制數據緩存行為(看看我們前面提到的元數據緩存吧),因為可能我們實現的基于 Fuse 的文件系統其實是一個網絡文件系統,那么如果使用內核緩存,可能就讀到臟數據,因為作為用戶態的你是很難控制內核的行為的。
不過 Fuse 的作者非常周到,它提供了多種掛載選項,來控制緩存行為,但友情提醒:一旦選擇開啟緩存,請為自己的可能讀的過期數據負責。
優化方法:fuse 掛載指定 ndash;o kernel_cache ndash;o auto_cache
順便提一句:我們上面說的都是參數 kernel_cache 的行為,沒有說明 auto_cache 的行為,留給各位讀者仔細研究吧,提個醒:該選項是基于文件修改時間進行內核緩存有效性檢測的優化策略。
優化建議:三顆星
優化 4:擴大預讀窗口
預讀是在是一件有趣的事情。Linux 內核通過預讀改變了應用程序的原始讀行為。比如應用程序發起了一個 16KB 的讀請求,內核可能莫名其妙地讀取 64KB 數據等。當然,它這么做肯定有其道理,簡單來說:一切為了性能,為了性能的一切。另外,我會在近期推出一篇預讀相關文章,詳細闡述預讀機制,敬請關注。
Fuse 允許掛載用戶態文件系統時指定預讀窗口大小,Fuse 會用該設定值作為 *** 的預讀窗口大小,若不指定,會采用 Linux 默認的 *** 預讀窗口大小 128KB。但是其實如果你設置了 Fuse 的預讀窗口超過 Linux 默認的 128KB 也是徒勞,因為 VFS 不允許預讀窗口超過 128KB 限制,所以總的來說,優化的意義不大。
優化方法:fuse 掛載指定 ndash;o max_readahead = N
優化建議:一顆星
優化 5:使用 DirectIO 取代 BufferIO
有些時候,應用程序希望繞過 OS 的緩存而自己管理緩存(如數據庫),這需要文件系統實現 DIRECTIO 方法。
同樣,貼心的 Fuse 作者也為我們提供了 directIO 方式的讀寫。相比 BufferIO 方式,DirectIO 的 *** 優勢在于減少了數據從應用程序緩沖區拷貝至內核態的開銷,對于大量順序寫的應用場景,性能可能會有一定提升。
當然,如果采用 DirectIO,恐怕 *** 的問題就是 read 也無法使用內核緩存了,很多時候這是我們無法忍受的,常常來說,文件系統讀請求會遠多于寫,所以,優化前望三思。
優化方法:fuse 掛載指定 -o direct_io
優化建議:一顆星
“Fuse 文件系統優化的方法有哪些”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注丸趣 TV 網站,丸趣 TV 小編將為大家輸出更多高質量的實用文章!