共計 3744 個字符,預計需要花費 10 分鐘才能閱讀完成。
今天丸趣 TV 小編給大家分享一下 linux 有什么分布式文件系統的相關知識點,內容詳細,邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
linux 分布式文件系統有:1、OpenAFS,是一套開放源代碼的分布式文件系統;2、MooseFs,是一個具備容錯功能的網絡分布式文件統;3、googleFs,是一個可擴展分布式文件系統等。
linux 分布式文件系統有哪些?
NFS(www.tldp.org/HOWTO/NFS-HOWTO/index.html)
網絡文件系統是 FreeBSD 支持的文件系統中的一種,也被稱為 NFS。
NFS 允許一個系統在網絡上與它人共享目錄和文件。通過使用 NFS,用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是:
1、本地工作站使用更少的磁盤空間,因為通常的數據可以存放在一臺機器上而且可以通過網絡訪問到。
2、用戶不必在每個網絡上機器里面都有一個 home 目錄。home 目錄可以被放在 NFS 服務器上并且在網絡上處處可用。
3、諸如軟驅、CDROM、和 ZIP 之類的存儲設備可以在網絡上面被別的機器使用。可以減少整個網絡上的可移動介質設備的數量。
開發語言 c /c++, 可跨平臺運行。
OpenAFS(www.openafs.org)
OpenAFS 是一套開放源代碼的分布式文件系統,允許系統之間通過局域網和廣域網來分享檔案和資源。OpenAFS 是圍繞一組叫做 cell 的文件服務器組織的,每個服務器的標識通常是隱藏在文件系統中,從 AFS 客戶機登陸的用戶將分辨不出他們在那個服務器上運行,因為從用戶的角度上看,他們想在有識別的 Unix 文件系統語義的單個系統上運行。
文件系統內容通常都是跨 cell 復制,一便一個硬盤的失效不會損害 OpenAFS 客戶機上的運行。OpenAFS 需要高達 1GB 的大容量客戶機緩存,以允許訪問經常使用的文件。它是一個十分安全的基于 kerbero 的系統,它使用訪問控制列表(ACL)以便可以進行細粒度的訪問,這不是基于通常的 Linux 和 Unix 安全模型。開發協議 IBM Public,運行在 linux 下。
MooseFs(derf.homelinux.org)
Moose File System 是一個具備容錯功能的網絡分布式文件統,它將數據分布在網絡中的不同服務器上,MooseFs 通過 FUSE 使之看起來就 是一個 Unix 的文件系統。但有一點問題,它還是不能解決單點故障的問題。開發語言 perl, 可跨平臺操作。
pNFS(www.pnfs.com)
網絡文件系統 (Network FileSystem,NFS) 是大多數局域網(LAN)的重要的組成部分。但 NFS 不適用于高性能計算中苛刻的輸入書櫥密集型程序,至少以前是這樣。NFS 標準的罪行修改納入了 Parallel NFS(pNFS),它是文件共享的并行實現,將傳輸速率提高了幾個數量級。
開發語言 c /c++, 運行在 linux 下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統,用于大型的,分布式的,對大量數據進行訪問的應用。它運行于廉價的普通硬件上,但可以提供容錯功能,它可以給大量的用戶提供性能較高的服務。google 自己開發的。
相關拓展:
常用的分布式文件系統有:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS 等。
常見分布式文件系統比對
1、GFS(Google File System)
Google 公司為滿足公司需求而開發的基于 Linux 的可擴展的分布式文件系統,用于大型的、分布式的、對大數據進行訪問和應用,成本低,應用于廉價的普通硬件上,但不開源,暫不考慮。
2、TFS(Taobao File System)
阿里巴巴為滿足了淘寶對小文件存儲的需求而開發的一個可擴展、高可用、高性能、面向互聯網服務、開源的分布式文件系統,主要針對海量的非結構化數據,它構筑在普通的 Linux 機器集群上,可為外部提供高可靠和高并發的存儲訪問。TFS 為淘寶提供海量小文件存儲,通常文件大小不超過 1M,這個也暫不考慮。
3、HDFS(Hadoop Distributed File System)
Hadoop 分布式文件系統,適合運行在通用硬件上做分布式存儲和計算,因為它具有高容錯性和可擴展性的特點,可部署在廉價的機器上,適合大數據的處理,在離線批量處理大數據上有先天的優勢。
Hadoop 是 Apache Lucene 創始人 Doug Cutting 開發的使用廣泛的文本搜索庫。它起源于 Apache Nutch,后者是一個開源的網絡搜索引擎,本身也是 Luene 項目的一部分。Aapche Hadoop 架構是 MapReduce 算法的一種開源應用,是 Google 開創其帝國的重要基石。
4、MooseFS
MooseFS 是來自波蘭的開源且具備冗余容錯功能的分布式 POSIX 文件系統,也是參照了 GFS 的架構,實現了絕大部分 POSIX 語義和 API,它支持通過 FUSE 方式將文件掛載操作,同時其提供的 web 管理界面非常方便查看當前的文件存儲狀態,對 master 服務器有單點依賴,用 perl 編寫,用于中、大型文件應用,但性能相對較差,由于可能會實時訪問所以暫不考慮。
備注:POSIX 表示可移植操作系統接口(Portable Operating System Interface of UNIX, 縮寫為 POSIX),POSIX 標準定義了操作系統應該為應用程序提供的接口標準
5、FastDFS
由淘寶的余慶先生所開發的一個開源分布式文件系統。它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。適合以文件為載體的在線服務,如相冊網站、視頻網站等等。FastDFS 為互聯網量身定制,充分考慮了冗余備份、負載均衡、線性擴容等機制,并注重高可用、高性能等指標,使用 FastDFS 搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。但是 FastDFS 部署有點麻煩,且它的 SKD 是不全的。
6、MogileFS
MogileFS 是一套高效開源的文件自動備份組件,由 Six Apart 開發,廣泛應用在包括 LiveJournal 等 web2.0 站點上。支持多節點冗余,可實現自動的文件復制。不需要 RAID,應用層可以直接實現 RAID,不共享任何東西,通過集群接口提供服務工作于應用層,沒有特殊的組件要求。使用 HTTP 方式通信。
國內所知道的使用 MogileFS 的公司有圖片托管網站 yupoo 又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評, 搜狗, 安居客等等網站. 基本很多網站容量,圖片都超過 30T 以上。
7、GridFS
MongoDB 是一種知名的 NoSql 數據庫,GridFS 是 MongoDB 的一個內置功能,它用于存儲和恢復那些超過 16M(BSON 文件限制)的文件(如:圖片、音頻、視頻等),是文件存儲的一種方式,但是它是存儲在 MonoDB 的集合中。它可以直接利用已建立的復制或分片機制,所以對于文件存儲來說故障恢復和擴展都容易,且 GridFS 不產生磁盤碎片。
8、MinIO
MinIO 是一個基于 Apache License v2.0 開源協議的對象存儲服務。它兼容亞馬遜 S3 云存儲服務接口,非常適合于存儲大容量非結構化的數據,例如圖片、視頻、日志文件、備份數據和容器 / 虛擬機鏡像等,而一個對象文件可以是任意大小,從幾 kb 到最大 5T 不等。它也是一個非常輕量的服務, 可以很簡單的和其他應用的結合。MinIO 的特色在于簡單、輕量級,對開發者友好,學習成本低,安裝運維簡單,開箱即用。
9、SeaweedFS
SeaweedFS 是基于 go 語言開發高度可擴展開源的分布式存儲系統,能存儲數十億文件(最終受制于你的硬盤大小)、并且速度快,內存占用小。上手使用比 fastDFS 要簡單很多,自帶 Rest API。對于中小型文件效率非常高,但是單卷最大容量被程序限制到 30G,建議存儲文件以 100MB 以內為主。
10、Ceph
Ceph 是 Red Hat 旗下一個成熟的分布式文件系統,而且還是一個有企業級功能的對象存儲生態環境。該系統具備高性能、高可用性、高可擴展性、實時存儲性等特點。雖然 ceph 很強大,但是學習成本高、安裝運維復雜。Ceph 用 C ++ 編寫,存儲容量可輕松達到 PB 級別。
11、GlusterFS
GlusterFS 是由美國的 Gluster 公司開發的 POSIX 分布式文件系統(以 GPL 開源),它主要應用在集群系統中,具有高擴展性、高可用性、高性能、可橫向擴展等特點,并且其沒有元數據服務器的設計,讓整個服務沒有單點故障的隱患。該系統主要是為中大型文件設計的,存儲容量可輕松達到 PB。它存在擴容縮容影響服務器較多、遍歷目錄下文件耗時、小文件性能較差的缺點。
以上就是“linux 有什么分布式文件系統”這篇文章的所有內容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,丸趣 TV 小編每天都會為大家更新不同的知識,如果還想學習更多的知識,請關注丸趣 TV 行業資訊頻道。