共計 717 個字符,預計需要花費 2 分鐘才能閱讀完成。
這篇文章將為大家詳細講解有關怎么解析 Hadoop 的分析,文章內容質量較高,因此丸趣 TV 小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
Hadoop:
適合大數據的分布式存儲和計算平臺.Hadoop 中的核心就是 HDFS(Hadoop Distributed File System)hadoop 分布式文件系統,還有一個就是 MapReduce 并行計算框架.
Hadoop 分布式文件系統:
當數據集的大小超過一臺獨立物理計算機的存儲能力時,就有必要對它進行分區 (Partition),并存儲到若干臺單獨的計算機上,管理網絡中跨多臺計算機存儲的文件系統稱為分布式文件系統 (Distributed File System)。
Hadoop 有一個稱為 HDFS 的分布式文件系統, 全程 Hadoop Distributed File System。在非正式文檔或舊文檔以及配置文件中,有時也簡稱為 DFS。
Hadoop 中的 MapReduce 計算框架:
在 Hadoop 中,其實處理數據都是由 MapReduce 來進行處理,首先由 Map 過濾數據或其他操作,在 Map 的輸出時 Reduce 端的輸入,Reduce 端拿到 Map 端的輸出后,分別對數據進行分區,排序,分組,聚合等操作,最后 Reduce 端把處理后的數據輸出到 HDFS 中進行存儲,再后可以把處理的數據提取并做其他相應需求操作。
關于怎么解析 Hadoop 的分析就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。