共計 2994 個字符，預計需要花費 8 分鐘才能閱讀完成。
這篇文章主要講解了“CDH5 基礎知識點有哪些”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著丸趣 TV 小編的思路慢慢深入，一起來研究和學習“CDH5 基礎知識點有哪些”吧！
0. 體系架構
CM 分為 Server 與 Agent 兩部分及數據庫（自帶更改過的嵌入 Postgresql）。它主要做三件事件：
1. 管理監控集群主機。
2. 統一管理配置。
3. 管理維護 Hadoop 平臺系統。
實現采用 C / S 結構，Agent 為客戶端負責執行服務端發來的命令，執行方式一般為使用 python 調用相應的服務 shell 腳本。Server 端為 Java REST 服務，提供 REST API，Web 管理端通過 REST API 調用 Server 端功能，Web 界面使用富客戶端技術（Knockout）。
1. Server 端主體使用 Java 實現。
2. Agent 端主體使用 Python, 服務的啟動通過調用相應的 shell 腳本進行啟動，如果啟動失敗會重復 4 次調用啟動腳本。
3. Agent 與 Server 保持心跳，使用 Thrift RPC 框架。
1. 相關目錄
· /opt/cloudera/parcels/ : Hadoop 相關服務安裝目錄。
· /opt/cloudera/parcel-repo/ : 下載的服務軟件包數據，數據格式為 parcels。
· /opt/cloudera/parcel-cache/ : 下載的服務軟件包緩存數據。
· /opt/cloudera/parcels/CDH/jars : 所有 jar 包所在目錄
· /var/log/cloudera-scm-installer : 安裝日志目錄
· /var/log/cloudera-scm-* : 相關日志文件（相關服務的及 CM 的）
· /usr/share/cmf/ : 程序安裝目錄
· /usr/lib64/cmf/ : Agent 程序代碼
· /var/lib/cloudera-scm-server-db/data : 內嵌 postgresql 數據庫目錄
· /var/lib/cloudera-scm-server: 服務端目錄
· /usr/bin/postgres : 內嵌數據庫程序
· /etc/cloudera-scm-agent/ : cm agent 的配置目錄。
· /etc/cloudera-scm-agent/config.ini：配置連接服務端的配置, 如 server_host
· /etc/cloudera-scm-server/ : cm server 的配置目錄。
· /etc/cloudera-scm-server/db.properties：database settings
· /etc/hadoop/*：hadoop 客戶端配置目錄
· /etc/hive/：hive 的配置目錄
2. 配置及環境變量
CDH 安裝完成后, 服務啟動時,Hadoop 各組件配置文件會被放置于 /var/run/cloudera-scm-agent/process/ 目錄下。
例如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是通過 Cloudera Manager 啟動相應服務（如 HDFS）時生成的，內容從數據庫中獲得（即通過界面配置的參數）。
在 CM 界面上更改配置是不會立即反映到配置文件中，這些信息會存儲于數據庫中，等下次重啟服務時才會生成配置文件。且每次啟動時都會產生新的配置文件。
CM Server 主要數據庫為 scm/cmf 中放置配置的數據表為 configs。里面包含了服務的配置信息
每一次配置的更改會把當前頁面的所有配置內容添加到數據庫中，以此保存配置修改歷史。
· 查看配置內容
a. 直接查詢 cmf 數據庫的 configs 數據表的內容。
b. 訪問 REST API：http://172.16.101.66:7180/api/v4/cm/deployment，返回 JSON 格式部署配置信息。
· 配置生成方式
CM 為每個服務進程生成獨立的配置目錄（文件）。所有配置統一在服務端查詢數據庫生成（因為 scm/cmf 數據庫只能在 localhost 下訪問）生成配置文件，再由 agent 通過網絡下載包含配置文件的 zip 包到本地解壓到指定的目錄。
· 配置修改
CM 對于需要修改的配置預先定義，對于沒有預先定義的配置, 則通過在高級配置項中使用 xml 配置片段的方式進行配置。而對于 /etc/hadoop/ 下的配置文件是客戶端的配置，可以在 CM 通過部署客戶端生成客戶端配置。
· 環境變量腳本:/opt/cloudera/parcels/CDH/meta/cdh_env.sh
CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop
#CM 客戶端 / 服務端、Hadoop 各個組件的配置文件都在 /etc 目錄下
HDFS
Active NameNode 數據目錄 dfs.name.dir
/dfs/nn
Standby NameNode 數據目錄 dfs.name.dir
/dfs/nn
Secondary NameNode HDFS 檢查點目錄 fs.checkpoint.dir
/dfs/nn
日志目錄 hadoop.log.dir
/var/log/hadoop-hdfs
MapReduce
JobTracker 本地數據目錄 mapred.local.dir
/mapred/jt
TaskTracker 本地數據目錄列表 mapred.local.dir
/mapred/local
日志目錄 hadoop.log.dir
/var/log/hadoop-0.20-mapreduce
Hive
倉庫目錄 hive.metastore.warehouse.dir
/user/hive/warehouse
HiveServer2 日志目錄
/var/log/hive
Zookeeper
數據目錄 dataDir
/var/lib/zookeeper
事務日志目錄 dataLogDir
/var/lib/zookeeper 3. CM 常用命令
service cloudera-scm-server start|stop|restart|status
service cloudera-scm-server-db start|stop|restart|status
service cloudera-scm-agent start|stop|restart|status
查看進程:jps / jps -l
4. Hadoop Shell
hadoop fs -ls /: 列出 hdfs 文件系統根目錄下的目錄和文件
hadoop fs -ls -R /: 列出 hdfs 文件系統所有的目錄和文件
hadoop dfsadmin –report : 查看文件系統的基本信息和統計信息
感謝各位的閱讀，以上就是“CDH5 基礎知識點有哪些”的內容了，經過本文的學習后，相信大家對 CDH5 基礎知識點有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是丸趣 TV，丸趣 TV 小編將為大家推送更多相關知識點的文章，歡迎關注！
