共計 2103 個字符,預計需要花費 6 分鐘才能閱讀完成。
這篇文章主要介紹“如何在 YARN 上運行 ElasticSearch”,在日常操作中,相信很多人在如何在 YARN 上運行 ElasticSearch 問題上存在疑惑,丸趣 TV 小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”如何在 YARN 上運行 ElasticSearch”的疑惑有所幫助!接下來,請跟著丸趣 TV 小編一起來學習吧!
這么做的目的,主要是為了統一資源管理 (cpu 和內存)。一體化平臺,spark,es ,mr 等都在一起跑的時候,做好資源的調度。
在故事開始之前,先去把插件下載了。
插件地址
安裝主要參考了官方文檔
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar
No command specified
Usage:
-download-es : Downloads Elasticsearch.zip
-install : Installs/Provisions Elasticsearch-YARN into HDFS
-install-es : Installs/Provisions Elasticsearch into HDFS
-start : Starts provisioned Elasticsearch in YARN
-status : Reports status of Elasticsearch in YARN
-stop : Stops Elasticsearch in YARN
-help : Prints this help
Configuration options can be specified _after_ each command; see the documentation for more information.
[root@master nq]#
安裝過程比較簡單,根據文檔順序來遍就好了,可能會出現的情況就是,HDFS 權限問題。
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2 # 我啟動了 2 個,為了副本能分配
完成后,能在HDFS下面看到2個文件
YARN 這邊也能看到日志和應用了
ES這邊訪問OK
[root@master nq]# curl localhost:9200
status : 200,
name : Shadowmage ,
cluster_name : elasticsearch ,
version : {
number : 1.4.0 ,
build_hash : bc94bd81298f81c656893ab1ddddd30a99356066 ,
build_timestamp : 2014-11-05T14:26:12Z ,
build_snapshot : false,
lucene_version : 4.10.2
},
tagline : You Know, for Search
[root@master nq]#
好了,大功告成。剛要開心的大笑,就發現了 2 個嚴重的問題,然后笑容凝固。
怎么安裝插件?
數據存哪兒去了?local or hdfs
看著 HDFS 上的 zip 包,我茫然了,首先確定的是插件,肯定是沒提供相應的接口了,從圖 1 也能看出來。經過一頓糾結后,想到了 2 個辦法。
把插件打包進 zip 包里面。
安裝過程的,第一步,(-download-es)會把 es 下載到當前 dowanloads 目錄下面,
去 dowanloads 里面把 elasticsearch-1.4.0.zip 解壓,再把 head 等插件弄進去,壓縮
替換 HDFS 上的 zip 包,
stop start
使用 plugin 命令安裝。
jps -v|grep elastic
./bin/plugin -install mobz/elasticsearch-head
jps 找到 ES 的運行目錄 (-Des.path.home),然后就沒有然后了。熟悉的 head。到這里,其實索引文件是不是存在 HDFS 里面也清楚了。
到此,關于“如何在 YARN 上運行 ElasticSearch”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注丸趣 TV 網站,丸趣 TV 小編會繼續努力為大家帶來更多實用的文章!