久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

如何在YARN上運行ElasticSearch

186次閱讀
沒有評論

共計 2103 個字符,預計需要花費 6 分鐘才能閱讀完成。

這篇文章主要介紹“如何在 YARN 上運行 ElasticSearch”,在日常操作中,相信很多人在如何在 YARN 上運行 ElasticSearch 問題上存在疑惑,丸趣 TV 小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”如何在 YARN 上運行 ElasticSearch”的疑惑有所幫助!接下來,請跟著丸趣 TV 小編一起來學習吧!

  這么做的目的,主要是為了統一資源管理 (cpu 和內存)。一體化平臺,spark,es ,mr 等都在一起跑的時候,做好資源的調度。

在故事開始之前,先去把插件下載了。

插件地址

安裝主要參考了官方文檔

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar 
No command specified
Usage:
 -download-es : Downloads Elasticsearch.zip
 -install : Installs/Provisions Elasticsearch-YARN into HDFS
 -install-es : Installs/Provisions Elasticsearch into HDFS
 -start : Starts provisioned Elasticsearch in YARN
 -status : Reports status of Elasticsearch in YARN
 -stop : Stops Elasticsearch in YARN
 -help : Prints this help
Configuration options can be specified _after_ each command; see the documentation for more information.
[root@master nq]#

安裝過程比較簡單,根據文檔順序來遍就好了,可能會出現的情況就是,HDFS 權限問題。

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2 # 我啟動了 2 個,為了副本能分配 

完成后,能在HDFS下面看到2個文件

YARN 這邊也能看到日志和應用了

ES這邊訪問OK

[root@master nq]# curl localhost:9200
  status  : 200,
  name  :  Shadowmage ,
  cluster_name  :  elasticsearch ,
  version  : {
  number  :  1.4.0 ,
  build_hash  :  bc94bd81298f81c656893ab1ddddd30a99356066 ,
  build_timestamp  :  2014-11-05T14:26:12Z ,
  build_snapshot  : false,
  lucene_version  :  4.10.2 
 },
  tagline  :  You Know, for Search 
[root@master nq]#

好了,大功告成。剛要開心的大笑,就發現了 2 個嚴重的問題,然后笑容凝固。

怎么安裝插件?

數據存哪兒去了?local or hdfs 

看著 HDFS 上的 zip 包,我茫然了,首先確定的是插件,肯定是沒提供相應的接口了,從圖 1 也能看出來。經過一頓糾結后,想到了 2 個辦法。

把插件打包進 zip 包里面。

安裝過程的,第一步,(-download-es)會把 es 下載到當前 dowanloads 目錄下面,

去 dowanloads 里面把 elasticsearch-1.4.0.zip 解壓,再把 head 等插件弄進去,壓縮

替換 HDFS 上的 zip 包,

stop start

使用 plugin 命令安裝。

jps -v|grep elastic
./bin/plugin -install mobz/elasticsearch-head

jps 找到 ES 的運行目錄 (-Des.path.home),然后就沒有然后了。熟悉的 head。到這里,其實索引文件是不是存在 HDFS 里面也清楚了。

到此,關于“如何在 YARN 上運行 ElasticSearch”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注丸趣 TV 網站,丸趣 TV 小編會繼續努力為大家帶來更多實用的文章!

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-08-16發表,共計2103字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 松溪县| 蚌埠市| 溧水县| 宜都市| 广灵县| 黄梅县| 会宁县| 五原县| 海林市| 当涂县| 榆社县| 东城区| 彰化市| 长顺县| 福鼎市| 晋中市| 蓝田县| 郴州市| 驻马店市| 通山县| 安平县| 聂荣县| 上虞市| 开平市| 张家口市| 长顺县| 玛沁县| 乌兰察布市| 临颍县| 蓬安县| 德令哈市| 博野县| 抚顺市| 海城市| 嘉兴市| 灵丘县| 延安市| 黄龙县| 连平县| 怀仁县| 台北市|