Storm單機(jī)安裝的方法是什么

151次閱讀

共計(jì) 2333 個(gè)字符，預(yù)計(jì)需要花費(fèi) 6 分鐘才能閱讀完成。

這篇文章主要講解了“Storm 單機(jī)安裝的方法是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著丸趣 TV 小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Storm 單機(jī)安裝的方法是什么”吧！

重點(diǎn)講解：

conf.setNumWorkers(3);——– 創(chuàng)建的 worker 的進(jìn)程會(huì)平均分配到 storm 的集群節(jié)點(diǎn)上的

StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());

—- args[0] – 就是前面代碼中的最后一個(gè) Blot 的名字 count

1、Storm 的集群成員：

nimbus

ZK

supervisor

worker(其中有 executer)

作用：

nimbus：負(fù)責(zé)接收客戶端數(shù)據(jù)和調(diào)度，調(diào)度時(shí)向 zk 要 supervisor 的信息，然后根據(jù)信息調(diào)度，nimbus 和 supervisor 不直接通信

supervisor：負(fù)責(zé)監(jiān)控下級(jí)節(jié)點(diǎn)的運(yùn)行狀態(tài)，如果 supervisor 掛掉，nimbus 會(huì)根據(jù) zk 返回的信息重新調(diào)度

worker：worker 是進(jìn)程，當(dāng) worker 拿到任務(wù)時(shí)會(huì)啟動(dòng)一個(gè) executor 線程，然后 executor 線程工作

注：，nimbus 負(fù)責(zé)任務(wù)調(diào)度和接收客戶端數(shù)據(jù)，supervisor 和 worker 都是進(jìn)程，supervisor 是管理進(jìn)程，worker 是工作進(jìn)程，executor 才是真正的工作線程。

ZK：高可用，配置信息存儲(chǔ)在 znode 上

2、Strom 的安裝

1）、部署依賴環(huán)境 — 要求 Java 6+ 、Python 2.6.6+

2）、部署 zookeeper

–3.4.5+

–zk 為啥要用 3.4.5，因?yàn)樗С执疟P的快照和 namenode 的定期刪除，避免磁盤被打滿。

3）、分發(fā) storm 包 — 這里使用 0.9.4 版本

4）、配置 storm — 修改 storm.yaml 配置文件

5）、啟動(dòng) strom

單機(jī)安裝

Java,python 部署運(yùn)行 java -version 和 python -version 驗(yàn)證版本
上傳 apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper ./logs/zk.out 2 1
./bin/storm nimbus ./logs/nimbus.out 2 1
./bin/storm ui ./logs/ui.out 2 1
./bin/storm supervisor ./logs/supervisor.out 2 1
./bin/storm logviewer ./logs/logviewer.out 2 1
驗(yàn)證：登錄地址 http://node11:8080/ 查看

jobs — 該命令用于查看當(dāng)前終端后臺(tái)運(yùn)行的任務(wù)。

ss -tanl —- 查看端口占用

6627 端口 —-》nimbus

supervisor –》不許要端口，只需要監(jiān)視 worker

執(zhí)行此命令，感受一下 storm

./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology wordcount

storm 三節(jié)點(diǎn)的部署

3 個(gè)節(jié)點(diǎn)部署 Zookeeper 集群（這里不做演示）

node11 為 nimbus，開始配置

1、將 storm 包解壓

2、修改 storm/conf/storm.yaml 配置文件，內(nèi)容如下（注意，其中的空格是有用的，不能刪除）

storm.zookeeper.servers:
– 192.168.47.21
– 192.168.47.22
– 192.168.47.23

storm.local.dir: /tmp/storm

nimbus.host: 192.168.47.21

supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703

3、在 storm 目錄中創(chuàng)建 logs 目錄
4、啟動(dòng) ZooKeeper 集群

5、node11 上啟動(dòng) Nimbus
$ ./bin/storm nimbus ./logs/nimbus.out 2 1
$ tail -f logs/nimbus.log
$ ./bin/storm ui ./logs/ui.out 2 1
$ tail -f logs/ui.log

6、節(jié)點(diǎn) nod12 和 node13 啟動(dòng) supervisor，按照配置，每啟動(dòng)一個(gè) supervisor 就有了 4 個(gè) slots
$ ./bin/storm supervisor ./logs/supervisor.out 2 1
$ tail -f logs/supervisor.log
當(dāng)然 node11 也可以啟動(dòng) supervisor

7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

8、環(huán)境變量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin

感謝各位的閱讀，以上就是“Storm 單機(jī)安裝的方法是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì) Storm 單機(jī)安裝的方法是什么這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是丸趣 TV，丸趣 TV 小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

正文完