set up a storm cluster 　　 　　
allen2660 +
　　　　

set up a storm cluster

2014-07-07

本文为Storm官方文档SettingUpStormCluster的读书笔记

搭建Storm集群的步骤总结

  1. 搭建Zookeeper 集群
  2. 在Nimbus和Worker机器上安装依赖
  3. 下载解压Storm release到Nimbus和worker机器上
  4. 将强制性的配置文件写入storm.yaml
  5. 启daemon

实践

我的环境：

Zookeeper机器：
     liwei12@machine-01
     /home/liwei12/zookeeper    

Nimbus & UI：
     liwei12@machine-01
     /home/liwei12/storm/nimbus 

Supervisors：
     liwei12@machine-02
     /home/user/liwei12/storm/supervisor
     work@machine-03
     /home/work/liwei12/storm/supervisor    

Storm Client：
    liwei12@machine-01
    /home/liwei12/CVS/liwei12/storm/

搭建Zookeeper集群

我使用的是单机模式的Zookeeper，照着这里搭就行了，注意配置文件：

tickTime=2000
dataDir=/home/liwei12/zookeeper/data
logDir=/home/liwei12/zookeeper/log
clientPort=2181

在Nimbus和Worker机器上安装依赖

要求：

 Java6 
 Python 2.6.6+

下载解压Storm release到Nimbus和worker机器上

我下载的是0.9.2版本，这里

配置

Nimbus和Supervisor 的storm.yaml配置：

storm.zookeeper.servers:
 - "machine-01"
storm.local.dir: "/home/liwei12/storm/nimbus/data"
nimbus.host: "machine-01"
ui.port: 8081
drpc.servers:
 - "machine-01"

启动Daemon

在Nimbus机器上启动Nimbus

bin/storm nimbus

在supervisor上启动supervisor

bin/storm supervisor

在Nimbus上启动ui

bin/storm ui

在Nimbus上同时启动drpc

bin/storm drpc

以上的启动，最好使用supervise工具启动，以避免异常退出，我是在screen的每个session中挨个启动的，异常退出会有感知。

点击查看评论