当前位置: 首页 > news >正文

全国网站开发公司/新站优化案例

全国网站开发公司,新站优化案例,网络营销的含义的理解,淘宝网站网页设计说明http://blog.csdn.net/wulantian/article/details/46894727 2016攒课第二期之你听课我买单,快来攒你想听的课! 架构免费公开课报名 2016年7月微软MVP申请开始了! 搭建storm集群(apache-storm-0.9.5.tar.gz) 2015-07-15 1…

http://blog.csdn.net/wulantian/article/details/46894727

 

2016攒课第二期之你听课我买单,快来攒你想听的课!     架构免费公开课报名     2016年7月微软MVP申请开始了!

搭建storm集群(apache-storm-0.9.5.tar.gz)

1886人阅读 评论(0) 收藏 举报
本文章已收录于:
分类:
作者同类文章X
//搭建storm集群(apache-storm-0.9.5.tar.gz)

# by coco
# 2015-07-15

前期准备:3台服务器:
192.168.8.94 
192.168.8.95
192.168.8.96

去storm官网下载响应版本的软件包:http://storm.apache.org/downloads.html
在这里下载的是:
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

1. 安装storm集群
1. 搭建Zookeeper集群。(略)
2. 安装Storm依赖库。
3. 下载并解压Storm发布版本。
4.  修改storm.yaml配置文件。
5.  启动Storm各个后台进程。


2.  安装Storm依赖的库。
接下来,需要在Nimbus和Supervisor机器上安装Storm的依赖库。具体如下:
  1. Java 6  
  2. Python 2.6.6  
以上依赖库的版本是经过Storm测试的,Storm并不能保证在其他版本的JavaPython库下可运行。
  1. $ python -V  
  2. Python 2.6.6  

3. 下载并解压Storm发布版本(我使用的是apache-storm-0.9.3)

下一步,需要在NimbusSupervisor机器上安装Storm发行版本。

1. 下载Storm发行版本

2. 解压到安装目录下:

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1.  tar –zvxf apache-storm-0.9.5.tar.gz –C /usr/local/ 
  2. ln -s /usr/local/apache-storm-0.9.5/ /usr/local/storm

3.配置环境变量

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1. vi /etc/profile    
  2. export STORM_HOME==/usr/local/storm    
  3. export PATH=$STORM_HOME/bin:$PATH  

4 修改storm.yaml配置文件

Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm。默认配置在这里可以查看。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。以下配置选项是必须在conf/storm.yaml中进行配置的:

1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1. 我的配置为:  
  2. storm.zookeeper.servers:
  3.     - master"
  4.     - slave1"
  5.     - "slave2" 

如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项

2) storm.local.dir: NimbusSupervisor进程用于存储少量状态,如jarsconfs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:mkdir -p /usr/local/storm/data

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1. storm.local.dir: "/usr/local/storm/data"    
  2. 注:需要首先创建data目录  

3) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologiesjarsconfs等文件,如:

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1. 我的配置:
  2. nimbus.host: "master" 

4) supervisor.slots.ports对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4workers,分别在6700670167026703端口,如:

[html] view plaincopy在CODE上查看代码片派生到我的代码片
  1. supervisor.slots.ports:    
  2.     - 6700    
  3.     - 6701    
  4.     - 6702     
  5.    - 6703  

最后配置完毕后:

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"

 storm.local.dir: "/data/storm/data"
 nimbus.host: "master"
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
#######
注意:每行前面的空格要统一,否则启动不起来。
2.5 启动Storm各个后台进程

最后一步,启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使NimbusSupervisors被重启,运行中的Topologies不会受到影响。

以下是启动Storm各个后台进程的方式:

  1. Nimbus: 在Storm主控节点上运行 "storm nimbus &" 启动Nimbus后台程序,并放到后台执行;
  2. Supervisor: 在Storm各个工作节点上运行" storm supervisor &"启动Supervisor后台程序,并放到后台执行;
  3. UI: 在Storm主控节点上运行 "storm ui &" 启动UI后台程序,并放到后台执行,启动后可以通过http://192.168.8.94:8080/index.html观察集群的worker资源使用情况、Topologies的运行状态等信息。

注意事项:

  1. Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
  2. 经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。
  3. 为了方便使用,可以将bin/storm加入到系统环境变量中。

至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

这时再打开浏览器http://192.168.8.94:8080/index.html,可以看到我们刚才提产的代码已经在集群中显示了。
 


2.6 FAQ
  1)过程中发现storm ui显示supervisor个数与实际不符的解决  
  解决方法:在删除了local dir,重启后恢复了。

 

 

http://www.jmfq.cn/news/4964113.html

相关文章:

  • 怎样做电子商务网站/google官网入口手机版
  • 外贸led网站建设/google下载安装
  • 九九建站-网站建设 网站推广 seo优化 seo培训/网站网络推广优化
  • 山东网站备案拍照/seo联盟
  • 珠海网站建设黄荣/做百度推广员赚钱吗
  • 定制网站制作平台/购买域名的网站
  • 江苏城市建设职业学院网站/淘宝店铺运营推广
  • 怎么自己网站建设/彩虹云商城网站搭建
  • 国内什么网站用asp.net/好口碑关键词优化地址
  • 做的网站如何更换网站模板/温州高端网站建设
  • 网站美工/优化营商环境的措施建议
  • 上海快速网站建设/创建网站需要多少资金
  • 网站建设公司账户搭建/推广哪些app最挣钱
  • dnf卖飞机的网站怎么做的/深圳百度seo怎么做
  • 网站建设常州/网站制作设计
  • h5商城网站怎么建设/软文有哪几种类型
  • 网站建设服务合同模板/站长是什么级别
  • 大连建设工程信息网华宇凤凰城东侧市政管网配套工程/seo常用工具网站
  • 深圳app开发定制公司/东莞市网络seo推广企业
  • 465端口 WordPress/上海专业的seo公司
  • wordpress 社交媒体/东莞百度搜索优化
  • 长葛网站制作/重庆网站seo诊断
  • 手机精品网站建设/最近的时事新闻
  • 海淀网站建设价格/网站广告费一般多少钱
  • 做推送的网站除了秀米还有/seo专业知识培训
  • 中国工厂网站/seo网络推广怎么做
  • wordpress中文商城/快速排名优化推广排名
  • 如何建设网站兴田德润可以吗/网络链接推广
  • 石家庄市网站建设/营销软文代写
  • 河南生产型企业网站建设/海南百度推广公司