杭州市做外贸网站的公司/网店培训机构

一.介绍  

 集群安装模式：

 独立 - 包含在Spark中的简单集群管理器，可以轻松设置集群。

 Apache Mesos  - 一个通用的集群管理器，也可以运行Hadoop MapReduce和服务应用程序。

 Hadoop YARN  -  Hadoop 2中的资源管理器。

 

 本文是基于yarn的。

二.安装

1.安装前

hadoop和zookeeper的安装，请参考梦游攀山的csdn博客

2.spark

spark的目录下conf

spark-env.sh配置：

 

export SPARK_HOME=/mnt/hadoop/spark

export SCALA_HOME=/usr/local/scala-2.11.6

export JAVA_HOME=/usr/local/jdk1.7

export HADOOP_HOME=/mnt/hadoop/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_MASTER_IP=bigdata1

export SPARK_LOCAL_DIRS=/mnt/hadoop/hadoop

export SPARK_WORKER_MEMORY=1g

export SPARK_DRIVER_MEMORY=1g

export SPARK_