刘明帅
热爱生活!
刘明帅
SPARK HA(高可用)搭建实战
SPARK HA(高可用)搭建实战

实验环境:

  • Centos 7主机三台
主机名IP地址
Master10.30.59.130
Slave110.30.59.131
Slave210.30.59.132

软件要求:

软件名称软件版本
JDK8u77
Zookeeper3.4.5
Hadoop2.6.0
SCALA2.11.12
SPARK2.0.0-hadoop2.6
  • 软件约定:
    • 安装包在 /opt/soft
    • 安装目录在 /opt

先决条件:

实验步骤:

安装Scala

一、解压组件

[root@master ~]# cd /opt 
[root@master opt]# tar -xzvf soft/scala-2.11.12.tgz 
[root@master opt]# mv scala-2.11.12/ scala  

二、配置环境变量并令其立即生效

  • hadoop-etc.sh文件新增两条
[root@master opt]# vi /etc/profile.d/hadoop-etc.sh
export SCALA_HOME=/opt/scala
export PATH=$PATH:$SCALA_HOME/bin
​
[root@master opt]# source /etc/profile.d/hadoop-etc.sh

安装SPARK

一、解压组件

[root@master opt]# tar -xzvf soft/spark-2.0.0-bin-hadoop2.6.tgz 
[root@master opt]# mv spark-2.0.0-bin-hadoop2.6/ spark 

二、填写配置文件

注意:
spark-env.sh文件内的”SPARK_LOCAL_IP”在使用scp同步后需要根据实际的主机名填写

[root@master opt]# cp spark/conf/spark-env.sh.template spark/conf/spark-env.sh
[root@master opt]# vi spark/conf/spark-env.sh
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_LOCAL_IP=master
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master,slave1,slave2" 
[root@master opt]# cp spark/conf/slaves.template spark/conf/slaves
[root@master opt]# vi spark/conf/slaves
master
slave1
slave2 

三、修改冲突文件名

[root@master opt]# mv spark/sbin/start-all.sh spark/sbin/start-spark-all.sh
[root@master opt]# mv spark/sbin/stop-all.sh spark/sbin/stop-spark-all.sh

四、配置环境变量并令其立即生效

  • hadoop-etc.sh文件新增两条
[root@master opt]# vi /etc/profile.d/hadoop-etc.sh
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
​
[root@master opt]# source /etc/profile.d/hadoop-etc.sh

五、同步两台slave节点的配置并令其环境变量立即生效

[root@master opt]# scp -r scala slave1:/opt 
[root@master opt]# scp -r scala slave2:/opt 
[root@master opt]# scp -r spark slave1:/opt 
[root@master opt]# scp -r spark slave2:/opt 
[root@master opt]# scp /etc/profile.d/hadoop-etc.sh slave1:/etc/profile.d 
[root@master opt]# scp /etc/profile.d/hadoop-etc.sh slave2:/etc/profile.d
  • 在slave1节点上令其环境变量立即生效
[root@slave1 ~]# source /etc/profile.d/hadoop-etc.sh
[root@slave2 ~]# source /etc/profile.d/hadoop-etc.sh

六、启动SPARK

[root@master opt]# start-spark-all.sh 
[root@slave1 ~]# start-spark-all.sh 

实验验证

  • http://master:8080/
  • http://slave1:8080/
文章链接:https://lmshuai.com
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

推荐文章

发表评论

textsms
account_circle
email

刘明帅

SPARK HA(高可用)搭建实战
实验环境: Centos 7主机三台 主机名IP地址Master10.30.59.130Slave110.30.59.131Slave210.30.59.132 软件要求: 软件名称软件版本JDK8u77Zookeeper3.4.5Hadoop2.6.0SCALA2.11.…
扫描二维码继续阅读
2019-10-20