您的位置:9159金沙官网 > 金沙澳门9159官网 > Spark2.0.2+Zeppelin0.6.2 环境搭建 初探

Spark2.0.2+Zeppelin0.6.2 环境搭建 初探

发布时间:2019-11-07 21:23编辑:金沙澳门9159官网浏览(195)

    0.抱怨与其他(此部分与标题没有太多联系):

    首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人。

    就在写这篇博客的同一天,我还写了另一篇,是

    Spark2.0.2+Zeppelin0.6.2 环境搭建 初探。Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程

    坑人的地方在哪里呢,Zeppelin0.6.2不支持Spark2.1.0这个版本

    Spark2.0.2+Zeppelin0.6.2 环境搭建 初探。Spark2.0.2+Zeppelin0.6.2 环境搭建 初探。于是我又仔细的查看了官网的教程:

    得出的结论是我必须要装老版本的,还好的是支持Spark2.0,于是我又安装了Spark2.0.2

    不过呢如果你没有任何的集群环境,上面这篇是值得参考的,只不过你得自己改下版本号,从2.1.0到2.0.2,其他完全一样。

    1.下载Zeppelin

    wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz
    

    2.解压并移动到相应的文件夹:

    tar -xvf zeppelin-0.6.2-bin-all.tgz
    mv zepplin-0.6.2-bin-all /opt
    

    3.安装并修改配置文件:

    (1)安装

    网络安装版需要运行下面的命令:

    ./bin/install-interpreter.sh --all
    

    而完整版不需要,直接进入到zeppelin的根目录修改配置文件即可。

    cd zepplin-0.6.2-bin-all
    

    (2)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-env.sh

    export JAVA_HOME=/usr/java/jdk1.8.0_112/
    export MASTER="spark://master:7077"
    export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/
    export HADOOP_HOME=/opt/hadoop-2.7.3/
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    

    (3)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-site.xml

    为了防止端口冲突我们将8080改为8099,具体情况要看自己的机子决定:

    <property>
      <name>zeppelin.server.port</name>
      <value>8099</value>
      <description>Server port.</description>
    </property>
    

    4.启动或关闭:

    修改之前的启动脚本为:

    #!/bin/bash
    echo -e "33[31m ========Start The Cluster======== 33[0m"
    echo -e "33[31m Starting Hadoop Now !!! 33[0m"
    /opt/hadoop-2.7.3/sbin/start-all.sh
    echo -e "33[31m Starting Spark Now !!! 33[0m"
    /opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh
    echo -e "33[31m Starting Zeppelin Now !!! 33[0m"
    /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start
    echo -e "33[31m The Result Of The Command "jps" :  33[0m"
    jps
    echo -e "33[31m ========END======== 33[0m"
    

    修改之前的关闭脚本为:

    #!/bin/bash
    echo -e "33[31m ===== Stoping The Cluster ====== 33[0m"
    echo -e "33[31m Stoping Zeppelin Now !!! 33[0m"
    /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh stop
    echo -e "33[31m Stoping Spark Now !!! 33[0m"
    /opt/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh
    echo -e "33[31m Stopting Hadoop Now !!! 33[0m"
    /opt/hadoop-2.7.3/sbin/stop-all.sh
    echo -e "33[31m The Result Of The Command "jps" :  33[0m"
    jps
    echo -e "33[31m ======END======== 33[0m"
    

    5.运行官网的例子:

    在浏览器里输入地址:

    z-ip 指代 zepplin所在机子的ip(xxx.xxx.xxx.xxx)

    即:

    如下图:

    图片 1

    然后我们点Notebook->Zeppelin Tutorial

    然后点击save

    然后在最上面的部分点击如下图所示的位置:

    图片 2

    运行结果在截取两张图给大家:

     图片 3

     

     

    图片 4

     最后一个要注意的是,这是我自己摸索着搞得,有问题发生是正常的,所以标题加上了初探两个字!

    本文由9159金沙官网发布于金沙澳门9159官网,转载请注明出处:Spark2.0.2+Zeppelin0.6.2 环境搭建 初探

    关键词:

上一篇:没有了

下一篇:三亚游—温暖的寒冬、蔚蓝的海和安九拉