Mac下单机版Spark配置

为了学习spark,自己在mac上搞了一个单机版的spark,一切还算顺利,安装过程如下(默认jdk已经成功安装):

1、安装Scala

下载压缩包并解压

首先我们要到官网下载安装包。官网传送门: http://www.scala-lang.org/download/
我下载的是scala-2.12.3.tar.
下载后进入安装包所在目录进行解压操作:

tar -zxvf scala-2.12.3.tar

添加环境变量

执行如下命令打开配置文件:

vim ~/.bash_profile

添加如下两行:

export SCALA_HOME=你Scala的路径/scala
export PATH=$PATH:$SCALA_HOME/bin

添加结束后推出编辑配置文件,使用如下的命令使配置生效:

source ~/.bash_profile

检验是否配置生效

在命令行输入scala,并测试一段简单的语句,证明scala安装成功:

输入:q可以退出scala的交互环境。

2、Spark安装

下载压缩包并解压

到官网下载spark的安装包,我用的是spark-2.1.1-bin-hadoop2.7.tgz

使用如下的命令进行解压:

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz 

修改配置文件

解压后进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh,并修改 spark-env.sh 文件添加信息:

export SCALA_HOME=/Users/yangyibo/Software/scala
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home
export SPARK_MASTER_IP=192.168.100.176
export SPARK_WORKER_MEMORY=512m 
export master=spark://192.168.100.176:7070

上面的ip地址需要替换成你自己电脑的ip,可以使用ifconfig命令查看。

随后,修改 slaves.template 添加信息:

master

配置环境变量

执行如下命令打开配置文件:

vim ~/.bash_profile

添加如下信息:

export SPARK_HOME=你的spark路径
export PATH=$PATH:$SPARK_HOME/bin

添加结束后推出编辑配置文件,使用如下的命令使配置生效:

source ~/.bash_profile

验证安装情况

进入安装包的sbin 目录执行 start-all.sh 脚本

./start-all.sh

如果出现上面的错误,其实是没问题的,因为是单机版,所以ssh并不需要配置

启动后进入spark 的bin 目录运行spark-shell 进入终端。

./spark-shell

如果看到下面的结果,就证明你安装成功啦,你就可以直接在交互环境中编写scala和spark语句啦。

停止spark

进入spark的sbin目录,执行命令

$ ./stop-all.sh
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容