首先需要JDK
下载安装JDK
下载spark
wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz
创建安装目录
mkdir /software
移动安装文件到新建目录
mv ./spark-1.6.3-bin-hadoop2.6.tgz /sortware/
切换目录
cd /software
解压
tar xzvf spark-1.6.3-bin-hadoop2.6.tgz
cd spark-1.6.3-bin-hadoop2.6.tgz
pwd
复制打印出来的地址
修改配置文件 conf/
mv spark-env.sh.template spark-env.sh
我们默认安装不用修改目录
配置环境变量 vim /etc/profile
export SPARK_HOME=/software/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使环境变量生效
source /etc/profile
执行测试
spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar
