spark环境搭建

1下载spark

解压缩到url/spark

配置环境变量

在spark/bin/spark-shell 进入scala交互界面 Ctrl+C退出

spark/bin/pyspark 进入python交互界面 exit();退出

wordcount demo：

var lines=sc.textFile("test/hello")

lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(println)

<==>

lines.flatMap(name=>name.split(" ")).map((_.1)).redbuceByKey(((a,b)=>a+b)).forach(println)

<==>

lines.flatMap(name=>name.split(" ")).map(name=>(name,1)).reduceByKey(((a,b)=>a+b)).foreach(println)