Avatar notebook default
21篇文章 · 10365字 · 1人关注
  • Mapreduce 作业Shuffle分析

    http://blog.csdn.net/thomas0yang/article/details/41211199

  • spark stage介绍

    http://developer.51cto.com/art/201502/464742.htm

  • Resize,w 360,h 240
    Spark使用总结与分享

    背景 使用spark开发已有几个月。相比于python/hive,scala/spark学习门槛较高。尤其记得刚开时,举步维艰,进展十分缓慢。不...

  • Spark 异步Action

    What if we want to execute 2 actions concurrently on different RDD’s, Sp...

  • Resize,w 360,h 240
    简单几步,让你紧跟大数据技术的风向标!

    一: 看一个技术火不火,直接看github 上,该技术的fork,commit ,watch等指标 比如Spark 和 Hadoop 对比如下,...

  • Resize,w 360,h 240
    Hadoop 要被淘汰了吗

    我经常会从客户或者网上听到这个问题,尤其是最近几年。那么关于spark哪些被我们神化了,哪些又是真实的,以及它在“大数据”的生态系统中又是怎样的?

    0.2 5752 0 10
  • learn spark

    内容来源:spark source code1: spark 输入数据的默认task 个数:解答:分如下情况:Rdd:Hadoopfile 计算...

  • Resize,w 360,h 240
    apache spark Vs hadoop 并行模型

    Apache Spark的高性能一定程度上取决于它采用的异步并发模型(这里指server/driver端采用的模型),这与Hadoop 2.0(...

  • Resize,w 360,h 240
    Spark 之Kmeans

    参考源码:Spark 2.0 mllib Kmeans大概用时三小时,虽说大部分和源码都一样,但是自己写的过程中,还是学到了很多东西。 运行结果,ok

文集作者