MapReduce设计模式--元模式

一、含义

元模式不是用于解决某个具体问题的,而是处理模式之间关系的,可以理解为“模式的模式”。

二、实现方法

元模式主要有二种实现方法:作业链、作业归并。
    作业链:该方法是将多种模式结合起来以解决复杂的、多级的问题。作业链是众多比较难处理的过程中的一种,因为它并不是大多数MapReduce框架中包含的特性,MapReduce可以很好的处理单个MapReduce作业,但在处理多级作业时则需要加入许多手工编码,而且在操作上还需要考虑作业的各个阶段如何处理任务失败以及清理中间结果输出的问题。
    作业归并:该方法是针对同一个MapReduce作业中执行多个分析任务这类作业进行优化,已达到一石多鸟的目的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一:概要模式1:简介概要设计模式更接近简单的MR应用,因为基于键将数据分组是MR范型的核心功能,所有的键将被分组汇...
    Albert陈凯阅读 5,875评论 0 0
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 175,660评论 25 709
  • 每个人都有过焦虑的经历,焦虑考试、焦虑工作、焦虑减肥、焦虑单身。 我们经常说很焦虑,仿佛焦虑是个可怕的洪水猛兽。其...
    齐漾阅读 1,300评论 0 8
  • 看见这个标题就知道最近读书少的可怜……今天终于有大块的时间读书了,好幸福! 今天读了精要主义的第一步 探索,共5个...
    MissingbyLy阅读 988评论 0 0
  • 今天给大家介绍一个时间管理方法,在今天的每日一问里,桃总问大家,有没有过“梦想很饱满,现实很骨感”的经历,岛国的居...
    情感后花园阅读 3,283评论 6 7