Hadoop -数据输入输出格式和自定义数据输入输出格式

数据输入输出格式和自定义数据输入输出格式



数据输入格式(InputFormat) 用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查(比如输入文件目录的检查)、对数据文件进行输入分块(也叫分片,InputSplit),以及提供从输入分块(分片)中将数据记录逐一读出,并转化为Map过程的输入键值对等功能

Hadoop提供了丰富的内置数据输入格式。最常用的数据输入格式包括:TextInputFormat和KeyValueInputFormat

TextInputFormat是系统默认的数据输入格式,可以将文本文件分块并逐行读入以便Map节点进行处理。读入一行时,所产生的主键Key就是当前行在整个文本文件中的字节偏移位置,而value就是该行的内容,它是系统默认的输入格式,当用户程序不设置任何数据输入格式时,系统自动使用这个数据输入格式。

比如如下文件内容

hello tanggao

hello hadoop

第一行的偏移量为0

第二行偏移量为13

KeyValueTextInputFormat是另一个常用的数据输入格式,可将一个按照格式逐行存放的文本文件逐行读出,并自动解析生成相应的key和value

比如

姓名    汤高

年龄    20

则解析出来的

第一行键Key为姓名  值value为汤高

第二行键key为年龄 值value为20

注意和TextInputFormat不同,TextInputFormat是偏移量做键,整行内容做值


对于一个数据输入格式,都需要一个对应的RecordReader。RecordReader。主要用于将一个文件中的数据记录分拆成具体的键值对,传送给Map过程作为键值对输入参数。每一个数据输入格式都有一个默认的RecordReader。TextInputFormat的默认RecordReader是LineRecordReader,而KeyValueTextInputFormat的默认RecordReader是KeyValueLineRecordReader

当然肯定还有很多数据输入格式和对应的默认RecordReader 这里就不介绍了,有需要的可以去官网看看



数据输出格式(OutputFormat)用于描述MapReduce作业的数据输出规范。MapReduce框架依靠数据输出格式完成输出规范检查(蔽日检查输出目录是否存在),以及提供作业结果数据输出等功能

Hadoop提供了丰富的内置数据输出格式。最常用的数据输出格式是TextOutputFormat,也是系统默认的数据输出格式,可以将计算结果以 key+\t+value的形式逐行输出到文本文件中。

与数据输入格式中的RecordReader类似,数据输出格式也提供一个对应的RecordWriter,以便系统明确输出结果写入到文件中的具体格式。

TextOutputFormat的默认RecordWriter是LineRecordWriter,其实际操作是将结果数据以key+\t+value的形式输出到文本文件中。

当然同样肯定还有很多数据输出格式和对应的默认RecordWriter

对于自定义数据输入格式 可以参考已有的数据输入格式,继承自它即可,只要重写GetRecordReader方法得到一个自己写的RecordReader即可



自定义数据输入输出:

输入:写自己的inputFormat:继承InputFormat或者其子类,重写GetRecordReader获得默认的RecordReader即可。如果对默认的不满意,可以写自己的RecordReader:继承RecordReader即可

输出:和上面类似。只是继承的是InputFormat,也是重写getRecordWriter

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 12,093评论 0 34
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,464评论 19 139
  • 我们一旦有了任务,开始的时间最好是现在开始,不是“越快越好”、“马上”等等 然而在思维误区的我们往往无法在限定的时...
    蒋红飞阅读 2,828评论 0 0
  • (本故事纯属虚构,如有雷同纯属巧合) 第二十三章:扑朔迷离 一个疗程的理疗做完,姆妈说什么也不愿意再做第二个疗程,...
    木禾_520阅读 4,676评论 17 34
  • 今天是妈妈第一天去上班,早七点四十分走出家门时,看你被奶奶抱着,傻乎乎看着我刚开始眼神是有些迷茫不知所措的,后来你...
    红豆小妮阅读 1,176评论 0 0