HBase读写数据流程

hbase的系统表

hbase:namespace    存储了hbase中的所有namespace的信息

hbase:meta    存储了hbase中所有的region的信息,包括rowkey范围,region所在的regionserver的地址。


hbase:meta  在zookeeper中,进入zookeeper中查看


读的流程:

1、连接zookeeper,找到meta表所在的regionserver的地址

2、访问对应的regionserver,读meta表的信息

3、通过命令找到rowkey对应的region,得到region的名称

4、访问region所在的regionserver

5、访问对应store  读内存(memstore  cache)  storefile

写的流程:

1、连接zookeeper,找到meta表所在的regionserver的地址

2、访问对应的regionserver,读meta表的信息

3、通过命令找到rowkey对应的region,得到region的名称

4、访问region所在的regionserver

5、正常情况

WAL(hlog),write ahead log

memstore

flush:将内存中的数据进行溢写到磁盘变成storefile

compact:将多个storefile进行合并,变成一个大文件    等到多个store中的storefile的和达到一定阈值,后进行split(region的等分成两个region,又master分配,当前region消失)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 最近在逐步跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hb...
    飞鸿无痕阅读 50,438评论 19 272
  • 1. HBase介绍,Hbase是什么? HBase -- Hadoop Database ,是一个高可靠、高性能...
    奉先阅读 9,209评论 1 36
  • HBase那些事 @(大数据工程学院)[HBase, Hadoop, 优化, HadoopChen, hbase]...
    分痴阅读 9,412评论 3 17
  • 简介 [HBase]——Hadoop Database的简称,Google BigTable的另一种开源实现方式,...
    高广超阅读 7,009评论 1 27
  • HBase架构图理解 HMaster链接Zookeeper的目得:HMaster需要知道哪些HRegionServ...
    心_的方向阅读 14,858评论 1 13