大数据高并发下表如何扩展字段?

表字段扩展方案

背景

业务需要,开发了新功能,对应的,需要对原表新增一些必要字段。想当然的

alter table add column

相信很多朋友和我一样,认为没问题。的确,针对一般的项目OK,为啥?因为数据量不大的小站当然没问题,alter造成的也是可以接受的。但是,针对数据量大且并发高的这肯定是有问题的。
于是,博主研究了一些成熟的应对方案。

解决方案

pt-online-schema-change

原理
以user(uid, name, passwd)
扩展到user(uid, name, passwd, age, sex)为例
基本原理是:

  1. 先创建一个扩充字段后的新表user_new(uid, name, passwd, age, sex)
  2. 在原表user上创建三个触发器,对原表user进行的所有insert/delete/update操作,都会对新表user_new进行相同的操作
  3. 分批将原表user中的数据insert到新表user_new,直至数据迁移完成
  4. 删掉触发器,把原表移走(默认是drop掉)
  5. 把新表user_new重命名(rename)成原表user

操作过程中需要注意:

  1. 变更过程中,最重要的是冲突的处理,一条原则,以触发器的新数据为准,这就要求被迁移的表必须有主键(这个要求基本都满足)
  2. 变更过程中,写操作需要建立触发器,所以如果原表已经有很多触发器,方案就不行(互联网大数据高并发的在线业务,一般都禁止使用触发器)
  3. 触发器的建立,会影响原表的性能,所以这个操作建议在流量低峰期进行

优点
整个过程不需要锁表,可以持续对外提供服务

建议

以上即为主流的大表新增字段的DBA解决方式,其实,更好的方案是设计表阶段就尽量规划好,有如下两种比较好的方案:

  1. 预留出足够的字段备用,“足够”怎么理解?需要一个熟悉业务的规划好。预留多了占用不少空间,预留少了也是没有意义,把握好度
  2. 可以采用“通用基础字段+version字段+ext字段”来设计表,通用基础字段即该表存储数据行的共性字段,ext字段是扩展字段,存储除了共性字段的其它个性字段的json字符串,verison字段用来标识ext代表的意义。注意,mysql此种方式ext中的字段不支持索引和查询(非要采用的话,需要特殊逻辑处理),MongoDB是支持的。
    针对数据量不大,并发不高的可以采取简单的方式:
  3. alter table add column
  4. 新增扩展表,用过联表查询来扩展(切记:大并发,大数据的不能用此方式,性能差劲)
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 13,871评论 6 13
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 10,794评论 0 9
  • 点击查看原文 Web SDK 开发手册 SDK 概述 网易云信 SDK 为 Web 应用提供一个完善的 IM 系统...
    layjoy阅读 14,745评论 0 15
  • -访问令牌对象access token-事件对象-文件对象-文件映射对象-I/O完成端口对象-作业对象-邮件槽对象...
    7bfedbe4863a阅读 767评论 0 0
  • 蓝色的天空丢失了艳阳 带来满世界的忧伤 在那个凄冷的晚上 夜风很凉 闪烁的是你那灵魂的星光 波动着无垠的苍茫 鸟儿...
    缘亦空阅读 2,338评论 1 0