Kafka、Storm、Redis架构实现设备运行状态实时分析系统

在企业生产管理过程中,设备运行状态实时分析至关重要,直接与企业生产效率和经济效益挂钩。本文提出一种基于Kafka、Storm、Redis架构实现设备运行状态实时分析系统设计。Kafka+Storm+Redis是一种经典的大数据流式计算框架,可用于实时运行数据分析、实时告警数据分析等,核心思路是将流式计算分解成3个模块。如下图所示:

流式计算框架

设备运行状态实时分析系统主要功能是实时收集设备运行状态数据,并对这些数据实时计算,最后将结果保存起来,以便于展示。具体过程如下:

1、在设备运行状态实时分析系统中,采用Kafka作为数据缓冲。目标是解决数据采集与数据处理速度不一致性问题,另外,考虑到Kafka是一个分布式的,支持多副本的消息队列,因而可用在设备运行状态数据量超大的应用场景。

2、系统采用Storm不断地从Kafka中拉取数据进行实时分析,数据分析过程中可能会检索历史数据(从Redis或其它存储系统中),对当前结果和历史数据合并后进一步写入后端存储系统。

3、Storm将计算产生的结果存储到Redis中,以应对后端高并发查询。如果数据量较大,单机Redis实例无法满足存储和性能要求,则可使用Redis Cluster解决方案。

我们知道,Storm对Kafka和Redis均提供很好的支持,设备运行状态实时分析系统集成示例如下:

Strom集成Kafka和Redis
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容