storm1.0.2使用中遇到的问题

1,启动的时候报错

2015-12-03 12:28:53.338 b.s.m.n.Client [ERROR] connection attempt 10 to Netty-Client-host1.grid.myco.com/10.1.2.3:6710 failed: java.net.ConnectException: Connection refused: host1.grid.myco.com/10.1.2.3:6710

开始的时候没有注意到这个错误信息,应为拓扑发布后是正常使用的。只是在无意间看到日志中有error级别的错误日志。
分析:
1,感觉不是致命的错误,根据内容查看了相应端口是否可用。
2,考虑到官网中写明不支持ip6,检查机子将ip6关闭,但是还是有这样的问题。
3,考虑到启动的顺序问题,应为查看到一个并行度为4的spout中,有3个worker日志中是有错误信息的,另外一个是没有的。
4,看到 http://stackoverflow.com/questions/36612557/aws-workers-cant-communicate-due-to-netty-client-hostname-resolution/39104515#39104515 有人已经提出过这个。

2,拓扑提交后,报错

Consumer has failed with exception: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance

storm ui 出现的错误信息,但是消息还是可以消费,看到spout中的消费进程确实有的时间不对了,证明有过balance。
分析:
1,错误信息写的明白,是应为提交offset的时候做了rebalance过程,rebalance触发的条件,在http://zqhxuyuan.github.io/2016/10/27/Kafka-Definitive-Guide-cn-04/ 这里写的很明确,但是好端端的为什么要rebalance。
2,考虑重要是通信超时,consumer 在通kafka中某个broker通信的时候。需要增加超时时间。
3,http://stackoverflow.com/questions/35658171/kafka-commitfailedexception-consumer-exception
提到了这样的错误。也可以参考下 http://blog.csdn.net/weitry/article/details/53009134 ,但是参数max.poll.records (1.×)需要注意版本问题。

解决方式:

  • 增加消费超时时间。消费超时时间通过heartbeat.interval.ms设置,heartbeat.interval.ms的大小不能超过session.timeout.ms,session.timeout.ms必须在[group.min.session.timeout.ms, group.max.session.timeout.ms]范围内。
  • 减少消息处理时间;由后端处理决定。
  • 减少一次消费的消息量。max.partition.fetch.bytes决定容量,max.poll.records(1.×)决定数量。max.partition.fetch.bytes规定了一个partition一次pull获取的获取的数据大小。max.poll.records规定一次pull获取的消息数量。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 5,519评论 0 34
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,253评论 19 139
  • ** 今天看了一下kafka官网,尝试着在自己电脑上安装和配置,然后学一下官方document。** Introd...
    RainChang阅读 5,063评论 1 30
  • 粉嘟嘟熊阅读 154评论 0 1
  • 今天接到通知可以免费去蓝树谷游玩一天,放学回家我跟宝贝说了明天可以跟妹妹一起去玩了,开心的啊连蹦带跳的,先回家写作...
    相王飞阅读 152评论 0 0