当前位置: 首页 > news >正文

0731网站/怎么优化推广自己的网站

0731网站,怎么优化推广自己的网站,东莞做网站,百度云服务器做网站稳定吗kafka重复消费(总结)根本原因解决方法关键参数配置根本原因 已经消费的数据,但是offset没有成功提交 具体情况: 消费者宕机、重启,导致消息已经消费但是未提交offset。消费者处理比较耗时,一次poll的数据…

kafka重复消费(总结)

  • 根本原因
  • 解决方法
  • 关键参数配置

根本原因

已经消费的数据,但是offset没有成功提交

具体情况:

  1. 消费者宕机、重启,导致消息已经消费但是未提交offset。
  2. 消费者处理比较耗时,一次poll的数据,在max.poll.interval.ms达到最大值后仍未完成,未提交offest,触发rebalance。
  3. 消费者使用自动提交offset,但当还没有到auto.commit.interval.ms的时间,没来的及提交。有新的消费者加入或者移除,发生了rebalance。
  4. 超过session.timeout.ms的时间未发送心跳包,集群认为consumer宕机,触发rebalance,一般为网络问题。

解决方法

如下几种:

  1. 根据每条消息的平均处理时长,减少每次poll的个数。
  2. 提高max.poll.interval.ms的值。
  3. 给每个消息添加唯一索引,缓存消费过的消息id。
  4. consumer异步处理消息。

关键参数配置

max.poll.records

consumer每次poll的条数。
默认500条

max.poll.interval.ms

两次调用poll取数据的最大延迟时间,超过这个时间消费组会发生rebalance。
默认5分钟

heartbeat.interval.ms

consumer发送心跳包的间隔。
默认3秒

session.timeout.ms

consumer发送心跳包的超时时间。
默认10秒

enbale.auto.commit

是否自动提交offset。
默认为true

auto.commit.interval.ms

当enbale.auto.commit参数设置为 true 时才生效,表示开启自动提交消费位移功能时自动提交消费位移的时间间隔。
默认5秒

参考链接:
kafka重复消费
重复消费解决办法
重要参数配置

http://www.jmfq.cn/news/4806487.html

相关文章:

  • 网站入侵怎么做/广州seo顾问seocnm
  • 本地网站怎么做/百度云网盘网页版
  • web前端怎么做网站响应式设计/百度权重批量查询
  • 陕西高端品牌网站建设/黄页网站推广
  • 网站建设市场占有率/关于网络推广的方法
  • 如何做视频网站流程/人力资源管理师
  • 郴州网站制作公司招聘/个人在线网站推广
  • 高效网站推广公司/个人博客seo
  • 西宁网站建设方案/手机百度一下
  • 品牌网站大全/企业管理培训课程
  • 做网站百度收费吗/怎么进行网站关键词优化
  • 北京哪家做网站优化/免费网站制作教程
  • seo针对网站做策划/2023推广平台
  • 高要网站建设公司/电商关键词工具
  • 网站建设工作室制作平台/注册公司网上申请入口
  • 非凡网站建设 新三板/网站ip查询
  • 网站建设倒计时代码/今日微博热搜榜前十名
  • 做公司网站哪个好/公司推广方法有哪些
  • 深圳网站建设大公司/seo外链建设的方法
  • 网站建设服务费/买卖平台
  • 学校网站建设源代码/上海网站快速排名提升
  • 织梦手机网站模板/模板建站常规流程
  • 呼和浩特市手机网站/推广普通话手抄报模板
  • 南山做网站的公司/网店无货源怎么做
  • 网站建设 利润/2024年新冠第三波症状分析
  • 企业网站建设资金预算表/郭生b如何优化网站
  • 沈阳手机网站制作/深圳seo外包公司
  • 下载百度导航app/佳木斯seo
  • 玉田建设局网站/网站推广网络营销
  • 网站接口怎么做/全球网站排行榜