加载中...

运维手册

Kafka文章

2.8.0 说明
  1. 抢先体验,kafka通过自我管理的仲裁来替代ZooKeeper(很快,Apache Kafka将不再需要ZooKeeper。)

  2. 增加集群描述API

  3. 在SASL_SSL监听器上支持彼此TLS认证

  4. JSON请求/响应的debug日志

  5. 限制broker连接创建率

  6. Topic识别

  7. 在Connect REST API中公开任务配置

  8. 更新 Streams FSM 以澄清ERROR状态的含义

  9. 扩展 StreamJoined 以允许更多的存储配置

  10. 更方便的TopologyTestDriver构造

  11. 引入 Kafka-Streams 专用的未捕获异常处理程序

  12. 启动和关闭Streams线程的API

  13. 改进 TimeWindowedDeserializer 和 TimeWindowedSerde 处理窗口大小

  14. 改善Kafka流中的超时和重试情况

2.8.0 说明
  1. TCP连接超时可配置和改善初始元数据的获取。

  2. 增强broker范围和每个listener的连接创建比率(KIP-612,第1部分)

  3. 限流创建topic、创建分区和删除topic操作。

  4. 将TRACE级别的端到端延迟指标添加到Streams。

  5. 添加broker端SCRAM配置API

  6. 支持PEM格式的SSL证书和私钥。

  7. 将RocksDB内存消耗添加到RocksDB指标中。

  8. 添加对聚合的滑动窗口支持

2.6.0 说明
  1. 默认情况下,已为Java11或更高版本启用TLS v1.3

  2. 性能显着提高,尤其是当broker具有大量分区时

  3. 顺利扩展Kafka Streams应用程序

  4. Kafka Streams`支持更改时发出

  5. 新指标可提供更好的运营洞察力

  6. 配置为进行连接时,Kafka Connect可以自动为源连接器创建topic

  7. 改进了Kafka Connect中接收器连接器的错误报告选项
    -Kafka Connect中的新过滤器和条件SMT

  8. client.dns.lookup配置的默认值现在是use_all_dns_ips

  9. Zookeeper升级到3.5.8

2.5.0 说明
  1. 支持 TLS 1.3(目前默认 1.2 版本)

  2. Kafka Streams引入Co-groups

  3. Kafka Consumer增量平衡机制(Incremental rebalance)

  4. 新指标可提供更好的运营监控

  5. 升级Zookeeper为3.5.7

  6. 不再支持Scala 2.11

2.4.0 说明
  1. 允许consumer从最近的副本中拉取。

  2. 支持对消费者重新平衡协议进行渐进式合作重新平衡。

  3. MirrorMaker 2.0 (MM2), 新的多集群,跨数据中心复制引擎。

  4. 新的Java认证接口。

  5. 支持KTable中的非key连接。

  6. 副本重新分配的Administrative API

2.3.0 说明
  1. Kafka Connect REST API的一些改进。

  2. Kafka Connect现在支持增量协作重新平衡。

  3. Kafka Streams现在支持内存session存储和window存储。

  4. AdminClient现在允许用户确定他们有权对topic执行哪些操作。

  5. 新的broker启动时间指标。

  6. JMXTool现在可以连接到安全的RMI端口。

  7. 增加了新的AlterConfigs API。旧的AlterConfigs API已被弃用。

  8. 追踪最小ISR计数下的分区。

  9. 消费者现在可以选择不自动topic创建,即使在broker上启用它也是一样。

  10. Kafka组件现在可以使用外部配置存储(KIP-421)。

  11. 我们在遇到错误时实现了改进的副本拉取程序行为。

视频

  1. B站-石臻臻的杂货铺
  2. 主要分享/短视频/面试相关/等等

面试集锦

  1. 博主正在火速编辑中……………. 亲耐心等待

问题合集

  1. 修改配置 offsets.topic.replication.factor之后重启Broker会影响现有副本吗?

    石臻臻正在火速编辑中,请耐心等待……

  2. 怎么进行分区迁移呢?

问题集锦都来着滴滴技术答疑群搜集整理

「 如果你也有关于java、 kafka、es、flink、等等相关问题扫描下饭二维码进答疑群!」

TODO….


作者石臻臻,工作8年的互联网老兵,丰富的开发和管理经验,全网「 粉丝数4万 」,

先后从事 「 电商 」「 中间件 」「 大数据」 等工作

现在任职于「 滴滴技术专家 」岗位,从事开源建设工作

目前在维护 个人公众号「  石臻臻的杂货铺 」 ; 关注公众号会有「 日常送书活动 」;

欢迎进「 高质量 」 「 滴滴开源技术答疑群 」 , 群内每周技术专家轮流值班答疑

===============================可帮忙「 内推 」一二线大厂 ===============================


评论
avatar
石臻臻
kafka、flink、eleasticsearch、springboot、spring、dubbo、java、redis、mysql
Github
公告
博主就职于滴滴,从事开源建设工作 需要进滴滴开源技术交流群的同学 可以扫描下面二维码进群 Kafka技术视频
交个朋友
热心解答相关疑问!
watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY=,size_16,color_FFFFFF,t_70

石臻臻的杂货铺

Java/大数据/中间件/教学视频