Kafka1.1.x到2.5.x的比较重要的升级
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
2.0.x的显著变化
KIP-186 将默认偏移保留时间从 1 天增加到 7 天。这使得它不太可能在不经常提交的应用程序中“丢失”偏移量。它还增加了活动的偏移量集,因此可以增加代理的内存使用量。请注意,控制台使用者当前默认启用偏移提交,并且可能是大量偏移的来源,此更改现在将保留 7 天而不是 1 天。您可以通过将Broker配置设置
offsets.retention.minutes
为 1440 来保留现有行为。1
2## 参数调整为 100800 (7天)
offsets.retention.minutes=10080已放弃对 Java 7 的支持,Java 8 现在是所需的最低版本。
max.connections.per.ip
配置最小值调整为0(以前是1);
max.connections.per.ip
:允许来自每个 IP 地址的最大连接数 。之前最小值是1, 现在最小值可以是0, 因此允许对入站连接进行基于 IP 的过滤。max.connections.per.ip.overrides
可以基于每个具体的IP来设置连接数MirrorMaker 和 ConsoleConsumer 不再支持 Scala 消费者,它们始终使用 Java 消费者。
MirrorMaker 和 ConsoleConsumer 不再支持 Scala 消费者,它们始终使用 Java 消费者。
ConsoleProducer 不再支持 Scala 生产者,它始终使用 Java 生产者。request.timeout.ms
默认值改为30s,之前是5分钟
2.1.x的显著变化
unclean.leader.election.enable
支持动态更新配置,以启用脏选举- 新增一个新的压缩方式 :Zstandard 压缩(zstd),您必须升级代理和客户端才能使用它
2.2.x的显著变化
- 命令行工具可以使用
--bootstrap-server
连接到Broker, 当然--zookeeper
仍然可以使用 - 消费组GruopId 从默认值“” 改成 null. 使用新的默认Group ID 的消费者将无法订阅主题,也无法获取或提交偏移量,所以客户端尽量显示的提供消费组ID.
2.3.x的显著变化
无。
2.4.x的显著变化
- ZooKeeper 已升级到 3.5.7
- 、命令行
bin/kafka-preferred-replica-election.sh
工具已被弃用。它已被bin/kafka-leader-election.sh.
- 现在DefaultPartitioner 使用粘性分区策略,3种分区策略
2.5.x的显著变化
- 为了提高典型网络环境中的弹性,默认值
zookeeper.session.timeout.ms
已从 6 秒增加到 18 秒,replica.lag.time.max.ms
从 10 秒增加到 30 秒。

本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 石臻臻的杂货铺!
评论