领取20万字《Kafka运维与实战宝典》PDF文档
领取20万字《Kafka运维与实战宝典》PDF文档
【福利】速进高质量滴滴技术交流群
多位技术专家在线答疑,有问必答!
【kafka运维】Kafka全网最全最详细运维手册!!!
Kafka全网最全最详细运维命令合集!你的得力助手
图解Kafka消费者客户端分区分配策略
图解Kafka消费者客户端分区分配策略
寻找协调器FindCoordinatorRequest请求流程
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
客户端发起请求我们在分析消费者的时候, 有看到调用FindCoordinatorRequest的请求
12345678910111213private RequestFuture<Void> sendFindCoordinatorRequest(Node node) { // initiate the group metadata request log.debug("Sending FindCoordinator request to broker {}", node); FindCoordinatorRequest.Builder requestBuilder = new FindCoordinatorRequest.Builder( ...
多网络情况下,Kafka客户端如何选择合适的网络发起请求
多网络情况下,Kafka客户端如何选择合适的网络发起请求
Kafka1.1.x到2.5.x的比较重要的升级
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
2.0.x的显著变化
KIP-186 将默认偏移保留时间从 1 天增加到 7 天。这使得它不太可能在不经常提交的应用程序中“丢失”偏移量。它还增加了活动的偏移量集,因此可以增加代理的内存使用量。请注意,控制台使用者当前默认启用偏移提交,并且可能是大量偏移的来源,此更改现在将保留 7 天而不是 1 天。您可以通过将Broker配置设置offsets.retention.minutes为 1440 来保留现有行为。
12## 参数调整为 100800 (7天)offsets.retention.minutes=10080
已放弃对 Java 7 的支持,Java 8 现在是所需的最低版本。
max.connections.per.ip 配置最小值调整为0(以前是1); max.connections.per.ip:允许来自每个 IP 地址的最大连 ...
Kafka上云方案
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
背景本次V1版本的目标旨在跑通一套基本的kafka上云方案,仅包含kafka和zookeeper两个组件。后续再根据实际场景与需求进一步调整、丰富及优化。
过程中调研了confluent以及strimizi的kafka上云方案,两者都使用到了Operator(Kubernetes中的用户自定义资源CRD)的方式对应用进行抽象及管理,经组内讨论,V1版本只使用k8s的原生资源进行实现,这个版本不通过operator的方式进行管理。
使用CRD的优势:
Kubernetes中内置了很多原生的资源类型,这些资源类型实际上做的事情是期望状态管理,k8s自动将当前对象的实际状态不断向用户定义的预期状态趋同。这里简单的说,用户对于预期状态描述的能力以及自动化的状态管理能力受限于Kubernetes中内置资源类型的设定,但它们满足不了一些复杂的或定制化的场景 ...
图解Kafka的RecordBatch结构
图解Kafka的RecordBatch结构
生产者客户端常见异常Case解决方案集锦
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
生产者UserCallBack异常异常日志12345ERROR Error executing user-provided callback on message for topic-partition 'Topic1-0' (org.apache.kafka.clients.producer.internals.ProducerBatch)通常还会有具体的异常栈信息
异常源码ProducerBatch#completeFutureAndFireCallbacks
123456789101112131415161718192021222324private void completeFutureAndFireCallbacks(long baseOffset, long logAppendTime, RuntimeExcep ...