Мониторинг Kafka с помощью Proto Observability

Визуализация производительности вашего кластера в режиме реального времени

Сбор метрик Kafka

Конфигурация ProtoOBP агента

В файле конфигурации ProtoOBP агента (/etc/protoobp-agent/conf.d/kafka.d/conf.yaml) укажите следующее:

init_config:
  is_jmx: true, 
  collect_default_metrics: true, 
  new_gc_metrics: true
instances:
- host: http://localhost
  port: 9997 #JMX 
  user: user #Если используется аутентификациия 
  password: password #Если используется аутентификациия

Для сбора дополнительных метрик, таких как consumer lag, consumer offset, в файле конфигурации ProtoOBP агента (/etc/protoobp-agent/conf.d/kafka_consumer.d/conf.yaml) укажите следующее:

init_config:
instances:
    - kafka_connect_str: my_kafka_cluster:9093
      monitor_unlisted_consumer_groups: true
      monitor_all_broker_highwatermarks: true

Перезапустите ProtoOBP агента выполнив systemctl restart protoobp-agent