ETCD - Мониторинг

Дашборд МВ.ДИ  ETCD - Мониторинг отображает сведения о состоянии кластера etcd. Данные выводятся для ПАК, выбранного в выпадающем списке в верхней части дашборда.

Верхний ряд панелей показывает общие сведения о кластере:

  • Версия etcd — версия etcd, установленная на узлах кластера.

  • Наличие лидера — наличие лидера в кластере:

    • ОК — лидер есть.

    • Нет — лидер отсутствует.

  • Узлы кластера — таблица со списком узлов кластера. Колонка Лидер показывает, является ли узел лидером (Да или Нет).

  • Смен лидера за сутки — график количества смен лидера за последние 24 часа по данным каждого узла кластера.

Показатели производительности

Неудачных запросов на запись

График обработки предложений (запросов на запись):

  • Рост сбоев предложений — среднее количество неудачных предложений в секунду за последние 5 минут.

  • Всего ожидающих предложений — текущее количество предложений, ожидающих обработки.

  • Рост одобрения предложений — среднее количество подтверждённых предложений в секунду за последние 5 минут.

  • Рост принятия решений — среднее количество принятых предложений в секунду за последние 5 минут.

Время записи на диск в сек.

График суммарного времени, которое etcd тратит на дисковые операции за секунду:

  • Гистограмма задержек записи WAL на диск (fsync) — запись WAL на диск вызовом fsync().

  • Гистограмма задержек фиксации изменений в бэкенд-хранилище — фиксация изменений в бэкенд-хранилище.

Предложений на запись

График количества предложений на запись, ожидающих обработки лидером.

Успешных операций записи в сек.

График среднего количества успешно подтверждённых и принятых предложений в секунду по всему кластеру за последние 5 минут.

Запросов в сек.

График среднего количества gRPC-запросов в секунду за последние 5 минут:

  • RPC Rate — все запросы.

  • RPC Failed Rate — запросы, завершившиеся ошибкой.

Учитываются только унарные запросы — одиночные вызовы «запрос-ответ».

Активных Watch-соединений

График количества активных потоковых gRPC-соединений:

  • Watch Streams — соединения для отслеживания изменений ключей.

  • Lease Streams — соединения для продления аренд (lease). Аренда задаёт срок жизни ключей: пока клиент продлевает аренду, ключи хранятся, а когда она истекает — автоматически удаляются.

Потребление памяти нодами

График объёма оперативной памяти, занятой процессами etcd на каждом узле кластера.

Снапшотов в сек.

График суммарного времени, затраченного на создание снапшотов etcd за секунду.

"Худшие" 1% операций

График длительности самых медленных дисковых операций каждого узла за последние 5 минут.

Для каждого узла выводятся два ряда:

  • WAL fsync — запись WAL на диск.

  • DB fsync — фиксация изменений в бэкенд-хранилище.

Размер базы

График общего размера базы MVCC каждого узла.

Скорость отправки данных

Общая скорость получения данных

График суммарной скорости обмена данными между кластером etcd и клиентами по протоколу gRPC:

  • Всего байт получено grpc клиентами — скорость получения данных от клиентов.

  • Всего байт отправлено grpc клиентами — скорость отправки данных клиентам.

Скорость отправки данных

График скорости отправки данных каждым узлом другим узлам кластера.

Скорость получения входящих данных

График скорости получения данных каждым узлом от других узлов кластера.

Скорость получения данных от клиентов

График скорости получения данных от клиентов каждым узлом по протоколу gRPC.

Скорость отправки данных клиентам

График скорости отправки данных клиентам каждым узлом по протоколу gRPC.