МДИ.В

Данные правила применимы для ПАК МДИ.В.

Список сокращений

В правилах оповещения МДИ.В используются следующие сокращения:

IOPS

Input/Output Operations Per Second — число операций ввода/вывода в секунду.

OSD

Object Storage Daemon — демон хранения объектов.

PG

Placement Group — группа размещения данных.

scrub

Фоновый процесс проверки целостности данных.

UstorActiveOsdsLessThanUp

Количество активных OSD меньше зарегистрированных в кластере uStor.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

sum(ustor_osd_status) by (host, _pak_id)
< count(ustor_osd_status) by (host, _pak_id)

Шаблон сообщения:

В кластере {{ $labels.host }} ПАКа {{ $labels._pak_id }} активных OSD ({{ $value }}) меньше общего числа зарегистрированных

UstorActivePoolEfficiencyCritical

Эффективность активного пула uStor ниже 50%.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

ustor_pool_space_efficiency * 100 < 50
and ustor_pool_status == 1

Шаблон сообщения:

Эффективность использования пространства пула {{ $labels.pool_name }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorActivePoolEfficiencyWarning

Эффективность активного пула uStor ниже 100%.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

ustor_pool_space_efficiency * 100 < 100
and ustor_pool_status == 1
and ustor_pool_space_efficiency * 100 >= 50

Шаблон сообщения:

Эффективность использования пространства пула {{ $labels.pool_name }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorClientLatencyCritical

Клиентская задержка кластера uStor превышает 100 мс.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
/ sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id) > 100000

Шаблон сообщения:

Средняя клиентская задержка кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorClientLatencyWarning

Клиентская задержка кластера uStor превышает 20 мс.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
/ sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id) > 20000
and
sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
/ sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id) <= 100000

Шаблон сообщения:

Средняя клиентская задержка кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorDbUsedSpaceCritical

Использовано более 90% дискового пространства кластера uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

(sum(ustor_osd_size_bytes) by (host, _pak_id) - sum(ustor_osd_free_bytes) by (host, _pak_id))
* 100 / sum(ustor_osd_size_bytes) by (host, _pak_id) > 90

Шаблон сообщения:

Использование дискового пространства кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorDbUsedSpaceWarning

Использовано более 80% дискового пространства кластера uStor.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

(sum(ustor_osd_size_bytes) by (host, _pak_id) - sum(ustor_osd_free_bytes) by (host, _pak_id))
* 100 / sum(ustor_osd_size_bytes) by (host, _pak_id) > 80
and
(sum(ustor_osd_size_bytes) by (host, _pak_id) - sum(ustor_osd_free_bytes) by (host, _pak_id))
* 100 / sum(ustor_osd_size_bytes) by (host, _pak_id) <= 90

Шаблон сообщения:

Использование дискового пространства кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorMinPoolEfficiencyCritical

Минимальная эффективность пулов uStor ниже 50%.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

min(ustor_pool_space_efficiency) by (host, _pak_id) * 100 < 50

Шаблон сообщения:

Минимальная эффективность использования пространства пулов кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorMinPoolEfficiencyWarning

Минимальная эффективность пулов uStor ниже 100%.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

min(ustor_pool_space_efficiency) by (host, _pak_id) * 100 < 100
and
min(ustor_pool_space_efficiency) by (host, _pak_id) * 100 >= 50

Шаблон сообщения:

Минимальная эффективность использования пространства пулов кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }}%

UstorOsdDownCritical

Обнаружены неактивные OSD в кластере uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

(count(ustor_osd_status) by (host, _pak_id)
- sum(ustor_osd_status) by (host, _pak_id)) > 0

Шаблон сообщения:

В кластере {{ $labels.host }} ПАКа {{ $labels._pak_id }} обнаружено {{ $value }} OSD в неактивном состоянии

UstorOsdNetworkLatencyCritical

Средняя сетевая задержка OSD кластера uStor превышает 5 мс.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

(
  sum(rate(ustor_stat_usec{op_type="subop"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="subop"}[5m])) by (host, _pak_id)
  - sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id)
) > 5000

Шаблон сообщения:

Средняя сетевая задержка кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorOsdNetworkLatencyWarning

Средняя сетевая задержка OSD кластера uStor превышает 1 мс.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

(
  sum(rate(ustor_stat_usec{op_type="subop"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="subop"}[5m])) by (host, _pak_id)
  - sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id)
) > 1000
and
(
  sum(rate(ustor_stat_usec{op_type="subop"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="subop"}[5m])) by (host, _pak_id)
  - sum(rate(ustor_stat_usec{op_type="op"}[5m])) by (host, _pak_id)
  / sum(rate(ustor_stat_count{op_type="op"}[5m])) by (host, _pak_id)
) <= 5000

Шаблон сообщения:

Средняя сетевая задержка кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorOsdReadLatencyCritical

Задержка чтения OSD кластера uStor превышает 100 мс.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

rate(ustor_osd_stat_usec{op_type="op",op="primary_read"}[5m])
/ rate(ustor_osd_stat_count{op_type="op",op="primary_read"}[5m]) > 100000
and
rate(ustor_osd_stat_count{op_type="op",op="primary_read"}[5m]) > 0

Шаблон сообщения:

Задержка чтения OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorOsdReadLatencyWarning

Задержка чтения OSD кластера uStor превышает 20 мс.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

rate(ustor_osd_stat_usec{op_type="op",op="primary_read"}[5m])
/ rate(ustor_osd_stat_count{op_type="op",op="primary_read"}[5m]) > 20000
and
rate(ustor_osd_stat_usec{op_type="op",op="primary_read"}[5m])
/ rate(ustor_osd_stat_count{op_type="op",op="primary_read"}[5m]) <= 100000
and
rate(ustor_osd_stat_count{op_type="op",op="primary_read"}[5m]) > 0

Шаблон сообщения:

Задержка чтения OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorOsdSpaceUsageCritical

Использовано более 90% пространства OSD в кластере uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

(ustor_osd_size_bytes - ustor_osd_free_bytes) * 100 / ustor_osd_size_bytes > 90

Шаблон сообщения:

OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} использует {{ $value | humanize }}% пространства

UstorOsdSpaceUsageWarning

Использовано более 80% пространства OSD в кластере uStor.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

(ustor_osd_size_bytes - ustor_osd_free_bytes) * 100 / ustor_osd_size_bytes > 80
and
(ustor_osd_size_bytes - ustor_osd_free_bytes) * 100 / ustor_osd_size_bytes <= 90

Шаблон сообщения:

OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} использует {{ $value | humanize }}% пространства

UstorOsdUpDecreased

Количество активных OSD кластера uStor уменьшилось.

Период: 1m (1 минута).

Важность: warning.

Категория: func_service.

Выражение PromQL:

sum(ustor_osd_status) by (host, _pak_id)
< sum(ustor_osd_status offset 5m) by (host, _pak_id)

Шаблон сообщения:

Количество активных OSD кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} уменьшилось по сравнению с 5 минутами ранее

UstorOsdWriteLatencyCritical

Задержка записи OSD кластера uStor превышает 100 мс.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

avg(
  rate(ustor_osd_stat_usec{op_type="op",op=~"^(write|write_stable)$"}[5m])
  / rate(ustor_osd_stat_count{op_type="op",op=~"^(write|write_stable)$"}[5m])
) without (op) > 100000
and
avg(rate(ustor_osd_stat_count{op_type="op",op=~"^(write|write_stable)$"}[5m])) without (op) > 0

Шаблон сообщения:

Задержка записи OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorOsdWriteLatencyWarning

Задержка записи OSD кластера uStor превышает 20 мс.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

avg(
  rate(ustor_osd_stat_usec{op_type="op",op=~"^(write|write_stable)$"}[5m])
  / rate(ustor_osd_stat_count{op_type="op",op=~"^(write|write_stable)$"}[5m])
) without (op) > 20000
and
avg(
  rate(ustor_osd_stat_usec{op_type="op",op=~"^(write|write_stable)$"}[5m])
  / rate(ustor_osd_stat_count{op_type="op",op=~"^(write|write_stable)$"}[5m])
) without (op) <= 100000
and
avg(rate(ustor_osd_stat_count{op_type="op",op=~"^(write|write_stable)$"}[5m])) without (op) > 0

Шаблон сообщения:

Задержка записи OSD {{ $labels.osd_num }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} мкс

UstorPgDegradedCritical

Обнаружены деградированные данные в кластере uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

sum(ustor_pg_count{pg_state=~".*degraded.*"}) by (host, _pak_id) > 0

Шаблон сообщения:

В кластере {{ $labels.host }} ПАКа {{ $labels._pak_id }} обнаружены группы размещения в деградированном состоянии ({{ $value }})

UstorPgIncompleteCritical

Обнаружены неполные данные в кластере uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

sum(ustor_pg_count{pg_state=~".*incomplete.*"}) by (host, _pak_id) > 0

Шаблон сообщения:

В кластере {{ $labels.host }} ПАКа {{ $labels._pak_id }} обнаружены группы размещения в неполном состоянии ({{ $value }})

UstorRawCapacityCritical

Использовано более 90% сырой ёмкости пула uStor.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

ustor_pool_used_raw_tb / ustor_pool_total_raw_tb * 100 > 90

Шаблон сообщения:

Сырая ёмкость пула {{ $labels.pool_name }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} использована на {{ $value | humanize }}%

UstorRawCapacityWarning

Использовано более 80% сырой ёмкости пула uStor.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

ustor_pool_used_raw_tb / ustor_pool_total_raw_tb * 100 > 80
and
ustor_pool_used_raw_tb / ustor_pool_total_raw_tb * 100 <= 90

Шаблон сообщения:

Сырая ёмкость пула {{ $labels.pool_name }} кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} использована на {{ $value | humanize }}%

UstorRecoveryIopsCritical

Количество операций ввода/вывода в секунду при восстановлении кластера uStor превышает 1000.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_count{op_type="recovery"}[5m])) by (host, _pak_id) > 1000

Шаблон сообщения:

IOPS восстановления кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} оп/с

UstorRecoveryIopsWarning

Количество операций ввода/вывода в секунду при восстановлении кластера uStor превышает 100.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_count{op_type="recovery"}[5m])) by (host, _pak_id) > 100
and
sum(rate(ustor_stat_count{op_type="recovery"}[5m])) by (host, _pak_id) <= 1000

Шаблон сообщения:

IOPS восстановления кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} оп/с

UstorScrubThroughputCritical

Пропускная способность проверки целостности кластера uStor превышает 100 МБ/с.

Период: 5m (5 минут).

Важность: critical.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_bytes{op_type="op",op="scrub"}[5m])) by (host, _pak_id) > 104857600

Шаблон сообщения:

Пропускная способность проверки целостности кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} Б/с

UstorScrubThroughputWarning

Пропускная способность проверки целостности кластера uStor превышает 10 МБ/с.

Период: 5m (5 минут).

Важность: warning.

Категория: func_service.

Выражение PromQL:

sum(rate(ustor_stat_bytes{op_type="op",op="scrub"}[5m])) by (host, _pak_id) > 10485760
and
sum(rate(ustor_stat_bytes{op_type="op",op="scrub"}[5m])) by (host, _pak_id) <= 104857600

Шаблон сообщения:

Пропускная способность проверки целостности кластера {{ $labels.host }} ПАКа {{ $labels._pak_id }} составляет {{ $value | humanize }} Б/с