МХД.О

s3cluster_volume_service_configured_count{svc_type="ACC"} - s3cluster_volume_service_count{svc_type="ACC"} > 0

Количество активных сервисов ACC уменьшилось в сравнении с скофигурированными на {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

s3cluster_volume_service_configured_count{svc_type="GW"} - s3cluster_volume_service_count{svc_type="GW"} > 0

Количество активных сервисов GW уменьшилось в сравнении с скофигурированными на {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

s3cluster_volume_service_configured_count{svc_type="NS"} - s3cluster_volume_service_count{svc_type="NS"} > 0

Количество активных сервисов NS уменьшилось в сравнении с скофигурированными на {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

s3cluster_volume_service_configured_count{svc_type="OS"} - s3cluster_volume_service_count{svc_type="OS"} > 0

Количество активных сервисов OS уменьшилось в сравнении с скофигурированными на {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

increase(mdsd_cluster_replication_stuck_chunks[5m]) > 0 or increase(mdsd_cluster_replication_touts_total[5m]) > 0

Репликация чанков заблокирована или слишком медленная.

mdsd_fs_chunk_maps_sum >= 15000000

В кластере слишком много чанков, что замедляет работу службы метаданных.

mdsd_fs_files_sum >= 10000000

В кластере слишком много файлов, что замедляет работу службы метаданных.

sum(mdsd_cs_status_value{status="failed"}) + sum(mdsd_cs_status_value{status="failed rel"}) > 0

Некоторые службы чанков завершились с ошибкой. Это может быть вызвано сбоем физического диска.

label_replace(sum(mdsd_cluster_free_space_bytes_sum) by (tier) / sum(mdsd_cluster_space_bytes_sum) by (tier), "object_id", "tier-$1", "tier", "(.*)") < 0.2

Осталось мало свободного физического пространства на уровне хранения {{ $labels.tier }}.

sum(mdsd_cs_status_value{status="offline"}) > 0

Некоторые службы чанков находятся в оффлайн. Проверьте и перезапустите их.

label_replace(sum(mdsd_cluster_free_space_bytes_sum) by (tier) / sum(mdsd_cluster_space_bytes_sum) by (tier), "object_id", "tier-$1", "tier", "(.*)") < 0.1

Недостаточно свободного физического пространства на уровне хранения {{ $labels.tier }}.

15000000 > mdsd_fs_chunk_maps_sum > 10000000

В кластере слишком много чанков, что замедляет работу службы метаданных.

10000000 > mdsd_fs_files_sum > 4000000

В кластере слишком много файлов, что замедляет работу службы метаданных.

count(up{service="MDS"}) - sum(up{service="MDS"}) > 0

Некоторые службы метаданных находятся в оффлайн или завершились с ошибкой. Проверьте и перезапустите их.

increase(ostor_svc_start_failed_count_total{service="FS"}[5m]) > 1

Агент объектного хранилища не смог запустить файловую службу по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}.

sum(rate(haproxy_frontend_bytes_in_total[5m])*8) by (instance) == 0

Отсутствие входящего трафика haproxy в течение 5 минут на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

sum(rate(haproxy_frontend_bytes_out_total[5m])*8) by (instance) == 0

Отсутствие исходящего трафика haproxy в течение 5 минут на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

keepalivedNetworkAvailability != 1

Сеть сервиса keepalived узла {{$labels._node_id}} на ПАК {{$labels._pak_id}} недоступна

delta(keepalivedNotifyScriptStatus[15m]) > 0

Скрипт оповещения keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} изменил имя, текущее имя скрипта - {{ $labels.script_name }}

count(keepalivedNotifyScriptStatus{script_name=""}) > 0

Скрипт оповещения keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} не имеет имени

keepalivedNotifyScriptStatus != 1

Скрипт оповещения keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} выключен, имя скрипта - {{ $labels.script_name }}

delta(keepalivedScriptHcheckInfo[15m]) > 0

Скрипт проверки статуса keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} изменил имя, текущее имя скрипта - {{ $labels.hcheck_name}}

count(keepalivedScriptHcheckInfo{hcheck_name=""}) > 0

Скрипт проверки статуса keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} не имеет имени

delta(keepalivedVIPInterfaceStatus[15m]) > 0

Изменился интерфейс VIP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}}, текущий интерфейс - {{ $labels.interface_name }}

count(keepalivedVIPInterfaceStatus{interface_name=""}) > 0

Интерфейс VIP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} не имеет имени

keepalivedVIPInterfaceStatus != 1

Интерфейс VIP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} находится в статусе {{ $value }}

keepalivedVIPStatus != 1

VIP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} находится в аварийном состоянии, текущий статус - {{ $value }}

keepalivedVRRPBasePriority != keepalivedVRRPTargetPriority

Базовый приоритет узла VRRP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} отличен от целевого, текущее значение - {{ $value }}

delta(keepalivedVRRPInterface[15m]) > 0

Изменился интерфейс VRRP на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}}, текущий интерфейс - {{ $labels.interface_name}}

count(keepalivedVRRPInterface{interface_name=""}) > 0

Отсутствует интерфейс VRRP на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}}

keepalivedVRRPPriorityHostStatus = 2

Keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} испытывает проблемы с приоритезацией хостов

keepalivedVRRPStatus != keepalivedVRRPDesiredStatus

Статус узла VRRP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} отличен от необходимого, текущее значение - {{ $value }}

keepalivedVRRPVersion != 3

Версия VRRP keepalived на узле {{$labels._node_id}} на ПАК {{$labels._pak_id}} отличается от 3, текущее значение - {{ $value }}

(vstorage_space_free*100/vstorage_license_capacity >= 95) AND (vstorage_space_free*100/vstorage_license_capacity < 99)

Утилизация лицензий МХД.О превысила 95% на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

vstorage_space_free*100/vstorage_license_capacity >= 99

Утилизация лицензий МХД.О превысила 95% на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(vstorage_space_free*100/vstorage_license_capacity >= 85) AND (vstorage_space_free*100/vstorage_license_capacity < 95)

Утилизация лицензий МХД.О превысила 85% на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(vstorage_license_expiration_ts*1000 <= 14) AND (vstorage_license_expiration_ts*1000 > 7)

До истечения лицензий МХД.О менее 14 дней на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

vstorage_license_expiration_ts*1000 <= 7

До истечения лицензий МХД.О менее 7 дней на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(vstorage_license_expiration_ts*1000 <= 30) AND (vstorage_license_expiration_ts*1000 > 14)

До истечения лицензий МХД.О менее 30 дней на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

mhdo_pg_bd_size > 3 * 1024 * 1024 * 1024

База данных {{ $labels.database_name}} ПАК {{$labels._pak_id}} занимает более 3 Гб

sum(pg_bd_size) by (database_name) / sum(node_filesystem_size_bytes{mountpoint="/"}) > 0.5

База данных {{ $labels.database_name}} ПАК {{$labels._pak_id}} занимает более половины размера корневой директории

mhdo_pg_bytes_behind != 0

Реплика БД PostgreSQL {{ $labels.application_name}} ПАК {{$labels._pak_id}} отстаёт от мастера на {{ $value }} байт(а)

topk(1, mdsd_is_master_top1) and (delta(mdsd_master_uptime[1h]) < 300000)

Главная служба метаданных изменилась более одного раза за 5 минут.

histogram_quantile(0.95, rjournal_commit_duration_seconds_bucket_rate) >= 5

Служба метаданных по адресу {{ $labels.instance }} имеет 95-й процентиль задержки выше 5 секунд.

5 > histogram_quantile(0.95, rjournal_commit_duration_seconds_bucket_rate) > 1

Служба метаданных по адресу {{ $labels.instance }} имеет 95-й процентиль задержки выше 1 секунды.

count(up{service="FS"}) by (instance) > sum(up{service="FS"}) by (instance)

Некоторые файловые службы не работают на узле {{ $labels._node_id }}. Проверьте статус службы в командной строке.

histogram_quantile(0.5, sum(ostor_commit_latency_us_bucket_rate{service="NS"}) by (instance, _pak_id, le)) >= 10000000

Служба имен по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку коммитов выше 10 секунд. Проверьте производительность хранилища.

histogram_quantile(0.5, sum(ostor_ns_req_latency_ms_bucket_rate) by (instance, _pak_id, le)) >= 5000

Служба имен по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку запросов выше 5 секунд.

10000000 > histogram_quantile(0.5, sum(ostor_commit_latency_us_bucket_rate{service="NS"}) by (instance, _pak_id, le)) > 1000000

Служба имен по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку коммитов выше 1 секунды. Проверьте производительность хранилища.

5000 > histogram_quantile(0.5, sum(ostor_ns_req_latency_ms_bucket_rate) by (instance, _pak_id, le)) > 1000

Служба имен по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку запросов выше 1 секунды.

node_bonding_slaves - node_bonding_active > 0

Сетевой бонд {{ $labels.master }} на узле {{ $labels._node_id }} не имеет {{ $labels.value }} подчиненных интерфейсов.

fused_maps_failed > 0 or rate(fused_map_failures_total[5m]) > 0

Некоторые запросы карты на узле {{ $labels._node_id }} завершились неудачно.

node_network_transmit_errs_total_rate > 1000

Узел {{ $labels._node_id }} имеет частоту ошибок исходящих пакетов ({{ $labels.value }}). Проверьте настройки сети узла.

fused_stuck_reqs_30s > 0 or fused_stuck_reqs_10s > 0

Некоторые запросы ввода-вывода застряли на узле {{ $labels._node_id }}.

histogram_quantile(0.5, sum(ostor_commit_latency_us_bucket_rate{service="OS"}) by (instance, _pak_id, le)) >= 10000000

Объектная служба по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку коммитов выше 10 секунд. Проверьте производительность хранилища.

histogram_quantile(0.5, sum(ostor_os_req_latency_ms_bucket_rate) by (instance, _pak_id, le)) >= 5000

Объектная служба по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку запросов выше 5 секунд.

10000000 > histogram_quantile(0.5, sum(ostor_commit_latency_us_bucket_rate{service="OS"}) by (instance, _pak_id, le)) > 1000000

Объектная служба по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку коммитов выше 1 секунды. Проверьте производительность хранилища.

5000 > histogram_quantile(0.5, sum(ostor_os_req_latency_ms_bucket_rate) by (instance, _pak_id, le)) > 1000

Объектная служба по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку запросов выше 1 секунды.

increase(pcs_process_inactive_seconds_total{service="OS"}[5m]) > 0

Агент объектного хранилища по адресу {{ $labels.instance }} имеет неактивный цикл событий более 1 минуты.

increase(ostor_svc_registry_cfg_failed_total[5m]) > 1

Агент объектного хранилища не смог подключиться к службе конфигурации по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}.

up{service="OSTOR_REPLICATO"} == 0

Агент объектного хранилища находится в оффлайн по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}.

count(up{service="GR"}) by (instance) > sum(up{service="GR"}) by (instance)

Некоторые службы георепликации не работают по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}. Проверьте статус службы в командной строке.

count(up{service="NS"}) by (instance) > sum(up{service="NS"}) by (instance)

Некоторые службы имен не работают по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}. Проверьте статус службы в командной строке.

count(up{service="OS"}) by (instance) > sum(up{service="OS"}) by (instance)

Некоторые объектные службы не работают по адресу {{ $labels.instance }} ПАК {{ $labels._pak_id }}. Проверьте статус службы в командной строке.

count(up{service="S3GW"}) by (instance) > sum(up{service="S3GW"}) by (instance)

Некоторые службы шлюза S3 не работают по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}. Проверьте статус службы в командной строке.

(sum by (instance, _pak_id) (rate(process_cpu_seconds_total{service="S3GW"}[5m])) * 100) >= 90

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет загрузку процессора выше 90%. Служба может быть перегружена.

((sum(ostor_s3gw_req_cancelled_rate) by (_pak_id, instance)) / (sum(ostor_s3gw_req_rate) by (_pak_id, instance))) * 100 >= 30

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет частоту отмены запросов выше 30%. Это может быть вызвано проблемами с подключением, таймаутами запросов или низким лимитом ожидающих запросов.

histogram_quantile(0.5, sum(ostor_s3gw_get_req_latency_ms_bucket_rate) by (_pak_id, instance, le)) >= 5000

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку GET-запросов выше 5 секунд.

90 > (sum by (instance, _pak_id) (rate(process_cpu_seconds_total{service="S3GW"}[5m])) * 100) > 75

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет загрузку процессора выше 75%. Служба может быть перегружена.

30 > ((sum(ostor_s3gw_req_cancelled_rate) by (_pak_id, instance)) / (sum(ostor_s3gw_req_rate) by (_pak_id, instance))) * 100 > 5

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет частоту отмены запросов выше 5%. Это может быть вызвано проблемами с подключением, таймаутами запросов или низким лимитом ожидающих запросов.

((sum(ostor_req_server_err_rate) by (instance, _pak_id)) / (sum(ostor_s3gw_req_rate) by (instance, _pak_id))) * 100 > 5

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет много неудачных запросов с ошибкой сервера (код состояния 5XX).

5000 > histogram_quantile(0.5, sum(ostor_s3gw_get_req_latency_ms_bucket_rate) by (instance, _pak_id, le)) > 1000

Шлюз S3 по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }} имеет медианную задержку GET-запросов выше 1 секунды.

increase(ostor_svc_start_failed_count_total{service=~"OS | NS | S3GW"}[5m]) > 1

Агент объектного хранилища не смог запустить {{ $labels.service }} по адресу ({{ $labels.instance }}) ПАК {{ $labels._pak_id }}.

increase(pcs_process_inactive_seconds_total{service=~"S3GW | OS | NS"}[5m]) > 0

Служба S3 ({{ $labels.service }}, по адресу {{ $labels._pak_id }}) ПАК {{ $labels._pak_id }} имеет неактивный цикл событий более 1 минуты.

(systemd_service_uptime{service="chronyd.service"} < systemd_service_uptime{service="chronyd.service"} offset 1m) == 1

Произошел перезапуск сервиса chronyd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="chronyd.service"}!= 1

Произошла остановка сервиса chronyd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="haproxy.service"} < systemd_service_uptime{service="haproxy.service"} offset 1m) == 1

Произошел перезапуск сервиса haproxy.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="haproxy.service"}!= 1

Произошла остановка сервиса haproxy.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="keepalived.service"} < systemd_service_uptime{service="keepalived.service"} offset 1m) == 1

Произошел перезапуск сервиса keepalived.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="keepalived.service"}!= 1

Произошла остановка сервиса keepalived.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="nginx.service"} < systemd_service_uptime{service="nginx.service"} offset 1m) == 1

Произошел перезапуск сервиса nginx.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="nginx.service"}!= 1

Произошла остановка сервиса nginx.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="ostor-agentd.service"} < systemd_service_uptime{service="ostor-agentd.service"} offset 1m) == 1

Произошел перезапуск сервиса ostor-agentd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="ostor-agentd.service"}!= 1

Произошла остановка сервиса ostor-agentd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="ostor-cfgd.service"} < systemd_service_uptime{service="ostor-cfgd.service"} offset 1m) == 1

Произошел перезапуск сервиса ostor-cfgd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="ostor-cfgd.service"}!= 1

Произошла остановка сервиса ostor-cfgd.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="pacemaker.service"} < systemd_service_uptime{service="pacemaker.service"} offset 1m) == 1

Произошел перезапуск сервиса pacemaker.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="pacemaker.service"}!= 1

Произошла остановка сервиса pacemaker.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="postgres.server"} < systemd_service_uptime{service="postgres.server"} offset 1m) == 1

Произошел перезапуск сервиса postgres.server на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="postgres.service"}!= 1

Произошла остановка сервиса postgres.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="s3gateway-compression-server.service"} < systemd_service_uptime{service="s3gateway-compression-server.service"} offset 1m) == 1

Произошел перезапуск сервиса s3gateway-compression.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="s3gateway-compression-server.service"} != 1

Произошла остановка сервиса s3gateway-compression-server.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="s3gateway-control-server.service"} < systemd_service_uptime{service="s3gateway-control-server.service"} offset 1m) == 1

Произошел перезапуск сервиса s3gateway-control.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="s3gateway-control-server.service"} != 1

Произошла остановка сервиса s3gateway-control-server.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="s3gateway-ostor-server.service"} < systemd_service_uptime{service="s3gateway-ostor-server.service"} offset 1m) == 1

Произошел перезапуск сервиса s3gateway-ostor.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="s3gateway-ostor-server.service"}!= 1

Произошла остановка сервиса s3gateway-ostor-server.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service="s3gateway-proxy-server.service"} < systemd_service_uptime{service="s3gateway-proxy-server.service"} offset 1m) == 1

Произошел перезапуск сервиса s3gateway-proxy.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name="s3gateway-proxy-server.service"} != 1

Произошла остановка сервиса s3gateway-proxy-server.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service=~"vstorage-csd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"} < systemd_service_uptime{service=~"vstorage-csd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"} offset 1m) == 1

Произошел перезапуск сервиса вида vstorage-csd.X.X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name=~"vstorage-csd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"}!= 1

Произошла остановка сервиса vstorage-csd.X.X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name=~"vstorage-mdsd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"}!= 1

Произошла остановка сервиса vstorage-mdsd.X.X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service=~"vstorage-mdsd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"} < systemd_service_uptime{service=~"vstorage-mdsd\\.[a-zA-Z0-9_-]+\\.[a-zA-Z0-9_-]+\\.service"} offset 1m) == 1

Произошел перезапуск сервиса вида vstorage-mdsd.X.X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

(systemd_service_uptime{service=~"shaman@[a-zA-Z0-9]+\\.service"} < systemd_service_uptime{service=~"shaman@[a-zA-Z0-9]+\\.service"} offset 1m) == 1

Произошел перезапуск сервиса вида vstorage-shaman@X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}

systemd_unit_state{name=~"shaman@[a-zA-Z0-9]+\\.service"}!= 1

Произошла остановка сервиса vstorage-shaman@.X.service на узле {{ $labels._node_id }} ПАК {{ $labels._pak_id}}