8 Управление кластерами вычислительных узлов

8.1 Остановка кластера

Операция остановки возможна для кластеров, имеющих статус "ДОСТУПЕН" или "ДЕГРАДИРОВАН".

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Нажать кнопку ⋮ вызова меню действий с кластером и выбрать пункт "Остановить кластер" (пример для кластеров Pacemaker/Corosync):

    image219

  3. В окне подтверждения действия нажать кнопку Остановить:

    image220

    В правом верхнем углу страницы появится всплывающее сообщение о запуске операции:

    image221

    В процессе выполнения операции для останавливаемого кластера и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций появится операция остановки кластера и статус её выполнения.

    Если выполнение операции прошло успешно:

    • Статусы всех задач операции – "ВЫПОЛНЕНА" (пример для кластеров Pacemaker/Corosync):

      image222

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • При переходе на страницу "Кластеры" отображается статус остановленного кластера

      • "ОТКЛЮЧЁН" - для экземпляров сервиса кластеров Pacemaker/Corosync;

      • "ОСТАНОВЛЕН" - для экземпляров сервиса кластеров Patroni.

    • При переходе на страницу "Узлы" для всех узлов остановленного кластера отображается статус "ОСТАНОВЛЕН".

    • При переходе на страницу "Сервисы СУБД" для соответствующих остановленному кластеру сервисов отображается статус "НЕДОСТУПЕН".

    • При нажатии на имя сервиса список экземпляров сервиса отображается со статусом

      • "ОСТАНОВЛЕН" - для экземпляров сервиса кластеров Pacemaker/Corosync;

      • "НЕТ ДАННЫХ" - для экземпляров сервиса кластеров Patroni.

    • Для всех узлов, сервисов и экземпляров сервисов остановленного кластера в меню действий все пункты будут недоступны.

8.2 Запуск кластера

Операция запуска возможна для кластеров Pacemaker/Corosync со статусом "ОТКЛЮЧЁН" и для кластеров Patroni со статусом "ОСТАНОВЛЕН".

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Нажать кнопку ⋮ вызова меню действий с кластером и выбрать пункт "Запустить кластер" (пример для кластеров Pacemaker/Corosync):

    image223

  3. В окне подтверждения действия нажать кнопку Запустить:

    image224

    В правом верхнем углу страницы появится всплывающее сообщение о старте операции:

    image225

    В процессе выполнения операции для останавливаемого кластера и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отображается операция запуска кластера и статус её выполнения.

    Если выполнение операции запуска кластера прошло успешно:

    • Статусы всех задач операции – "ВЫПОЛНЕНА" (пример для кластеров Pacemaker/Corosync):

      image226

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • При переходе на страницу "Кластеры" отображается статус запущенного кластера "ДОСТУПЕН".

    • При переходе на страницу "Узлы" для всех узлов запущенного кластера отображается статус "ДОСТУПЕН".

    • При переходе на страницу "Сервисы СУБД" для соответствующих запущенному кластеру сервисов также отображается статус "ДОСТУПЕН".

      Статус сервисов кластера может отличаться от "ДОСТУПЕН", если на момент остановки кластера сервис был деградирован или остановлен.

    • При нажатии на имя сервиса отображается список экземпляров сервиса со статусами "ЗАПУЩЕН".

      Статус экземпляров сервисов кластера может отличаться от "ЗАПУЩЕН", если на момент остановки кластера экземпляры сервиса имели иной статус.

8.3 Изменение дополнительных параметров кластера

Операция доступна только для кластеров Pacemaker/Corosync.

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Выбрать кластер, для которого нужно изменить дополнительные параметры, нажать соответствующую кнопку ⋮ вызова меню действий и выбрать пункт "Изменить дополнительные параметры кластера":

    image227

    Откроется первая страница "Кластер" окна "Изменение дополнительных параметров кластера":

    image228

  3. При необходимости:

    • Указать описание кластера.

      Описание появляется при наведении курсора на значок i1 справа от имени кластера:

      image230

    • Указать тэги.

    • Установить флаг "Автоматический возврат узла в кластер после перезагрузки".

      По окончании ввода данных нажать кнопку Следующий шаг.

      Откроется вторая страница "Узлы СХД".

  4. Выбрать пользователя для доступа к узлам СХД, ввести виртуальный IP-адрес СХД и IP-адреса узлов СХД. Для добавления адресов дополнительных узлов СХД нужно нажимать на кнопку + Добавить:

    image232

    Для изменения очередности IP-адресов узлов нужно нажимать соответствующие кнопки i28, i29 или i30.

    Если узлы СХД ранее были настроены, их параметры будут отображены и доступны для изменения:

    image236

    Для удаления ненужного IP-адреса нажать соответствующую кнопку i21.

    Если хотя бы для одного из сервисов кластера имеется расписание на любом из узлов СХД, редактирование списка узлов СХД и изменение пользователя будут недоступны. При наведении курсора на значок i1 появляется всплывающая подсказка с соответствующим пояснением. При этом для блока "Узлы СХД" исчезает кнопка + Добавить, у строк IP-адресов узлов исчезает кнопка удаления:

    image239

    По окончании ввода данных нажать кнопку Изменить.

    В правом верхнем углу страницы отобразится всплывающее сообщение о запуске операции:

    image240

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход к разделу "Операции". Новая операция со статусом "НОВАЯ" и, далее, со статусом "ЗАВЕРШЕНА" отобразится в верхней строке.

    Если выполнение операции изменения дополнительных параметров кластера прошло успешно:

    • Статусы всех задач операции - "ВЫПОЛНЕНА":

      image241

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • Данные в окне "Изменение дополнительных параметров кластера" отображаются в соответствии с изменениями, внесёнными на шаге 4.

  • Если флаг "Автоматический возврат узла в кластер после перезагрузки" установлен, то в случае автоматического перезапуска узла в разделе ИСТОРИЯ  События в списке событий будут присутствовать записи.

  • Если кластерное ПО было успешно перезапущено, будет отображена запись "Failover: Узел <имя_узла> перезапущен успешно", важность события - "ИНФОРМАТИВНОЕ", например:

image242

  • Если кластерное ПО не было перезапущено вследствие того, что узел был штатно остановлен, будет отображена запись "Failover: Перезапуск узла <имя_узла> не выполнен - узел был штатно остановлен", важность события - "ИНФОРМАТИВНОЕ", например:

image243

  • Если кластерное ПО не было перезапущено из-за отсутствия в кластере кворума (был остановлен другой узел), будет отображена запись "Failover: Перезапуск узла <имя_узла> не выполнен - нет кворума", важность события - "ПРЕДУПРЕЖДАЮЩЕЕ", например:

image244

8.4 Создание отчетов Cluster Report

Операция доступна только для кластеров Pacemaker/Corosync.

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Выбрать кластер, для которого нужно создать отчёт Cluster Report, нажать соответствующую кнопку ⋮ и выбрать пункт "Создать отчет Cluster Report":

    image245

    или нажать кнопку Создать на вкладке Диагностика  Отчеты Cluster Report соответствующего кластера:

    image246

    Откроется окно "Создание отчета Cluster Report для кластера <…​>":

    image247

  3. В окне нужно выбрать временной период (указать даты начала и окончания) и отметить узлы, для которых необходимо создать отчет.

  4. Нажать кнопку Создать.

    В правом верхнем углу страницы отобразится всплывающее сообщение о запуске операции:

    image248

    В процессе выполнения операции для кластера, над которым запущена операция создания отчёта, и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отображается операция создания отчёта и статус её выполнения.

    Если выполнение операции прошло успешно:

    • статусы всех задач операции – "ВЫПОЛНЕНА":

      image249

    • на странице Диагностика  Отчеты Cluster Report соответствующего кластера отображается созданный отчёт.

      Если для создания отчёта были выбраны более 1 узла, то формируется по отчёту на каждый выбранный узел.

  5. Для скачивания отчёта нажать на его имя, при этом будет вызван стандартный интерфейс браузера для сохранения файлов. Файл отчёта имеет формат tar.bz2.

8.5 Удаление кластера из "Спектра"

Для удаления (снятия с регистрации) кластера нужно выполнить следующие действия.

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Выбрать кластер, который нужно удалить, нажать соответствующую кнопку ⋮ и выбрать пункт "Удалить из Спектра" (пример для кластеров Pacemaker/Corosync):

    image251

  3. В окне подтверждения действия нажать кнопку Удалить:

    image252

    В правом верхнем углу страницы появится всплывающее сообщение о запуске операции удаления кластера из "Спектра":

    image253

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". Операция удаления кластера из "Спектра" со статусом "НОВАЯ" и, далее, со статусом "ЗАВЕРШЕНА" появится в верхней строке.

    image254

    При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

  4. Перейти в раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры и убедиться, что удалённый кластер не отображается.

8.6 Добавление сервиса

Если при установке "Спектра" не был введен корректный IP-адрес, по которому доступно ПО "Скала^р "Геном"-Управление", пункт меню "Добавление сервиса" для всех кластеров будет недоступен.

Операция добавления сервиса возможна для кластеров Pacemaker/Corosync, имеющих статус "ДОСТУПЕН".

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Выбрать кластер, в который нужно добавить сервис, нажать соответствующую кнопку ⋮ вызова меню действий и выбрать пункт "Добавить сервис":

    image255

  3. Откроется первая страница "Общие данные" окна ввода данных сервиса:

    image256

    На странице заполнить (выбрать) следующие параметры сервиса:

    • Имя сервиса (поле обязательно для заполнения).

    • Порт (поле обязательно для заполнения).

    • Размер WAL-сегмента (выбирается из ряда 16-32-64-128-256 Мб).

    • Флаг "Применять контрольные суммы на страницах данных (data-checksums)" (установлен по умолчанию). Определяет, будут ли применяться контрольные суммы на страницах данных для выявления сбоев при вводе / выводе.

    • Флаг "Стартовать сервис" (установлен по умолчанию). Определяет, будет ли запущен сервис PostgreSQL после создания. Если флаг не установлен, сервис PostgreSQL не будет запущен ни на одном из узлов кластера и не будет доступен для пользователя. Для запуска сервиса необходимо будет выполнить операцию "Запустить сервис" из "Спектра" после его создания.

      По окончании ввода данных нажать кнопку Следующий шаг.

      Откроется вторая страница "IP-адреса" окна ввода данных создаваемого сервиса:

      image257

  4. В поля страницы ввести необходимые IP-адреса.

    При вводе в поля одинаковых IP-адресов появляется соответствующее сообщение об ошибке:

    image258

    По окончании ввода данных нажать кнопку Следующий шаг.

    Откроется третья страница "Параметры" окна ввода данных создаваемого сервиса:

    image259

  5. В трёх выпадающих списках выбрать необходимые настройки локализации и нажать кнопку Следующий шаг.

    Откроется четвертая страница "Проверка" окна добавления сервиса:

    image260

  6. В случае необходимости возможно перейти к редактированию блоков параметров по соответствующим ссылкам image261.

  7. После визуальной проверки корректности всех введённых данных нажать кнопку Проверить. Появится окно проверки:

    image262

    После завершения автоматической проверки, при отсутствии ошибок, отображается сообщение о возможности запуска операции добавления сервиса:

    image263

    При успешном прохождении проверки кнопка Проверить меняется на кнопку Добавить.

    При наличии ошибок появится сообщение об ошибке и необходимости исправления параметров. Для параметров появится указание, какие из них некорректны и почему:

    image264

    Кнопка Проверить становится недоступной до корректировки введенных данных.

    Для изменения неверных данных нажать на элемент управления image265 для блока параметров с ошибками и на соответствующей странице ввести корректные значения.

    С помощью кнопок Следующий шаг вернуться на страницу проверки и снова запустить автоматическую проверку параметров.

  8. После успешного завершения проверки нажать кнопку Добавить.

    Появится всплывающее сообщение о старте операции добавления сервиса:

    image266

    В процессе выполнения операции для кластера, в который входит добавляемый сервис, и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отображается операция добавления сервиса и статус её выполнения.

    Если выполнение операции добавления сервиса прошло успешно:

    • Статусы всех задач операции – "ВЫПОЛНЕНА":

      image267

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • При переходе в раздел "Сервисы СУБД" отображается созданный сервис.

      В случае, если при создании сервиса флаг "Стартовать сервис" был установлен, новый сервис будет иметь статус "ДОСТУПЕН", если флаг был снят – статус сервиса будет "ОСТАНОВЛЕН".

    • При нажатии на имя сервиса отображается вкладка "Обзор", на которой указаны введённые на шаге 4 IP-адреса и роли:

      image269

    • На странице "Кластеры" для кластера, в который добавлен сервис, количество отображаемых сервисов увеличилось на 1:

      image270

    • При нажатии на имя кластера, в который добавлен сервис, на вкладке "Сервисы" отображается таблица-схема сервисов кластера, в которой присутствует добавленный сервис.

Известные проблемы:

Название Описание Способ решения

Не добавляется сервис для импортированного вручную кластера.

Если кластер был развёрнут без использования "Геном.БР", то не срабатывает проверка параметров при добавлении нового сервиса, добавление сервиса невозможно.

Будет исправлено в будущих версиях, добавление сервиса будет реализовано средствами "Спектра" без использования "Геном.БР".

8.7 Перемещение ролей сервисов между узлами

Операция перемещения ролей сервисов возможна для сервисов со статусом "ДОСТУПЕН" на кластерах Pacemaker/Corosync, также имеющих статус "ДОСТУПЕН".

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Нажать на имя кластера, в котором необходимо произвести перемещение ролей сервисов. Откроется страница со вкладками дополнительной информации о кластере.

  3. Перейти на вкладку "Сервисы":

    image272

    Для локальных компонентов геокластера вкладка "Сервисы" отображается в следующем виде:

    image273

    Роли LEAF и CASCADE недоступны для перемещения.

  4. Для сервисов (строки таблицы) выбрать целевое расположение ролей на нужных узлах (столбцы таблицы):

    image274

    • у экземпляра сервиса, который ранее имел роль, выбранную на изменяемом узле, роль изменится на ту, которая была у изменяемого экземпляра сервиса;

    • изменённые роли обоих экземпляров сервиса будут выделены красной рамкой;

    • кнопка Применить станет доступна;

    • рядом с кнопкой Применить появится новая доступная кнопка Отменить изменения;

    • слева над таблицей ролей сообщение "Нет изменений" сменяется сообщением "N сервисов будут изменены", где N - количество изменённых сервисов.

  5. Нажать кнопку Применить.

  6. В окне подтверждения операции "Изменение ролей на сервисах" нажать кнопку Изменить роли:

    image275

    Появится всплывающее сообщение о старте операции:

    image276

    При этом отображаемые роли изменяемых экземпляров временно возвратятся в исходное состояние, так как в процессе выполнения операции показывается текущее распределение ролей.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отображается операция перемещения ролей экземпляров сервиса между узлами и статус её выполнения.

    Если выполнение операции перемещения ролей экземпляров сервиса между узлами прошло успешно:

    • Статусы всех задач операции – "ВЫПОЛНЕНА":

      image277

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • Распределение ролей экземпляров сервисов соответствует заданному на шаге 4.

    • На вкладке "Обзор" в блоке "История изменений" отображается соответствующее изменение ролей:

      image278

  7. Если в процессе выполнения одной из задач операции возникла ошибка, выполнение операции останавливается:

    image279a

    Для просмотра логов задачи с ошибкой нужно нажать кнопку i19 справа от статуса задачи с ошибкой. Откроется окно просмотра, в котором на вкладке "Ошибки" появится информация об ошибке:

    image280

    Для сохранения информации об ошибке в файл нужно нажать кнопку Скачать.

    Для перезапуска операции необходимо устранить причину ошибки, нажать на соответствующую перезапускаемой операции кнопку ⋮ и далее выбрать пункт "Перезапустить операцию":

    image281

    В окне подтверждения нажать кнопку Перезапустить:

    image282

    Появится всплывающее сообщение об успешном перезапуске операции:

    image283

    Если перезапущенная операция завершится успешно:

    • Статусы всех задач операции будут "ВЫПОЛНЕНА".

      Если с момента первоначального запуска операции до ее перезапуска положение ролей сервисов изменилось, например, в результате ручных манипуляций над кластером, и не соответствует ожидаемому в операции, то операция снова завершится с ошибкой.

    • Распределение ролей экземпляров сервисов будет соответствовать заданному в процессе выполнения шага 4.

8.8 Ввод кластера в режим обслуживания

  1. Операция доступна только для кластеров Patroni со статусом "ДОСТУПЕН".

  2. При вводе кластера в режим обслуживания (maintenance) Patroni перестаёт отслеживать состояние управляемой СУБД PostgreSQL и не выполняет над ней никаких действий.

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Нажать кнопку ⋮ вызова меню действий с кластером и выбрать пункт "Режим обслуживания (maintenance)":

    image284a

  3. В окне подтверждения действия нажать кнопку Подтвердить:

    image284b

    В правом верхнем углу страницы отобразится всплывающее сообщение о запуске операции вывода кластера в режим обслуживания (maintenance):

    image284c

    В процессе выполнения операции для выводимого в режим обслуживания кластера и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отобразится операция ввода кластера в режим обслуживания и статус её выполнения.

    Если выполнение операции прошло успешно:

    • Статусы всех задач операции - "ВЫПОЛНЕНА":

      image284d

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • При переходе на страницу "Кластеры" для введенного в режим обслуживания кластера отображается статус "ОБСЛУЖИВАНИЕ".

    • При переходе на страницу "Узлы" для всех узлов введенного в режим обслуживания кластера отображается статус "ОБСЛУЖИВАНИЕ".

    • При переходе на страницу "Сервисы СУБД" для соответствующих введенному в режим обслуживания кластеру сервисов отображается статус "ОБСЛУЖИВАНИЕ".

    • При нажатии на имя сервиса список экземпляров сервиса отображается со статусом "ОБСЛУЖИВАНИЕ".

    • Для всех узлов, сервисов и экземпляров сервисов введенного в режим обслуживания кластера в меню действий все пункты будут недоступны.

8.9 Ввод кластера в работу

Операция доступна только для введенных в режим обслуживания кластеров Patroni.

  1. Выбрать раздел ОБЪЕКТЫ УПРАВЛЕНИЯ  Кластеры.

  2. Нажать кнопку ⋮ вызова меню действий с кластером и выбрать пункт "Ввести в работу (unmaintenance)":

    image284e

  3. В окне подтверждения действия нажать кнопку Подтвердить:

    image284f

    В правом верхнем углу страницы отобразится всплывающее сообщение о запуске операции ввода кластера в работу:

    image284g

    В процессе выполнения операции для вводимого в работу кластера и для всех его объектов вместо элементов управления вызова меню действий отображаются вращающиеся спиннеры.

    По нажатию кнопки Перейти во всплывающем сообщении будет осуществлен переход на страницу "Операции". В верхней строке таблицы операций отобразится операция ввода кластера в работу и статус её выполнения.

    Если выполнение операции прошло успешно:

    • Статусы всех задач операции - "ВЫПОЛНЕНА":

      image284h

      При нажатии кнопки i19 справа от статуса задачи открывается окно просмотра логов выбранной задачи. Если задача завершена с ошибкой, то в окне просмотра появляется вкладка "Ошибки" с информацией об ошибке.

    • При переходе на страницу "Кластеры" для введенного в работу кластера отображается статус "ДОСТУПЕН".

    • При переходе на страницу "Узлы" для всех узлов введенного в работу кластера отображается статус "ДОСТУПЕН".

    • При переходе на страницу "Сервисы СУБД" для соответствующих введенному в работу кластеру сервисов также отображается статус "ДОСТУПЕН".

      Статус сервисов кластера может отличаться от "ДОСТУПЕН", если на момент остановки кластера сервис был деградирован или остановлен.

    • При нажатии на имя сервиса отображается список экземпляров сервиса со статусами "ЗАПУЩЕН".

      Статус экземпляров сервисов кластера может отличаться от "ЗАПУЩЕН", если на момент ввода кластера в работу экземпляры сервисов имели иной статус.