Page tree

Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Table of Contents


Info
titleДанная статья применима к:
  • Astra Linux Special Edition РУСБ.10015-01 (очередное обновление 1.7)
  • Astra Linux Special Edition РУСБ.10015-01 (очередное обновление 1.6)
  • Astra Linux Special Edition РУСБ.10015-16 исп. 1
  • Astra Linux Common Edition Орел 2.12


Параметры стенда

Для развертывания кластера используются два подсоединённых к сети компьютера с установленной ОС Astra Linux. Каждый из этих компьютеров будет выполнять роль узла кластера, поэтому далее они будут называться Узел 1 и Узел 2.

Параметры сети

:

  • Сеть 192.168.23.0/24;
  • Адрес маршрутизатора (шлюза) сети 192.168.23.1;
  • Предполагается, что в сети отстутствует отсутствует служба DNS, поэтому адреса узлов задаются с помощью файла /etc/hosts.

Параметры

узлов

хостов

Для развертывания кластера используются два подсоединенных к сети компьютера с установленной ОС Astra Linux. Каждый из этих компьютеров будет выполнять роль узла кластера, поэтому далее они будут называться Узел 1 и Узел 2. Для тестирования отказоустойчивости используется рабочая станция, подключенная к той же сети.

ПараметрУзел 1Узел 2
Имя узлаpcmk-1pcmk-2
Статический IP-адрес узла192.168.23.101192.168.23.102

Дополнительно :

В

в качестве IP-адреса кластера будет использован адрес 192.168.23.100

;Для тестирования отказоустойчивости используется рабочая станция, подключенная к той же сети;

. IP-адрес рабочей станции, с помощью которой будет выполняться тестирование, неважен.

Настройка стенда

Настройка

сетевого соединения и имен узлов

сетевых подключений

Узлам рекомендуется присвоить статические адреса. Если на узлах кластера для управления сетевыми подключениями используется NetworkManager настройку можно выполнить с помощью графического инструмента или из командной строки командами:

Узел 1Узел 2

Присвоить узлу статический IP-адрес 192.168.23.101:

Command
sudo nmcli c d path 1
sudo nmcli c m path 1 ip4 192.168.23.101/24 gw4 192.168.23.1
sudo nmcli c m path 1 ipv4.method manual
sudo nmcli c u path 1


Присвоить узлу статический IP-адрес 192.168.23.102:

Command
sudo nmcli c d path 1
sudo nmcli c m path 1 ip4 192.168.23.102/24 gw4 192.168.23.1
sudo nmcli c m path 1 ipv4.method manual
sudo nmcli c u path 1


Подробнее про настройку сетевых подключений см. Настройка сетевых подключений в Astra Linux.

Настройка /etc/hosts

Записать имена узлов в файл /etc/hosts и удалить строку 127.0.1.1:

Command
sudo sed -i '$a 192.168.23.101\tpcmk-1' /etc/hosts
sudo sed -i '$a 192.168.23.102\tpcmk-2' /etc/hosts
sudo sed -i
"
'/
127
^127\.0\.1\.1/d
"

Установить имя узла pcmk-1:

Command
sudo hostnamectl set-hostname pcmk-1

Установить имя узла pcmk-2:

Command
sudo hostnamectl set-hostname pcmk-2

Перезагрузить узел:

Command
sudo reboot
Установка
' /etc/hosts


Установка пакетов кластерного ПО

Info
Установка пакетов кластерного ПО выполняется на каждом узле кластера.

Установить пакеты кластерного ПО:

  1. Для Astra Linux Special Edition РУСБ.10015-01 (очередное обновление 1.7) с установленным оперативным обновлением БЮЛЛЕТЕНЬ № 2022-1110SE17 (оперативное обновление 1.7.3):

    Command
    sudo apt install
-y pacemaker pcsНазначить пользователю hacluster пароль (для примера использован пароль 123)
  1. pacemaker pcs astra-resource-agents

    Использование пакета astra-resource-agents позволяет использовать в качестве кластерной службы программное обеспечение, поддерживающее МРД;

  2. Для более ранних обновлений или в случаях, когда поддержка МРД в кластерных службах не требуется:

    Command
    sudo apt install pacemaker pcs 


После установки пакетов назначить пользователю hacluster пароль:

Command
sudo chpasswd <<<'hacluster:123'passwd hacluster
Заданный на этом шаге пароль далее в примерах обозначается как <пароль>.

Инициализация кластера

Info
Инициализация кластера выполняется однократно на любом узле кластера.

Инициализировать кластер:

Command
sudo pcs cluster destroy

Собрать кластер (для примера используется имя кластера astracluster):

  1. Для Astra Linux Special Edition x.7:

    Command
    sudo pcs host auth pcmk-1 pcmk-2 -u hacluster -p <пароль>
    sudo pcs cluster setup astracluster pcmk-1 pcmk-2 --force


  2. Для обновлений Astra Linux Special Edition до x.7 и Astra Linux Common Edition:

    Command
    sudo pcs cluster auth pcmk-1 pcmk-2 -u hacluster -p
123
  1. <пароль>
    sudo pcs cluster setup --name astracluster pcmk-1 pcmk-2 --force


  2. Запустить кластер:

    Command
    sudo pcs cluster start --all
Отключить

  1. Убедиться, что кластер полностью запустился:

    Command

    while ! sudo pcs status ; do sleep 1 ; done


  2. В целях тестирования отключить технологию STONITH:

    Info

    STONITH (Shoot The Other Node In The Head) - технология, отвечающая за физическое устранение узла из кластера, и обеспечивающая полное обесточивание

нееисправных
  1. неисправных узлов, чтобы исключить повреждение данных. Поскольку в тесте устройства управления электропитанием не

зайдествованы
  1. задействованы, эту возможность удобнее отключить, иначе будет постоянно выдаваться предупреждение, что STONITH не сконфигурирован

    Warning
    На кластерах находящихся в эксплуатации  STONITH обязательно должен быть настроен и
включён
  1. включен для предотвращения событий, приводящих к повреждению данных.



    Command
    sudo pcs property set stonith-enabled=false


Info
Процедура добавления узла в кластер занимает некоторое время, обычно не более 1 минуты.

Посмотреть Проверить состояние узлов кластера можно командой:

Command
sudo pcs status

Если кластер успешно стартовал, то состояние узлов кластера в выводе команды pcs status будет таким:

Code Block
Online: [ pcmk-1 pcmk-2 ]

Проверить правильность конфигурации кластера можно командой:

Command

sudo crm_verify -L

Если конфигурация кластера содержит ошибки, утилита crm_verify о них сообщит.

Warning

Если узел кластера выключался/перезагружался, то считается, что узел работает нештатно, и решение о возможности его повторного включения в кластер может принять только человек. Автоматическое включение узлов в кластер не применяется. Для возврата узла в кластер требуется повторно добавить его в кластер, выполнив на нём нем команду:

Command
sudo pcs cluster start

Подготовка сервера PostgreSQL

Info
Выполняется на каждом узле
Перейти в каталог /tmp:


Command
cd /tmp
Установить пакеты PostgreSQL:
Command
sudo apt install postgresql-astra
Создать базу данных cluster:
Command
sudo -u postgres createdb cluster

Создать в базе данных таблицу info:

Command
sudo -u postgres psql -d cluster -c "CREATE TABLE info (text varchar(80));"

Добавить в таблицу запись:

Command
sudo -u postgres psql -d cluster -c "INSERT INTO info VALUES ('Test DB - $(hostname)');"

Задать пароль пользователю БД postgres:

Command
sudo -u postgres psql -c "ALTER USER postgres WITH PASSWORD '123';"

Разрешить СУБД PostgreSQL принимать внешние подключения:

Command
sudo sed -i '/^listen_addresses/s/localhost/*/' /etc/postgresql/9.6/main/postgresql.conf

Так как в дальнейшем работой сервиса будет управлять Corosync, следует исключить PostgreSQL из автоматической загрузки:

Command
sudo systemctl disable postgresql

Перезапустить кластер БД main:

Command
sudo pg_ctlcluster 9.6 main restart

Подключение ресурсов и настройка их поведения

InfoВыполняется на любом узле

Настроить поведение ресурсов:

  1. Задать значение глобального таймаута на операции со всеми ресурсами:

    Warning
    На рабочем кластере не рекомендуется использовать глобальный таймаут, следует задавать таймауты для каждой операции у каждого ресурса кластера, исходя из реальных значений временных интервалов, полученных на конкретной аппаратной платформе.


    Command
    sudo pcs resource op defaults timeout=240s


  2. Добавить IP-адрес

кластра
  1. кластера 192.168.23.100 как ресурс ClusterIP:

    Command
    sudo pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=192.168.23.100 cidr_netmask=32 op monitor interval=30s

Добавить службу PostgreSQL как ресурс Database:

Commandsudo pcs resource create Database ocf:heartbeat:pgsql \
pgctl="/usr/lib/postgresql/9.6/bin/pg_ctl" \
pgdata="/var/lib/postgresql/9.6/main" \
config="/etc/postgresql/9.6/main/postgresql.conf" \
socketdir="/var/run/postgresql/" \
op monitor interval=1min


Установить ограничения:

"Database должен работать на узле, где размещён ClusterIP":

Command
sudo pcs constraint colocation add Database with ClusterIP INFINITY

"Сначала запускается ClusterIP, затем Database":

Command
sudo pcs constraint order ClusterIP then Database

Тестирование

Тест должен продемонстрировать отказоустойчивость двухузлового кластера Active/Passive

Подготовка теста

Установить клиентский пакет PostgreSQL:

Command
sudo apt install postgresql-client

На рабочей станции, находящейся в одной сети с кластером, создать сценарий test-request.sh следующего содержания:

#!/bin/sh while true ; do     psql postgresql://postgres:123@192.168.23.100/cluster -tc "SELECT text FROM ;" | xargs echo    sleep 1s done
Code Block
languagebash
Info

Установить созданному файлу сценария права на исполнение

Command
chmod +x test-request.sh

Запустить сценарий:

Command
./test-request.sh
Сценарий будет отправлять запрос кластеру 1 раз в секунду и выводить полученное содержимое на экран.

Если

в данный момент ресурс ClusterIP размещён на узле 1, то вывод сценарий будет таким:
Code Block
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1

Отключение от сети узла кластера

Найти узел кластера, на котором размещены ресурсы, выполнив команду на любом узле:

Command
sudo pcs status resources

На узле с кластерными ресурсами отключить сетевое соединение

Command
sudo nmcli c d path 1

Кластерные ресурсы мигрируют на другой узел кластера и вывод скрипта test-request.sh изменится. Например, если кластерные ресурсы располагались на узле 1, то после отключения узла 1 от сети, ресурсы переместятся на узел 2.

Code Block
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-2
Test DB - pcmk-2

Включить сетевое соединение на отключённом от сети узле:

Command
sudo nmcli c u path 1

и дождаться его возвращение в кластер. После возвращения узла в кластер выполненная на любом из узлов команда

Command
sudo pcs status

должна вывести:

Code Block
Online: [ pcmk-1 pcmk-2 ]

Если вывод команды на разных узлах различается - значит узел еще не вернулся в кластер.

Выключение узла кластера

Найти узел кластера, на котором размещены ресурсы, выполнив команду на любом узле

узел кластера выключался/перезагружался, требуется повторно добавить его в кластер, выполнив на нем команду:

Command
sudo pcs
status resources

Выключить узел с кластерными ресурсами, перезагрузив его:

Command
sudo reboot

Кластерные ресурсы мигрируют на другой узел кластера и вывод скрипта test-request.sh изменится.

Если кластерные ресурсы располагались на узле 2, то после выключения узла 2 ресурсы переместятся на узел 1.

Code Block
Test DB - pcmk-2
Test DB - pcmk-2
Test DB - pcmk-2
Test DB - pcmk-1
Test DB - pcmk-1
Test DB - pcmk-1

Когда выключенный узел загрузится вернуть его в кластер, выполнив на нём команду:

Command
sudo pcs cluster start
cluster start



Установка и подключение кластерных служб

Кластерная служба apache2 для кластера pacemaker

Кластерная служба postgresql для кластера pacemaker