Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.


Информация

Данная статья является частью статьи: Развертывание двухузлового кластера pacemaker и применима в рамках указанной статьи.

Оглавление


Информация
titleДанная статья применима начиная с:




Предупреждение

При работе с защищенной СУБД postgresql с использованием МРД (см. Уровень конфиденциальности, категории конфиденциальности и целостность: что есть что, и как с этим работать?) рекомендуется использовать специальный агент ocf:astra:pgsql. Этот агент доступен в составе:

Для работы без использования МРД и для работы в более ранних обновлениях Astra Linux соедует использовать обычный для Linux агент ocf:heartbeat:pgsql.


Введение

Предполагается, что дальнейшие действия выполняются на ранее подготовленном кластере pacemaker. См. статью Развертывание двухузлового кластера pacemaker.
В рамках подготовки кластера созданы два узла кластера с адресами 192.168.23.101/32 и 192.168.23.102/32, а сам кластер имеет адрес 192.168.23.100.
Далее в созданном кластере pacemaker создается отказоустойчивая кластерная служба СУБД PostgreSQL с репликацией данных между узлами. В процессе настройки один из узлов назначается ведущим (master), второй (остальные) — подчиненным (slave). При отказе ведущего узла подчиненный узел автоматически становится ведущим.
Настройка и тестирование аутентификации пользователей и работы мандатного управления доступом (МРД) в данной статье не рассматривается и не тестируется. См.:

Установка пакетов

Информация
Установка пакетов выполняется на каждом узле кластера.

Установить метапакет postgresql:

Command
sudo apt install postgresql

При установке метапакета postgresql:

  1. В Astra Linux Special Edition x.7 будет установлена защищенная СУБД PostgreSQL версии 11.
  2. В Astra Linux Special Edition, выпущенных до обновления x.7, будет установлена защищенная СУБД PostgreSQL версии 9.6.

  3. В Astra Linux Common Edition будет установлена СУБД PostgreSQL версии 9.6 без встроенной защиты.

При установке СУБД будет
  1. Во всех обновлениях Astra Linux:
    1. Будет создан кластер СУБД (не путать с кластером pacemaker) с именем main.
    2. Будет создан служебный пользователь postgres (далее - пользователь postgres).

Если планируется использовать специальный агент ocf:astra:pgsql, то установить пакет astra-resource-agents:

Command
sudo apt install astra-resource-agents


Настройка СУБД postgresql

Для настройки работы СУБД postgesql проверить указанные ниже параметры и привести их к указанным значениям (добавить в случае отсутствия):

  1. В конфигурационном файле СУБД /etc/postgresql/<номер_версии>/<имя_кластера_СУБД>/postgresql.conf:

    Блок кода
    listen_addresses = '*'
    wal_level = replica
    wal_keep_segments = 32


  2. В конфигурационный файл /etc/postgresql/<номер_версии>/<имя_кластера>/pg_hba.conf добавить строки:

    Блок кода
    host    replication     postgres         192.168.23.101/32       trust
    host    replication     postgres         192.168.23.102/32       trust

    где 192.168.23.101/32 и 192.168.23.102/32 - IP-адреса узлов ранее подготовленного кластера pacemaker.

  3. Для того, чтобы внесенные изменения вступили в силу, перезапустить службу postgresql:

    Command

    sudo systemctl restart postgresql


Далее предполагается, что узел 192.168.23.101/32 назначается ведущим (master), а узел 192.168.23.102/32 - ведомым (slave).

Якорь
SYNC
SYNC
Синхронизация узлов кластерной службы postgresql

Выполнить синхронизацию данных между узлами кластерной службы postgresql, для чего на подчиненном узле (на всех подчиненных узлах):

  1. Действуя от имени пользователя postgres удалить содержимое кластера СУБД:

    Command

    sudo -u postgres sh -c "rm -rf /var/lib/postgresql/*/main/*"


  2. Действуя от имени служебного пользователя postgres создать резервную копию ведущего узла. При этом обращение к ведущему узлу выполняется по его адресу (192в примере —192.168.23.101). Далее созданная резервная копия будет использована для создания локальной копии базы данных. Команда для создания резервной копии:
    1. При работе в Astra Linux Special Edition x.7:

      Command
      sudo -u postgres pg_basebackup -h 192.168.23.101 -D /var/lib/postgresql/<номер_версии>/<имя_кластера> -P


    2. При работе в Astra Linux, выпущенных до очередного обновления x.7:

      Command
      sudo -u postgres pg_basebackup -h 192.168.23.101 -D /var/lib/postgresql/<номер_версии>/<имя_кластера> -P --xlog


  3. В дальнейшем службой postgresql будет управлять кластер pacemaker. Для исключения конфликтов между кластером и службой systemd на всех узлах (включая ведущий) отключить автоматический запуск службы postgresql при перезагрузке ОС и остановить службу:

    Command
    sudo systemctl disable postgresql
    sudo systemctl stop postgresql


Создание кластерного ресурса

Добавить

Для создания кластерного ресурса добавить необходимо кластерную службу СУБД как ресурс с именем pgsql. Для этого на ведущем узле:

  1. Выполнить команду создания ресурса (в качестве номера версии использовать значения 9.6 или 11 в соответствии с используемой версией PostgreSQL). Имя создаваемого ресурса — pgsql. Команды:

    1. В случаях, если требуется (или, возможно, потребуется в будущем) работа с поддержкой МРД:

      Command

      sudo pcs resource create pgsql ocf:astra:pgsql \
      pgversion="<номер_версии>" \
      rep_mode="sync" \
      master_ip="192.168.23.100" \
      node_list="pcmk-1 pcmk-2"

      Подробное описание параметров см. man pcs и man ocf_astra_pgsql. Основные параметры:

        • pgsql — имя (идентификатор) создаваемого виртуального ресурса;
        • ocf:astra:pgsql — название предопределенного набора параметров ресурса (агент).

    2. В случаях, если поддержка МРД не требуется (в том числе в Astra Linux Common Edition) вместо агента ocf:astra:pgsql можно использовать агент ocf:heartbeat:pgsql. При этом дополнительно нужно будет вручную определить параметры создаваемого ресурса:

      Command

      sudo pcs resource create pgsql ocf:heartbeat:pgsql \
      pgctl="/usr/lib/postgresql/<номер_версии>/bin/pg_ctl" \
      pgdata="/var/lib/postgresql/<номер_версии>/main" \
      config="/etc/postgresql/<номер_версии>/main/postgresql.conf" \
      socketdir="/var/run/postgresql/" \
      rep_mode="sync" \
      master_ip="192.168.23.100" \
      node_list="pcmk-1 pcmk-2" \
      op monitor interval=1min


      Информация
      Параметры команды, задающиеся колючем op (в примере выше - параметр op monitor interval=1min должны указываться последними.



  2. Установить параметры службы:
    1. Для Astra Linux Special Edition x.7:
      1. Объявить ресурс pgsql "продвигаемым" (promotable) и создать вторичный ресурс. Такие ресурсы могут переключаться между двумя режимами работы - master и slave:

        Command
        sudo pcs resource promotable pgsql promoted-max=1 promoted-node-max=1 clone-max=2 clone-node-max=1 notify=true

        В примере приведена форма команды без явного указания имени вторичного ресурса. При этом будет автоматически использовано имя <имя_ресурса>-clone (в данном примере - pgsql-clone).

      2. Объявить зависимости от других кластерных ресурсов:

        Command
        sudo pcs constraint colocation add ClusterIP with master pgsql-clone INFINITY


    2. Для Astra Linux, выпущенных до очередного обновления x.7:
      1. Объявить мастер-ресурс:

        Command
        sudo pcs resource master mspgsql pgsql master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true

        где:

          • mspgsql — имя мастер-ресурса, предоставляющего доступ к активному ведущему серверу;

          • pgsql — ранее созданный ресурс СУБД.
      2. Объявить зависимости от других кластерных ресурсов:

        Command
        sudo pcs constraint colocation add ClusterIP with master mspgsql INFINITY


  3. Запустить кластер:

    Command

    sudo pcs cluster start --all


  4. Проверить статус службы (может понадобиться некоторое время для полного запуска службы):

    Command
    sudo pcs status

    Пример вывода команды:

    Блок кода
    Cluster name: astracluster
    Stack: corosync
    Current DC: pcmk-1 (version 2.0.1-9e909a5bdd) - partition with quorum
    Last updated: Sat Mar 11 18:40:21 2023
    Last change: Sat Mar 11 18:39:28 2023 by root via crm_attribute on pcmk-1
     
    2 nodes configured
    3 resources configured
     
    Online: [ pcmk-1 pcmk-2 ]
     
    Full list of resources:
     
     ClusterIP      (ocf::heartbeat:IPaddr2):       Started pcmk-1
     Clone Set: pgsql-clone [pgsql] (promotable)
         Masters: [ pcmk-1 ]
         Slaves: [ pcmk-2 ]
     
    Daemon Status:
      corosync: active/disabled
      pacemaker: active/disabled
      pcsd: active/enabled


Если команды команда проверки состояния:

Command
sudo pcs status 

сообщает об ошибке:

Блок кода
exitreason='Replication(rep_mode=async or sync) requires Master/Slave configuration.'

то для устранения ошибки остановить и запустить кластер:

Command

sudo pcs cluster stop --all
sudo pcs cluster start --all

Тестирование

Тестирование должно продемонстрировать отказоустойчивость созданного кластера. Настройка и тестирование аутентификации пользователей и работы МРД в данной статье не рассматривается и не тестируется.

Тестирование репликации

  1. На ведущем узле создать тестовую базу данных test_db:

    Command
    sudo -u postgres psql -c "create database test_db;"


  2. Убедиться, что созданная база данных появилась на ведомом сервере:

    Command
    sudo -u postgres psql -l


Тестирование отказоустойчивости

  1. Выключить действующий ведущий сервер.

  2. Проверить статус кластера на ведомом узле:

    Command
    sudo pcs status

    В выводе команды должно быть указано, что узел выводится из эксплуатации (demoting). Пример вывода команды:

    Блок кода
    Cluster name: astracluster
    Stack: corosync
    Current DC: pcmk-1 (version 2.0.1-9e909a5bdd) - partition with quorum
    Last updated: Sun Mar 12 15:17:55 2023
    Last change: Sun Mar 12 15:12:38 2023 by root via crm_attribute on pcmk-1
     
    2 nodes configured
    3 resources configured
     
    Online: [ pcmk-1 pcmk-2 ]
     
    Full list of resources:
     
     ClusterIP      (ocf::heartbeat:IPaddr2):       Started pcmk-2
     Clone Set: pgsql-clone [pgsql] (promotable)
         pgsql      (ocf::astra:pgsql):     Demoting pcmk-1
         Slaves: [ pcmk-2 ]
     
    Daemon Status:
      corosync: active/disabled
      pacemaker: active/disabled
      pcsd: active/enabled
    

    После завершения переключения кластера мастером становится второй сервер:

    Блок кода
    Online: [ pcmk-1 pcmk-2 ]
     
    Full list of resources:
     
     ClusterIP      (ocf::heartbeat:IPaddr2):       Started pcmk-2
     Clone Set: pgsql-clone [pgsql] (promotable)
         Masters: [ pcmk-2 ]
         Stopped: [ pcmk-1 ]
     
    Daemon Status:
      corosync: active/disabled
      pacemaker: active/disabled
      pcsd: active/enabled
    


Восстановление сбойного узла

Для восстановления сбойного узла выполнить на этом узле следующие действия:

  1. Выполнить синхронизацию данных с действующим ведущим сервером. См. Синхронизация узлов кластерной службы postgresql.
  2. Удалить файл /var/lib/pgsql/tmp/PGSQL.lock:

    Command
    sudo rm /var/lib/pgsql/tmp/PGSQL.lock


  3. Запустить кластер:

    Command
    sudo pcs cluster start


После перезапуска сбойного узла мастер-сервером останется работавший узел, а перезапущенный узел получит статус подчиненного:

Блок кода
Cluster name: astracluster
Stack: corosync
Current DC: pcmk-2 (version 2.0.1-9e909a5bdd) - partition with quorum
Last updated: Tue Apr 11 14:13:34 2023
Last change: Tue Apr 11 14:05:24 2023 by root via crm_attribute on pcmk-2

2 nodes configured
3 resources configured

Online: [ pcmk-1 pcmk-2 ]

Full list of resources:

 ClusterIP      (ocf::heartbeat:IPaddr2):       Started pcmk-2
 Clone Set: pgsql-clone [pgsql] (promotable)
     Masters: [ pcmk-2 ]
     Slaves: [ pcmk-1 ]

Daemon Status:
  corosync: active/disabled
  pacemaker: active/disabled
  pcsd: active/enabled



...