Введение

В статье описано создание iSCSI-хранилища данных на основе двухузлового кластера Pacemaker. Кластер используется для минимизации времени недоступности iSCSI-хранилища.

Архитектура кластера

Кластер состоит из двух узлов: ведущего и подчинённого (на рисунке ниже ведущим узлом является pcmk-1, подчинённым – pcmk-2). При создании и эксплуатации кластера ведущим может стать любой узел.

На каждом узле:

• есть диск /dev/vdb (на компьютере и в виртуальной машине VirtualBox это будет диск /dev/sdb);
• поверх диска /dev/vdb работает DRBD-устройство;
• поверх DRBD-устройства работает iSCSI-сервер.

На каждом узле кластер запускает и останавливает DRBD-устройство и iSCSI-сервер. Также кластер управляет виртуальным IP-адресом.

На ведущем узле: DRBD-устройство является ведущим, работает iSCSI-сервер. На подчинённом узле: DRBD-устройство является подчинённым, iSCSI-сервер остановлен.

iSCSI-клиенты подключаются к виртуальному IP-адресу кластера. Аутентификация iSCSI-клиентов не используется.

Рисунок 1. Архитектура iSCSI-хранилища на основе двухузлового кластера

Кластер и его узлы:

Предварительная настройка

Разрешение имён

Задать имена узлов и настроить разрешение имён в соответствии со статьёй "Настройка разрешения имен и статических IP-адресов".

При тестовой настройке кластера можно настроить разрешение имён с помощью файла /etc/hosts:

1. На каждом узле – добавить в файл /etc/hosts строки:
   

   10.192.6.74 pcmk-1 10.192.6.75 pcmk-2

2. На первом узле – установить имя узла pcmk-1:
   

   sudo hostnamectl hostname pcmk-1

3. На втором узле – установить имя узла pcmk-2:
   

   sudo hostnamectl hostname pcmk-2

Сетевой экран

При использовании сетевого экрана должны быть открыты порты:

• 7789/TCP – для работы DRBD-устройства;
• 3260/TCP – для работы iSCSI-сервера;
• 5405/UDP, 2224/TCP – для работы кластера Pacemaker + Сorosync.

Двухузловой кластер Pacemaker

Настроить кластер в соответствии со статьёй "Развертывание двухузлового кластера pacemaker".

При настройке использовать IP-адреса, указанные в разделе "Архитектура кластера".

DRBD-устройство

Настроить DRBD-устройство в соответствии со статьёй "Стандартная настройка DRBD (Astra Linux 1.6)".

При настройке учесть:

1. Для установки DRBD-пакетов используется команда:
   

   sudo apt install drbd-utils "drbd-$(uname -r)"

2. DRBD-устройство настраивается на узлах pcmk-1 и pcmk-2 с IP-адресами, указанными в разделе "Архитектура кластера".
3. Для создания DRBD-устройства используется блочное устройство /dev/vdb.
4. Настраивается ресурс "dvolume" с помощью конфигурационного файла /etc/drbd.d/dvolume.res:
   

   resource "dvolume" { device minor 1; meta-disk internal; net { protocol C;   fencing resource-only;   } handlers { fence-peer "/usr/lib/drbd/crm-fence-peer.9.sh"; unfence-peer "/usr/lib/drbd/crm-unfence-peer.9.sh"; }   on "pcmk-1" { node-id 0; disk "/dev/vdb"; } on "pcmk-2" { node-id 1; disk "/dev/vdb"; } connection { host "pcmk-1" address 10.192.6.74:7789; host "pcmk-2" address 10.192.6.75:7789; } }

5. Для запуска DRBD-устройства – вместо команды "sudo /etc/init.d/drbd start" используется команда:
   

   sudo drbdadm up dvolume

6. Для назначения ведущим DRBD-устройством на текущем узле – вместо команды "sudo drbdadm -- --overwrite-data-of-peer primary all" используется команда:
   

   sudo drbdadm primary --force all

7. Не создавать файловую систему и не монтировать DRBD-устройство.

iSCSI-сервер

Для проверки настроек SCSI-сервера установить пакет:

sudo apt install targetcli-fb

Настройка кластера

DRBD-ресурс

На ведущем узле кластера (т. е. на узле с ведущим DRBD-устройством):

1. Создать ресурсного агента "p_DRBD" для управления DRBD-устройством:
   

   sudo pcs resource create "p_DRBD" ocf:linbit:drbd \   drbd_resource="dvolume" \   op monitor interval=29s role="Promoted" \   op monitor interval=31s role="Unpromoted" \   promotable promoted-max=1 promoted-node-max=1 clone-max=2 clone-node-max=1 notify="true"

2. Проверить настройки ресурсного агента "p_DRBD":
   

   sudo pcs resource status p_DRBD

   Вывод команды:
   

   * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-1 ] * Unpromoted: [ pcmk-2 ]

iSCSI-ресурс

На ведущем узле кластера (т. е. на узле с ведущим DRBD -устройством):

1. iSCSI-сервер будет иметь имя "iqn.2025-08.iscsi.pcmk12" и принимать запросы на порту 3260 IP-адреса 10.192.1.100.
2. Создать ресурсного агента "p_iSCSITarget" для управления iSCSI-сервером:
   

   sudo pcs resource create "p_iSCSITarget" ocf:heartbeat:iSCSITarget \   iqn="iqn.2025-08.iscsi.pcmk12" portals="10.192.1.100:3260" \   op monitor interval="10s"

3. Создать ресурсного агента "p_iSCSI_lun1" для управления экспортируемым диском /dev/drbd1:
   

   sudo pcs resource create "p_iSCSI_lun1" ocf:heartbeat:iSCSILogicalUnit \   target_iqn="iqn.2025-08.iscsi.pcmk12" lun="1" path="/dev/drbd1" \   op monitor interval="10s"

4. Проверить настройки ресурсного агента "p_iSCSITarget":
   

   sudo pcs resource status p_iSCSITarget

   Вывод команды:
   

   * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-2

   Проверить настройки ресурсного агента "p_iSCSI_lun1:
   

   sudo pcs resource status p_iSCSI_lun1

   Вывод команды:
   

   * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-2

Ограничения на запуск ресурсов

На любом работающем узле кластера:

1. Отключить (если уже не отключён) режим работы STONITH, при котором неисправное оборудование физически отключается (обесточивается):
   

   sudo pcs property set stonith-enabled="false"

2. Предотвратить перераспределение ресурсов между узлами при восстановлении нормального режима работы кластера после аварии:
   

   sudo pcs resource defaults update resource-stickiness=100

Все ресурсы кластера должны работать на одном узле и запускаться по порядку: ведущий "p_DRBD", "ClusterIP", "p_iSCSITarget", "p_iSCSI_lun1".

Для этого на любом работающем узле кластера:

1. Задать ограничения на запуск ресурса "ClusterIP": 
   

   sudo pcs constraint colocation add "ClusterIP" with Promoted "p_DRBD-clone"

   sudo pcs constraint order promote "p_DRBD-clone" then start "ClusterIP"

2. Задать ограничения на запуск ресурса "p_iSCSITarget":
   

   sudo pcs constraint colocation add "p_iSCSITarget" with "ClusterIP" INFINITY

   sudo pcs constraint order "ClusterIP" then start "p_iSCSITarget"

3. Задать ограничения на запуск ресурса "p_iSCSI_lun1":
   

   sudo pcs constraint colocation add "p_iSCSI_lun1" with "p_iSCSITarget" INFINITY

   sudo pcs constraint order "p_iSCSITarget" then "p_iSCSI_lun1"

4. Проверить созданные ограничения:
   

   sudo pcs constraint

   Location Constraints: Ordering Constraints: promote p_DRBD-clone then start ClusterIP (kind:Mandatory) start ClusterIP then start p_iSCSITarget (kind:Mandatory) start p_iSCSITarget then start p_iSCSI_lun1 (kind:Mandatory) Colocation Constraints: ClusterIP with p_DRBD-clone (score:INFINITY) (rsc-role:Started) (with-rsc-role:Promoted) p_iSCSITarget with ClusterIP (score:INFINITY) p_iSCSI_lun1 with p_iSCSITarget (score:INFINITY) Ticket Constraints:

5. Перезапустить кластер, чтобы ограничения вступили в силу:
   

   sudo pcs cluster stop --all

   sudo pcs cluster start --all

6. Проверить, что все ресурсы запущены на каком-то одном узле кластера:
   

   sudo pcs status

   Cluster name: astracluster Cluster Summary: * Stack: corosync (Pacemaker is running) * Current DC: pcmk-2 (version 3.0.0-3.0.0) - partition with quorum * Last updated: Sun Aug 24 19:37:05 2025 on pcmk-1 * Last change: Sun Aug 24 19:32:28 2025 by root via root on pcmk-1 * 2 nodes configured * 5 resource instances configured Node List: * Online: [ pcmk-1 pcmk-2 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-2 * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-2 ] * Unpromoted: [ pcmk-1 ] * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-2 * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-2 Daemon Status: corosync: active/disabled pacemaker: active/disabled pcsd: active/enabled

Проверка работоспособности кластера при отказе ведущего узла

Все ресурсы кластера запускаются на каком-то одном узле – на ведущем узле кластера.

Когда отключается ведущий узел, ресурсы запускаются на втором узле. Второй узел становится ведущим узлом кластера. При восстановлении работы первого узла ресурсы остаются работать на втором узле.

Порядок проверки работоспособности кластера при отказе ведущего узла:

1. Определить, на каком узле запущены ресурсы, т.е. какой узел кластера является ведущим:
   

   sudo pcs status

   Cluster name: astracluster Cluster Summary: * Stack: corosync (Pacemaker is running) * Current DC: pcmk-1 (version 3.0.0-3.0.0) - partition with quorum * Last updated: Thu Aug 28 13:07:33 2025 on pcmk-2 * Last change: Thu Aug 28 10:21:57 2025 by root via root on pcmk-2 * 2 nodes configured * 5 resource instances configured Node List: * Online: [ pcmk-1 pcmk-2 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-1 * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-1 ] * Unpromoted: [ pcmk-2 ] * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-1 * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-1 Daemon Status: corosync: active/disabled pacemaker: active/disabled pcsd: active/enabled

2. Рассмотрим случай, когда ведущим узлом является первый узел pcmk-1.
3. На любом узле – остановить ведущий узел:
   

   sudo pcs cluster stop pcmk-1

4. На втором узле – проверить, что все ресурсы перемещены с первого на второй узел pcmk-2:
   

   sudo pcs status

   Cluster name: astracluster Cluster Summary: * Stack: corosync (Pacemaker is running) * Current DC: pcmk-2 (version 3.0.0-3.0.0) - partition with quorum * Last updated: Thu Aug 28 13:14:12 2025 on pcmk-2 * Last change: Thu Aug 28 13:13:07 2025 by root via root on pcmk-2 * 2 nodes configured * 5 resource instances configured Node List: * Online: [ pcmk-2 ] * OFFLINE: [ pcmk-1 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-2 * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-2 ] * Stopped: [ pcmk-1 ] * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-2 * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-2 Daemon Status: corosync: active/disabled pacemaker: active/disabled pcsd: active/enabled

5. На любом узле – запустить обратно первый узел:
   

   sudo pcs cluster start pcmk-1

6. На любом узле – проверить, что оба узла работают и все ресурсы остались на втором узле:
   

   sudo pcs status

   Cluster name: astracluster Cluster Summary: * Stack: corosync (Pacemaker is running) * Current DC: pcmk-2 (version 3.0.0-3.0.0) - partition with quorum * Last updated: Thu Aug 28 13:40:50 2025 on pcmk-2 * Last change: Thu Aug 28 13:40:49 2025 by root via root on pcmk-2 * 2 nodes configured * 5 resource instances configured Node List: * Online: [ pcmk-1 pcmk-2 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-2 * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-2 ] * Unpromoted: [ pcmk-1 ] * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-2 * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-2 Daemon Status: corosync: active/disabled pacemaker: active/disabled pcsd: active/enabled

Возможные проблемы и способы их решения

Запуск и проверка состояния кластера

После остановки или сбоя в работе кластера необходимо:

1. На каждом узле (на котором кластер не запущен) – запустить кластер:
   

   sudo pcs cluster start

   Дождаться окончания запуска кластера, что может занять несколько десятков секунд.
2. На любом узле – проверить, что все ресурсы запущены на каком-то одном узле кластера:
   

   sudo pcs status

   Cluster name: astracluster Cluster Summary: * Stack: corosync (Pacemaker is running) * Current DC: pcmk-1 (version 3.0.0-3.0.0) - partition with quorum * Last updated: Wed Aug 20 12:38:55 2025 on pcmk-1 * Last change: Wed Aug 20 09:58:02 2025 by root via root on pcmk-1 * 2 nodes configured * 5 resource instances configured Node List: * Online: [ pcmk-1 pcmk-2 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-1 * Clone Set: p_DRBD-clone [p_DRBD] (promotable): * Promoted: [ pcmk-1 ] * Unpromoted: [ pcmk-2 ] * p_iSCSI_lun1 (ocf:heartbeat:iSCSILogicalUnit): Started pcmk-1 * p_iSCSITarget (ocf:heartbeat:iSCSITarget): Started pcmk-1 Daemon Status: corosync: active/disabled pacemaker: active/disabled pcsd: active/enabled

3. На любом узле – проверить состояние DRBD-устройства:
   

   sudo drbdadm status

   dvolume role:Primary  disk:UpToDate  pcmk-2 role:Secondary    peer-disk:UpToDate

4. На ведущем узле – проверить настройки iSCSI-хранилища:
   

   sudo targetcli ls /

   o- / ......................................................................................................................... [...] o- backstores .............................................................................................................. [...] | o- block .................................................................................................. [Storage Objects: 1] | | o- p_iSCSI_lun1 .................................................................. [/dev/drbd1 (20.0GiB) write-thru activated] | | o- alua ................................................................................................... [ALUA Groups: 1] | | o- default_tg_pt_gp ....................................................................... [ALUA state: Active/optimized] | o- fileio ................................................................................................. [Storage Objects: 0] | o- pscsi .................................................................................................. [Storage Objects: 0] | o- ramdisk ................................................................................................ [Storage Objects: 0] o- iscsi ............................................................................................................ [Targets: 1] | o- iqn.2025-08.iscsi.pcmk12 .......................................................................................... [TPGs: 1] | o- tpg1 .................................................................................................. [gen-acls, no-auth] | o- acls .......................................................................................................... [ACLs: 0] | o- luns .......................................................................................................... [LUNs: 1] | | o- lun1 ............................................................. [block/p_iSCSI_lun1 (/dev/drbd1) (default_tg_pt_gp)] | o- portals .................................................................................................... [Portals: 1] | o- 10.192.1.100:3260 ................................................................................................ [OK] o- loopback ......................................................................................................... [Targets: 0] o- vhost ............................................................................................................ [Targets: 0] o- xen-pvscsi ....................................................................................................... [Targets: 0] Вывод команды показывает, что: объект хранения /backstores/block/p_iSCSI_lun1 привязан к DRBD-диску /dev/drbd1; создана iSCSI-цель /iscsi/iqn.2025-08.iscsi.pcmk12; для группы /iscsi/iqn.2025-08.iscsi.pcmk12/tpg1 указаны настройки доступа [gen-acls, no-auth]; логическая единица /iscsi/iqn.2025-08.iscsi.pcmk12/tpg1/luns/lun1 привязана к объекту хранения block/p_iSCSI_lun1; создан портал /iscsi/iqn.2025-08.iscsi.pcmk12/tpg1/portals/10.192.1.100:3260.

Разделение DRBD-устройства на части

При сетевых сбоях распределённое DRBD-устройство может разделиться на части, не связанные между собой.

В этом случае в выводе команды "sudo drbdadm status" будет отображено, что соединение с противоположным узлом находится в состоянии "StandAlone":

• на узле с ведущим DRBD-ресурсом (pcmk-2):
  

  dvolume role:Primary  disk:UpToDate  pcmk-1 connection:StandAlone

•  на узле с подчинённым DRBD-ресурсом (pcmk-1):
  

  dvolume role:Secondary  disk:UpToDate  pcmk-2 connection:StandAlone

Чтобы объединить отдельные части в одно DRBD-устройство, выполнить на каждом узле команду:

Если произошла рассинхронизация данных на DRBD-устройствах, то тогда на узле с подчинённым DRBD-устройством выполнить команду: