Введение

В статье описано создание высоконадежного iSCSI-хранилища данных на основе двухузлового кластера Pacemaker.

Термины

iSCSI – реализация SCSI-протокола, работающего поверх IP-протокола. Используется для работы c накопителями данных по SCSI-протоколу через сеть Ethernet.

target – цель (объект) – SCSI-сервер, предоставляющий доступ к устройству хранения данных.

initiator – инициатор – SCSI-клиент, использующий SCSI-накопитель для хранения данных.

LU (logical unit) – логическая единица iSCSI-накопителя. Аналог блочного устройства SCSI. Может использоваться для разбиения на разделы, для хранения файловой системы и т. п.

DRBD (Distributed Replicated Block Device) – распределённая система хранения, которая зеркалирует блочные устройства компьютеров через сеть Ethernet. Зеркалироваться могут жёсткие диски, разделы дисков и т. п.

Архитектура кластера

Рисунок 1. Архитектура iSCSI-хранилища на основе двухузлового кластера

Кластер и его узлы:

 Предварительная настройка

На каждом узле – для разрешения имён добавить в файл /etc/hosts строки:

192.168.23.101 pcmk-1
192.168.23.102 pcmk-2

На узле pcmk-1 – установить название узла:

sudo hostnamectl hostname pcmk-1

На узле pcmk-2 – установить название узла:

sudo hostnamectl hostname pcmk-2

На каждом узле – для работы DRBD сетевой экран (если используется) должен пропускать входящие и исходящие TCP-пакеты на порте 7789.

Установка ПО

На каждом узле необходимо:

Установить пакеты с DRBD-утилитами и drbd-модулем ядра, соответствующим версии загруженного ядра.

sudo apt install drbd-utils drbd-`uname -r`

Установить пакет с инструментом для настройки серверной части SCSI (target):

sudo apt install targetcli-fb

Настройка кластера

DRBD

DRBD-устройство состоит из двух дисков – по одному на каждом узле. Запись и чтение осуществляется только на ведущий диск (Primary). Ведомый диск (Secondary) только синхронизируется с ведущим.

DRBD-устройство должно управляться только кластером Pacemaker, т. е. не должна использоваться служба systemd.

На каждом узле – создать конфигурационный файл /etc/drbd.d/iscsi_data.res, содержащий настройки ресурса iscsi_data:

resource "iscsi_data" {
  device minor 1;
  meta-disk internal;

  net {
    protocol C;
#    fencing resource-and-stonith;
  }
#  handlers {
#    fence-peer "/usr/lib/drbd/crm-fence-peer.9.sh";
#    unfence-peer "/usr/lib/drbd/crm-unfence-peer.9.sh";
#  }

  on "pcmk-1" {
    node-id 0;
    disk "/dev/vdb"; 
  }
  on "pcmk-2" {
    node-id 1;
    disk "/dev/vdb"; 
  }
  connection {
    host "pcmk-1" address 10.192.6.74:7789;
    host "pcmk-2" address 10.192.6.75:7789;
  }
}

На каждом узле – проинициализировать метаданные DRBD-диска:

sudo drbdadm create-md iscsi_data

На каждом узле –включить DRBD-диск:

Проверить состояние DRBD-диска:

В выводе команды на первом узле будет ... - при не запущенном втором, ... при запущенном втором:

iscsi_data role:Secondary
  disk:Inconsistent
  pcmk-2 role:Secondary
    disk:Inconsistent

На каждом узле –проверить, что появилось блочное устройство /dev/drbd1:

В выводе команды должен появиться диск drbd1:

NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sr0      11:0    1  6,8G  0 rom  
vda     252:0    0   20G  0 disk 
├─vda1  252:1    0    1M  0 part 
└─vda2  252:2    0   20G  0 part /
vdb     252:16   0   20G  0 disk 
└─drbd1 147:1    0   20G  0 disk

Теперь DRBD состоит из двух локальных дисков /dev/vdb и сетевого соединения между ними.

Необходимо синхронизировать DRBD-диски узлов.

Для этого – На первом узле (В данном случае) – сделать DRBD-диск первого узла ведущим:

С помощью команды можно отслеживать текущее состояние синхронизации дисков:

Во время синхронизации будет выводиться:

Дождаться окончания синхронизации, когда будет выводиться информация:

 iscsi_data role:Primary
  disk:UpToDate
  pcmk-2 role:Secondary
    peer-disk:UpToDate

Pacemaker + DRBD

На узле, где DRBD = Primary? :

Создать ресурсного агента для управления DRBD-диском (DRBD-ресурс "iscsi_data"):

Настроить ресурсного агента для управления DRBD-диском:

Вывод команды:

  * ClusterIP   (ocf:heartbeat:IPaddr2):         Started pcmk-1
  * Clone Set: DRBD-clone [drbd_iscsi] (promotable):
    * Promoted: [ pcmk-1 ]
    * Unpromoted: [ pcmk-2 ]

 Pacemaker + iSCSI Target

 Pacemaker - взаимная настройка ресурсов

Создать ограничение: iSCSI запускается на том узле, где DRBD=Primary

Создать ограничение: ClusterIP запускается на том узле, где iSCSI:

Создать ограничение: вначале запускается DRBD, потом iSCSI

Вывод:

!!!! Adding WebData-clone WebFS (kind: Mandatory) (Options: first-action=promote then-action=start)

Создать ограничение: вначале запускается iSCSI, потом iSCSI

Проверить созданные ограничения:

Вывод:

Location Constraints:
Ordering Constraints:
Colocation Constraints:
Ticket Constraints:

Проверка работоспособности кластера при отказе одного из узлов

Перед использованием кластера необходимо проверить его работоспособность при отказе одного из узлов.

На любом узле – определить, какой из узлов кластера является ведущим, с помощью команды:

В выводе команды ведущий узел отобразится в строке с ресурсом ClusterIP после слова "Started":

Full List of Resources:
  * ClusterIP   (ocf:heartbeat:IPaddr2):         Started pcmk-1

Предположим, что ведущим узлом является pcmk-1.

На любом узле – остановить узел pcmk-1 кластера:

На втором узле pcmk-2 – проверить состояние кластера: 

В выводе команды отобразится, что узел pcmk-1 отключён, а ведущим узлом является pcmk-2:

Node List:
  * Online: [ pcmk-2 ]
  * OFFLINE: [ pcmk-1 ]

Full List of Resources:
  * ClusterIP   (ocf:heartbeat:IPaddr2):         Started pcmk-2

iSCSI-хранилище должно быть доступно по своему IP-адресу 192.168.23.100.

На любом узле – включить обратно первый узел кластера pcmk-1:

На любом узле – проверить, что оба узла кластера работают:

В выводе команды отобразится, что оба узла в работе:

Node List:
  * Online: [ pcmk-1 pcmk-2 ]

Подключение к кластерному iSCSI-хранилищу данных