Перед выполнением действий из данной статьи необходимо настроить кластер в соответствии со статьёй "Развертывание двухузлового кластера pacemaker". |
В статье описано создание высоконадежного iSCSI-хранилища данных на основе двухузлового кластера Pacemaker.
iSCSI – реализация SCSI-протокола, работающего поверх IP-протокола. Используется для работы c накопителями данных по SCSI-протоколу через сеть Ethernet.
target – цель (объект) – SCSI-сервер, предоставляющий доступ к устройству хранения данных.
initiator – инициатор – SCSI-клиент, использующий SCSI-накопитель для хранения данных.
LU (logical unit) – логическая единица iSCSI-накопителя. Аналог блочного устройства SCSI. Может использоваться для разбиения на разделы, для хранения файловой системы и т. п.
DRBD (Distributed Replicated Block Device) – распределённая система хранения, которая зеркалирует блочные устройства компьютеров через сеть Ethernet. Зеркалироваться могут жёсткие диски, разделы дисков и т. п.
Рисунок 1. Архитектура iSCSI-хранилища на основе двухузлового кластера
Кластер и его узлы:
| Название узла | IP-адрес | Назначение |
|---|---|---|
| 192.168.23.100 | Виртуальный IP-адрес кластера iSCSI-хранилища | |
| pcmk-1 | 192.168.23.101 | Первый узел кластера |
| pcmk-2 | 192.168.23.102 | Второй узел кластера |
Предполагается, что адреса узлов pcmk-1 и pcmk-2 прописаны в файле /etc/hosts. sudo hostnamectl hostname pcmk-1 sudo hostnamectl hostname pcmk-2 |
На каждом узле необходимо:
Установить пакеты с DRBD-утилитами и drbd-модулем ядра, соответствующим версии загруженного ядра.
|
Установить пакет с инструментом для настройки серверной части SCSI (target):
|
На каждом узле – сетевой экран должен пропускать входящие и исходящие TCP-пакеты на порте 7789.
На каждом узле – создать конфигурационный файл /etc/drbd.d/iscsi_data.res, содержащий:
resource "iscsi_data" {
device minor 1;
meta-disk internal;
net {
protocol C;
# fencing resource-and-stonith;
verify-alg sha1;
}
# handlers {
# fence-peer "/usr/lib/drbd/crm-fence-peer.9.sh";
# unfence-peer "/usr/lib/drbd/crm-unfence-peer.9.sh";
# }
on "pcmk-1" {
node-id 0;
disk "/dev/vdb";
}
on "pcmk-2" {
node-id 1;
disk "/dev/vdb";
}
connection {
host "pcmk-1" address 10.192.6.74:7789;
host "pcmk-2" address 10.192.6.75:7789;
}
}
# disk {
# on-io-error detach;
# }
|
На каждом узле – проинициализировать метаданные устройства DRBD:
sudo drbdadm create-md iscsi_data |
sudo modprobe drbd |
sudo drbdadm up iscsi_data |
sudo drbdadm status |
На первом узле:
sudo drbdadm primary --force iscsi_data |
Перед использованием кластера необходимо проверить его работоспособность при отказе одного из узлов.
На любом узле – определить, какой из узлов кластера является ведущим, с помощью команды:
sudo pcs status |
В выводе команды ведущий узел отобразится в строке с ресурсом ClusterIP после слова "Started":
Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-1 |
Предположим, что ведущим узлом является pcmk-1.
На любом узле – остановить узел pcmk-1 кластера:
sudo pcs cluster stop pcmk-1 |
На втором узле pcmk-2 – проверить состояние кластера:
sudo pcs status |
В выводе команды отобразится, что узел pcmk-1 отключён, а ведущим узлом является pcmk-2:
Node List: * Online: [ pcmk-2 ] * OFFLINE: [ pcmk-1 ] Full List of Resources: * ClusterIP (ocf:heartbeat:IPaddr2): Started pcmk-2 |
iSCSI-хранилище должно быть доступно по своему IP-адресу 192.168.23.100.
На любом узле – включить обратно первый узел кластера pcmk-1:
sudo pcs cluster start pcmk-1 |
На любом узле – проверить, что оба узла кластера работают:
sudo pcs status |
В выводе команды отобразится, что оба узла в работе:
Node List: * Online: [ pcmk-1 pcmk-2 ] |