Описание стенда

Далее предполагается, что:

• все узлы и клиенты подключены к сети передачи данных и находятся в одном широковещательном домене (в одной подсети);
• все узлы имеют постоянные (статические) IP-адреса;
• в сети настроено разрешение имен, поэтому далее в примерах используются имена узлов, а не их IP-адреса;

IP-адреса узлов далее обозначаются как <адрес_имя_узла>, например: <адрес_node-00> или <адрес_witness>. Пример реального адреса: 192.168.1.200.
Диапазон адресов подсети, в которой находятся узлы и клиенты обозначается как <подсеть>. Пример задания подсети: 192.168.1.0/24.

Краткую справку по настройке статических адресов и разрешения имен см. в статье Настройка разрешения имен и статических IP-адресов.

Установка пакетов

Необходимые для создания связки NFS+DRBD под управлением Pacemaker пакеты можно командой:

При этом будет установлена версия пакета drbd, соответствующая версии загруженного ядра.

Настройка NFS+DRBD

Следующие шаги настройки выполняются на всех узлах и на узле-свидетеле, если он используется.

1. Добавить в службу nfsdcld.service зависимость от службы nfs-server.service:
   

   Command
   echo -e "[Unit]\nPartOf=nfs-server.service" | sudo SYSTEMD_EDITOR=tee systemctl edit nfsdcld.service

2. Загрузить в ядро модуль drbd:
   

   Command
   sudo modprobe drbd

3. Создать каталоги для монтирования ресурсов:
   

   Command
   sudo mkdir -p /opt/drbd-nfs/{exports,internal}

4. Создать конфигурационный файл /etc/drbd.d/global_common.conf со следующим содержимым:
   

   Блок кода

   resource ha_nfs { on node-00 { volume 0 { device /dev/drbd1; disk /dev/vdb; meta-disk internal; } volume 1 { device /dev/drbd2; disk /dev/vdc; meta-disk internal; } node-id 0; address <адрес_node-00>:7789; } on node-01 { volume 0 { device /dev/drbd1; disk /dev/vdb; meta-disk internal; } volume 1 { device /dev/drbd2; disk /dev/vdc; meta-disk internal; } node-id 1; address <адрес_node-00>:7789; } on witness { volume 0 { device /dev/drbd1; disk none; meta-disk internal; } volume 1 { device /dev/drbd2; disk none; meta-disk internal; } node-id 2; address <адрес_witness>:7789; } connection-mesh { hosts node-00 node-01 witness; } options { on-no-quorum suspend-io; quorum majority; }

5. Отключить передачу статистики использования DRBD на внешние серверы. Для этого в файле /etc/drbd.d/global_common.conf изменить значение параметра usage-count на no:
   

   Command
   sudo sed -i "s/^\(\s*usage-count\s\+\)yes;/\1no;/" /etc/drbd.d/global_common.conf

Следующие шаги настройки выполняются на всех узлах данных, на свидетеле их выполнять не требуется:

1. Создать ресурс ha_nfs:
   

   Command
   sudo drbdadm create-md ha_nfs

2. Опционально — проверить параметры созданного ресурса:
   

   Command
   sudo drbdadm dump all

3. Включить созданный ресурс в работу:
   

   Command
   sudo drbdadm up ha_nfs

Следующие шаги настройки выполняются на одном из узлов данных. После выполнения этих действий этот узел будет назначен первичным (primary): 

1. Создать новые идентификаторы (UUID) ресурсов. Синхронизация ресурсов занимает много времени, и при создании нового ресурса не требуется. Для исключения синхронизации используется опция --clear-bitmap.
   

   Command
   sudo drbdadm new-current-uuid --clear-bitmap ha_nfs/0 sudo drbdadm new-current-uuid --clear-bitmap ha_nfs/1

2. Назначить узел первичным:
   

   Command
   sudo drbdadm primary --force ha_nfs

3. Создать на дисковых ресурсах файловые системы:
   

   Command
   sudo mkfs.ext4 /dev/drbd1 sudo mkfs.ext4 /dev/drbd2

4. Примонтировать дисковые ресурсы:
   

   Command
   sudo mount /dev/drbd1 /opt/drbd-nfs/internal/ sudo mount /dev/drbd2 /opt/drbd-nfs/exports/

5. Создать на примонтированных ресурсах структуру каталогов:
   

   Command
   sudo mkdir /opt/drbd-nfs/internal/{portblock_tickle_dir,nfs_info_dir} sudo mkdir /opt/drbd-nfs/exports/data

6. Отмонтировать ресурсы:
   

   Command
   sudo umount /dev/drbd1 sudo umount /dev/drbd2

Следующий шаг настройки выполняется на узле-свидетеле:

1.  Запустить ресурс:
   

   Command
   sudo drbdadm up ha_nfs

2. Настроить системную службу drbd и разрешить её автоматический запуска при загрузке ОС:
   

   Command
   sudo mv /etc/init.d/drbd /etc/systemd/system/ sudo systemctl enable drbd

Настройка кластера

Настройка кластера выполняется на первичном узле:

1. Настроить аутентификацию на всех узлах данных (здесь и далее в примерах используются два узла — node-00 и node-01): 
   

   Command
   sudo pcs host auth node-00 node-01 -u hacluster -p <пароль>

2. Создать первичную конфигурацию кластера:
   

   Command
   sudo pcs cluster setup pace_nfs_cluster node-00 node-01 --force

3. Запустить кластер:
   

   Command
   sudo pcs cluster start --all

4. Для тестирования отключить механизм stonith:
   

   Command
   sudo pcs property set stonith-enabled="false"

5. Разрешить автоматический запуск кластера при загрузке ОС:
   

   Command
   sudo pcs cluster enable --all

6. Опционально — проверить состояние кластера (эти команды можно использовать для проверки состояния кластера и в дальнейшем):
   

   Command
   sudo pcs status cluster sudo pcs status sudo pcs quorum status

7. Создать кластерный ресурс drbd_ha_nfs:
   

   Command
   sudo pcs resource create drbd_ha_nfs ocf:linbit:drbd drbd_resource=ha_nfs op start interval=0s timeout=240s stop interval=0s timeout=100s monitor interval=31s timeout=20s role=Unpromoted monitor interval=29s timeout=20s role=Promoted

8. Настроить параметры кластерного ресурса drbd_ha_nfs:
   

   Command
   sudo pcs resource promotable drbd_ha_nfs promoted-max=1 promoted-node-max=1 clone-max=2 clone-node-max=1 notify=true

9. Создать кластерные ресурсы fs_drbd_ha_nfs_internal и fs_drbd_ha_nfs_exports. Для сокращения записи общие параметры команд сохранены в переменной окружения common:
   

   Command

   common='fstype=ext4 options=noatime,nodiratime op start interval="0" timeout="60s" stop interval="0" timeout="60s" monitor interval="20" timeout="40s"' sudo pcs resource create fs_drbd_ha_nfs_internal ocf:heartbeat:Filesystem device=/dev/drbd1 directory=/opt/drbd-nfs/internal/ $common sudo pcs resource create fs_drbd_ha_nfs_exports  ocf:heartbeat:Filesystem device=/dev/drbd2 directory=/opt/drbd-nfs/exports/  $common

10. Определить взаимосвязи кластерных ресурсов fs_drbd_ha_nfs_exports и fs_drbd_ha_nfs_internal и ресурса drbd_ha_nfs:
    

    Command

    sudo pcs constraint colocation add fs_drbd_ha_nfs_internal with drbd_ha_nfs-clone INFINITY with-rsc-role=Promoted sudo pcs constraint colocation add fs_drbd_ha_nfs_exports  with drbd_ha_nfs-clone INFINITY with-rsc-role=Promoted sudo pcs constraint order promote drbd_ha_nfs-clone then start fs_drbd_ha_nfs_internal sudo pcs constraint order promote drbd_ha_nfs-clone then start fs_drbd_ha_nfs_exports

11. Создать ресурс nfs_server:
    

    Command
    sudo pcs resource create nfs_server ocf:heartbeat:nfsserver op start interval=0s timeout=40s stop interval=0s timeout=20s monitor interval=10s timeout=20s

12. Определить взаимосвязи ресурсов fs_drbd_ha_nfs_internal и fs_drbd_ha_nfs_exports и ресурса nfs_server:
    

    Command
    sudo pcs constraint colocation add nfs_server with fs_drbd_ha_nfs_internal INFINITY sudo pcs constraint colocation add nfs_server with fs_drbd_ha_nfs_exports  INFINITY sudo pcs constraint order fs_drbd_ha_nfs_internal then nfs_server sudo pcs constraint order fs_drbd_ha_nfs_exports  then nfs_server

13. Создать ресурс nfs_exports. Для сокращения записи общие параметры команд сохранены в переменной окружения common:
    

    Command
    sudo pcs resource create nfs_exports ocf:heartbeat:exportfs clientspec=<подсеть> directory=/opt/drbd-nfs/exports/data \  fsid=1 unlock_on_stop=1 options=rw,sync,no_subtree_check,insecure,no_root_squash op start interval=0s timeout=40s stop interval=0s timeout=120s monitor interval=10s timeout=20s

14. Определить взаимосвязи ресурсов:
    

    Command
    sudo pcs constraint order nfs_server then nfs_exports sudo pcs constraint colocation add nfs_exports with nfs_server INFINITY sudo pcs constraint location drbd_ha_nfs-clone prefers node-00=300 node-01=200

15. Опционально — проверить состояние ресурсов кластера:
    

    Command
    sudo pcs resource status