Описание стенда

Далее предполагается, что:

• все узлы находятся в одной сети передачи данных;
• все узлы имеют постоянные (статические) IP-адреса;
• в сети настроено разрешение имен, поэтому далее в примерах используются имена узлов, а не их IP-адреса.

IP-адреса узлов далее обозначаются как <адрес_имя_узла>, например: <адрес_node-00> или <адрес_witness>.

Краткую справку по настройке статических адресов и разрешения имен см. в статье Настройка разрешения имен и статических IP-адресов.

Установка пакетов

Необходимые для создания связки NFS+DRBD под управлением Pacemaker пакеты можно командой:

При этом будет установлена версия пакета drbd, соответствующая версии загруженного ядра.

Настройка NFS+DRBD

Следующие шаги настройки выполняются на всех узлах и на узле-свидетеле, если он используется.

1. Добавить в службу nfsdcld.service зависимость от службы nfs-server.service:
   
   echo -e "[Unit]\nPartOf=nfs-server.service" | sudo SYSTEMD_EDITOR=tee systemctl edit nfsdcld.service
2. Загрузить в ядро модуль drbd:
   
   sudo modprobe drbd
3. Создать каталоги для монтирования ресурсов:
   
   sudo mkdir -p /opt/drbd-nfs/{exports,internal}
4. Создать конфигурационный файл /etc/drbd.d/global_common.conf со следующим содержимым:
   

   resource ha_nfs {
       on node-00 { volume 0 { device /dev/drbd1; disk /dev/vdb; meta-disk internal; }
                    volume 1 { device /dev/drbd2; disk /dev/vdc; meta-disk internal; } node-id 0; address <адрес_node-00>:7789;
       }
       on node-01 { volume 0 { device /dev/drbd1; disk /dev/vdb; meta-disk internal; }
                    volume 1 { device /dev/drbd2; disk /dev/vdc; meta-disk internal; } node-id 1; address <адрес_node-00>:7789;
       }
       on witness { volume 0 { device /dev/drbd1; disk none;     meta-disk internal; }
                    volume 1 { device /dev/drbd2; disk none;     meta-disk internal; } node-id 2; address <адрес_witness>:7789;
       }
       connection-mesh { hosts node-00 node-01 witness; }
       options { on-no-quorum suspend-io; quorum majority; }

5. Отключить передачу статистики использования DRBD на внешние серверы. Для этого в файле /etc/drbd.d/global_common.conf изменить значение параметра usage-count на no:
   
   sudo sed -i "s/^\(\s*usage-count\s\+\)yes;/\1no;/" /etc/drbd.d/global_common.conf

Следующие шаги настройки выполняются на всех узлах данных, на свидетеле их выполнять не требуется:

1. Создать ресурс ha_nfs:
   
   sudo drbdadm create-md ha_nfs
2. Опционально — проверить параметры созданного ресурса:
   
   sudo drbdadm dump all
3. Включить созданный ресурс в работу:
   
   sudo drbdadm up ha_nfs

Следующие шаги настройки выполняются на одном из узлов данных. После выполнения этих действий этот узел будет назначен первичным (primary): 

1. Создать новые идентификаторы (UUID) ресурсов. Синхронизация ресурсов занимает много времени, и при создании нового ресурса не требуется. Для исключения синхронизации используется опция --clear-bitmap.
   
   sudo drbdadm new-current-uuid --clear-bitmap ha_nfs/0
   sudo drbdadm new-current-uuid --clear-bitmap ha_nfs/1
2. Назначить узел первичным:
   
   sudo drbdadm primary --force ha_nfs
3. Создать на дисковых ресурсах файловые системы:
   
   sudo mkfs.ext4 /dev/drbd1
   sudo mkfs.ext4 /dev/drbd2
4. Примонтировать дисковые ресурсы:
   
   sudo mount /dev/drbd1 /opt/drbd-nfs/internal/
   sudo mount /dev/drbd2 /opt/drbd-nfs/exports/
5. Создать на примонтированных ресурсах структуру каталогов:
   
   sudo mkdir /opt/drbd-nfs/internal/{portblock_tickle_dir,nfs_info_dir}
   sudo mkdir /opt/drbd-nfs/exports/iva-data
6. Отмонтировать ресурсы:
   
   sudo umount /dev/drbd1
   sudo umount /dev/drbd2

Следующий шаг настройки выполняется на узле-свидетеле:

1.  Запустить ресурс:
   
   sudo drbdadm up ha_nfs
2. Настроить системную службу drbd и разрешить её автоматический запуска при загрузке ОС:
   
   sudo mv /etc/init.d/drbd /etc/systemd/system/
   sudo systemctl enable drbd

Настройка кластера

Настройка кластера выполняется на первичном узле:

1. Настроить аутентификацию на всех узлах данных (здесь и далее в примерах используются два узла — node-00 и node-01): 
   
   sudo pcs host auth node-00 node-01 -u hacluster -p <пароль>
2. Создать первичную конфигурацию кластера:
   
   sudo pcs cluster setup pace_nfs_cluster node-00 node-01 --force
3. Запустить кластер:
   
   sudo pcs cluster start --all
4. Для тестирования отключить механизм stonith:
   
   sudo pcs property set stonith-enabled="false"
5. Разрешить автоматический запуск кластера при загрузке ОС:
   
   sudo pcs cluster enable --all
6. Опционально — проверить состояние кластера (эти команды можно использовать для проверки состояния кластера и в дальнейшем):
   
   sudo pcs status cluster
   sudo pcs status
   sudo pcs quorum status
7. Создать кластерный ресурс drbd_ha_nfs:
   
   sudo pcs resource create drbd_ha_nfs ocf:linbit:drbd drbd_resource=ha_nfs op start interval=0s timeout=240s stop interval=0s timeout=100s monitor interval=31s timeout=20s role=Unpromoted monitor interval=29s timeout=20s role=Promoted
8. Настроить параметры кластерного ресурса drbd_ha_nfs:
   
   sudo pcs resource promotable drbd_ha_nfs promoted-max=1 promoted-node-max=1 clone-max=2 clone-node-max=1 notify=true
9. Создать кластерные ресурсы fs_drbd_ha_nfs_internal и fs_drbd_ha_nfs_exports. Для сокращения записи общие параметры команд сохранены в переменной окружения common:
   
   common='fstype=ext4 options=noatime,nodiratime op start interval="0" timeout="60s" stop interval="0" timeout="60s" monitor interval="20" timeout="40s"'
   sudo pcs resource create fs_drbd_ha_nfs_internal ocf:heartbeat:Filesystem device=/dev/drbd1 directory=/opt/drbd-nfs/internal/ $common
   sudo pcs resource create fs_drbd_ha_nfs_exports  ocf:heartbeat:Filesystem device=/dev/drbd2 directory=/opt/drbd-nfs/exports/  $common
10. Определить взаимосвязи кластерных ресурсов fs_drbd_ha_nfs_exports и fs_drbd_ha_nfs_internal и ресурса drbd_ha_nfs:
    
    sudo pcs constraint colocation add fs_drbd_ha_nfs_internal with drbd_ha_nfs-clone INFINITY with-rsc-role=Promoted
    sudo pcs constraint colocation add fs_drbd_ha_nfs_exports  with drbd_ha_nfs-clone INFINITY with-rsc-role=Promoted
    sudo pcs constraint order promote drbd_ha_nfs-clone then start fs_drbd_ha_nfs_internal
    sudo pcs constraint order promote drbd_ha_nfs-clone then start fs_drbd_ha_nfs_exports
11. Создать ресурс nfs_server:
    
    sudo pcs resource create nfs_server ocf:heartbeat:nfsserver op start interval=0s timeout=40s stop interval=0s timeout=20s monitor interval=10s timeout=20s
12. Определить взаимосвязи ресурсов fs_drbd_ha_nfs_internal и fs_drbd_ha_nfs_exports и ресурса nfs_server:
    
    sudo pcs constraint colocation add nfs_server with fs_drbd_ha_nfs_internal INFINITY
    sudo pcs constraint colocation add nfs_server with fs_drbd_ha_nfs_exports  INFINITY
    sudo pcs constraint order fs_drbd_ha_nfs_internal then nfs_server
    sudo pcs constraint order fs_drbd_ha_nfs_exports  then nfs_server
13. Создать ресурсы nfs_exports_0 и nfs_exports_1. Для сокращения записи общие параметры команд сохранены в переменной окружения common:
    
    common='directory=/opt/drbd-nfs/exports/iva-data fsid=1 unlock_on_stop=1 options=rw,sync,no_subtree_check,insecure,no_root_squash op start interval=0s timeout=40s stop interval=0s timeout=120s monitor interval=10s timeout=20s'
    sudo pcs resource create nfs_exports_0 ocf:heartbeat:exportfs clientspec=$net.$client_addr1/$cidr $common
    sudo pcs resource create nfs_exports_1 ocf:heartbeat:exportfs clientspec=$net.$client_addr2/$cidr $common
14. Определить взаимосвязи ресурсов:
    
    sudo pcs constraint order nfs_server then nfs_exports_0
    sudo pcs constraint order nfs_server then nfs_exports_1
    sudo pcs constraint colocation add nfs_exports_0 with nfs_server INFINITY
    sudo pcs constraint colocation add nfs_exports_1 with nfs_server INFINITY
    sudo pcs constraint location drbd_ha_nfs-clone prefers node-00=300 node-01=200
15. Опционально — проверить состояние ресурсов кластера:
    
    sudo pcs resource status