Аннотация

DRBD (Distributed Replicated Block Device) — инструмент, позволяющий создавать отказоустойчивые решения хранения данных. Отказоустойчивость обеспечивается дублированием блочных устройств (например, жестких дисков или томов LVM) на нескольких компьютерах (узлах). При этом один из узлов выполняет роль первичного узла, остальные узлы выполняют роль вторичных узлов. Все обращения клиентов (чтение или изменение данных) производятся к первичному узлу. Изменения данных первичного узла автоматически и синхронно копируются (реплицируются) на вторичные узлы. Чтение данных всегда выполняется с первичного узла. Если первичный узел прекращает работу, то DRBD переводит один из вторичных узлов в режим первичного. После восстановления отказавшего узла он подключается как вторичный. Инструмент реализован как модуль ядра, и для сетевого взаимодействия использует протокол TCP. Для корректной работы DRBD необходимо наличие ресурсов одинакового объема на всех узлах.

Режимы репликации

В терминологии DRBD режимы копирования данных (репликации) называются протоколы (protocol). Протокол определяет, как данные синхронизируются между узлами, а также как обрабатываются ситуации сбоя и обеспечения целостности данных.  Инструмент поддерживает три режима репликации данных между узлами:

1. Protocol A  — операция записи считается завершенной, если завершена запись на локальный узел и запись передана на удаленный узел.
   
2. Protocol B  — выполнены аналогичные Protocol A условия после чего удаленный узел подтвердил получение записи. 
   
3. Protocol C  — выполнены аналогичные Protocol A условия после чего локальный и удаленный узлы подтвердили успешное завершение записи. Обеспечивает наибольшую сохранность данных при этом наиболее требователен к производительности дисковой подсистемы.
   
   

В качестве объекта записи в DRBD выступает т.н. ресурс. Ресурс (Resource) — это реплицируемые области локальных блочных устройств. Помимо ресурсов DRBD хранит на узлах метаданные (metadata) — необходимую для репликации служебную информацию  (размеры блочных устройств, журналы активности и т.д.).

Параметры стенда

Для развертывания кластера используются два подсоединенных к сети компьютера (узла) с установленной ОС Astra Linux. DRBD должен быть запущен на обоих узлах. 

IP-адреса узлов должны быть постоянными (см. Настройка разрешения имен и статических IP-адресов). В целях тестирования можно использовать раздел Настройка разрешения имен в тестовом окружении.

Установка DRBD

На всех узлах:

1. Установить пакет:
   
   sudo apt install drbd-utils
2. Подключить модуль ядра:
   

   sudo modprobe drbd

Настройка репликации

На всех узлах:

1. Перед началом настройки сделать резервную копию конфигурационного файла global_common.conf инструментом cp:
   
   cd /etc/drbd.d
sudo cp global_common.conf global_common.conf.backup

   или при помощи графического файлового менеджера Fly.

   Для манипуляций с файлами в каталоге /etc необходимы права суперпользователя (sudo), а при включенном мандатном управлении целостностью (МКЦ) — права суперпользователя с высоким уровнем целостности.

   
   

2. Указать настройки конфигурации виртуального блочного устройства DRBD в /etc/drbd.d/global_common.conf:


   global {
     usage-count no;
   }
   common {
     net {
       protocol C;
     }
   }

Настройки основного конфигурационного файла:

• • блок global содержит параметры, влияющие на работу всех ресурсов:

    • параметр usage-count отвечает за отправку статистики использования DRBD на сервера LINBIT. По умолчанию установлен в yes. Рекомендуется изменить на no;

  • блок net содержит параметры сетевого взаимодействия между узлами:

    • параметр protocol указывает используемый режим репликации.
      

      DRBD допускает указание используемого протокола для ресурсов в блоке resource файлов конфигурации ресурсов (см. ниже)

Описание остальных блоков доступно в виде комментариев в самом файле конфигурации.

Управление DRBD

Для получения справки по DRBD и настройкам конфигурационных файлов выполнить:

Для управления узлами в DRBD применяется компонент drbdadm.

Основные команды:

• проверить синтаксис настроек, указанных в файле конфигурации на ошибки:
  

  sudo drbdadm dump all

• создать метаданные:
  

  sudo drbdadm create-md <имя_ресурса>

• запустить службу на узле (инициализацию нужно проводить на всех узлах):
  

  sudo drbdadm up <имя_ресурса>

  для остановки службы использовать down вместо up;
  
  

• отслеживать статус синхронизации между узлами:
  
  sudo drbdadm status
• принудительно назначить узел первичным:
  

  sudo drbdadm primary <имя_узла>

   для назначения узла вторичным вместо primary указать secondary;

  Использование параметра --force допустимо для данной команды только при первом запуске, в противном случае данные будут утеряны

• уточнить роль (первичный/вторичный) узел:
  

  sudo drbdadm role <имя_узла>

• временно отключить все узлы:
  

  sudo drbdadm disconnect all

  чтобы вновь включить включить узлы использовать connect.


  Вместо all можно указывать имя конкретного узла

• вызов справки о drbdadm :
  
  man drbdadm

Добавление ресурсов

На всех узлах:

1. Указать реплицируемый дисковый ресурс в /etc/drbd.d/r0.res для ресурса r0:


   resource r0 {
    # здесь возможно указание значения параметра protocol если он не указан в global_common.conf
     on drbd1 { 
       device    /dev/drbd0;
       disk      /dev/sdb;
       address   192.168.23.101:7789;
       meta-disk internal;
     }
     on drbd2 {
       device    /dev/drbd0;
       disk      /dev/sdb;
       address   192.168.23.102:7789;
       meta-disk internal;
     }
   }

   Настройки конфигурационного файла ресурсов:
   

   Конфигурационный файл подробнее:

   • resource — название ресурса;
   • on <имя_узла> — описание первого узла:
     • device — блок данных, который необходимо создать;
     • disk — родительский жесткий диск;
     • address — IP-адрес и номер порта соответствующего узла;
     • meta-disk internal — указание хранить служебные метаданные на этом же узле.

   
   

2. Инициализировать хранилище метаданных:
   
   sudo drbdadm create-md r0
   Если возникает ошибка с кодом 40

   Если ранее диск был отформатирован под ext4 или использовался в массиве RAID при попытке инициализировать хранилище метаданных возникает ошибка вида:

   Device size would be truncated, which

   would corrupt data and result in

   'access beyond end of device' errors.

   You need to either

      * use external meta data (recommended)

      * shrink that filesystem first

      * zero out the device (destroy the filesystem)

   Operation refused.

   
   

   Command 'drbdmeta 0 v09 /dev/sdb internal create-md 1' terminated with exit code 40

   Удалить остаточные данные:

   sudo dd if=/dev/zero of=/dev/sdb bs=1024k count=1024

   где sdb - имя диска. После этого повторно выполнить sudo drbdadm create-md <имя_ресурса>.

   
   

3. Задействовать созданный ресурс:
   
   sudo drbdadm up r0
4. Включить в автозагрузку модуль ядра drbd:

   echo drbd | sudo tee /etc/modules-load.d/drbd.conf

Далее:

1. Сделать один из узлов, например drbd1, первичным выполнив на нем:
   
   sudo drbdadm -- --overwrite-data-of-peer primary all
   
   
   
2. На вторичном узле drbd2 проверить процесс репликации:
   
   watch -n1 cat /proc/drbd

   Остановить watch можно сочетанием клавиш <Ctrl+C>

   
   

3. Указать файловую систему для созданного виртуального блочного устройства на первичном узле:
   
   sudo mkfs.ext4 /dev/drbd0

   
   

4. Примонтировать устройство на первичном узле:
   
   sudo mount /dev/drbd0 /srv

Просмотр списка задействованных ресурсов DRBD:

Проверка работы

1. Скопировать несколько файлов на узел, установленный как основной, в каталог /srv :
   
   sudo cp -r /etc/default /srv

   
   

2. Отмонтировать каталог /srv:

   sudo umount /srv

   
   

3. Установить первичному узлу роль вторичного:
   
   sudo drbdadm secondary r0

   
   

4. Установить вторичному узлу роль первичного:
   
   sudo drbdadm primary r0

   
   

5. Смонтировать ранее отмонтированный раздел:
   
   sudo mount /dev/drbd0 /srv

   
   

6. Убедиться в наличии ранее скопированных файлов в каталоге /srv :
   
   ls /srv
   

   ---

   /etc/default

DRBD и OCFS2

Начиная с версии DRBD-8.0.08 инструмент может задействовать оба узла как первичные, что дает возможность использовать кластерные файловые системы, например OCFS2.

OCFS2 — файловая система, обеспечивающая разделяемое использование одного и того же хранилища несколькими системами.

Настройка DRBD с OCFS2

На всех узлах:

1. Установить пакет ocfs2-tools :
   
   sudo apt install ocfs2-tools

   
   

2. Указать параметры настроек ocfs2-tools в основном конфигурационном файле /etc/ocfs2/cluster.conf:
   

   cluster:
        node_count = 2
        name = ocfs2cluster
    
   node:
        number = 1
        cluster = ocfs2cluster
        ip_port = 7777
        ip_address = 192.168.23.101
        name = drbd1
    
   node:
        number = 2
        cluster = ocfs2cluster
        ip_port = 7777
        ip_address = 192.168.23.102
        name = drbd2

Далее:
 Создать файловую систему для drbd0:

где "testVol" — имя создаваемого раздела.

Далее на всех узлах:

1. Указать параметры в в /etc/default/o2cb : 
   
   O2CB_ENABLED=true
O2CB_BOOTCLUSTER=ocfs2cluster

   
   

2. Инициализировать новый кластер:
   
   o2cb register-cluster ocfs2cluster

   
   

3. Включить и добавить в автозапуск:
   
   systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

   
   

4. Добавить новые точки монтирования в fstab:
   

   /dev/drbd0 /srv ocfs2 defaults,auto,heartbeat=local 0 0

Восстановление DRBD после split brain

Split brain — это общий термин для определения ошибки в работе распределенных систем, связанной с рассинхронизацией в работе узлов. В контексте работы DRBD термин описывает состояние узлов, при котором начинается расхождение данных на ресурсах.

При возникновении split brain на обоих узлах DRBD-ресурсы находятся в режиме Primary, а состояние соединения отображается как StandAlone. Событие возникновения split brain отражается в журнале /var/log/kern.log как:

kernel: block drbd0: Split-Brain detected, dropping connection!

где drbd0 — имя блочного устройства DRBD.

Или в информации о работе каждого из улов:

version: 8.3.11 (api:88/proto:86-96)
srcversion: F937DCB2E5D83C6CCE4A6C9 
 0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:0 nr:1727749652 dw:1727749652 dr:0 al:0 bm:2405 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

 2: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:0 nr:348016128 dw:348016128 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

каждый из узлов отображает состояние другого как Unknown.

В состав инструмента входят компонениы для автоматического устранения split brain. Чтобы их задействовать необходимо добавить ссылку в секции handlers файла конфигурации ресурса etc/drbd.d/r0.res :

resource <имя_ресурса> {  # в примере, приведенном в статье имя - r0

  handlers {
    split-brain "/usr/lib/drbd/notify-split-brain.sh root"

    # далее идут секции настройки ресурса, определенные примерами выше, например:

  on drbd1 { 
    device    /dev/drbd0;
    disk      /dev/sdb;
    address   192.168.23.101:7789;
    meta-disk internal;
  }
  on drbd2 {
    device    /dev/drbd0;
    disk      /dev/sdb;
    address   192.168.23.102:7789;
    meta-disk internal;
  }
}

1. Принудительно перевести узел, на который осуществляется резервирование в состояние secondary:
   

   sudo drbdadm secondary all

   
   

2. Отключить данный узел от сети:
   

   sudo drbdadm disconnect all

   
   

3. Переподключить резервируемый узел игнорируя последние записи в метаданных:
   

   sudo drbdadm -- --discard-my-data connect all

   
   

4. Второй узел принудительно перевести в состояние primary:
   

   sudo drbdadm primary all

   
   

5. Отключить второй узел:
   

   sudo drbdadm disconnect all

   
   

6. Переподключить второй узел для начала синхронизации. В процессе синхронизации служебные метаданные будут перезаписаны:
   

   sudo drbdadm connect all

   
   

7. Убедиться в том что узлы запущены в корректных режимах:
   
   cat /proc/drbd
   

   ---

   version: 8.3.11 (api:88/proto:86-96)
   srcversion: F937DCB2E5D83C6CCE4A6C9 
    0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
       ns:0 nr:1732429880 dw:1732429880 dr:0 al:0 bm:2405 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
   
    2: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
       ns:0 nr:348078352 dw:348078352 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0