Подключение сетевого LVM-хранилища

Вы можете подключить к кластеру сетевое LVM-хранилище. Перед этим настройте сеть хранения данных (SAN) и подключите хранилище к узлам кластера в качестве блочного устройства. Подробнее см. в статье Предварительная настройка SAN.

Краткая информация об LVM

LVM (Logical Volume Manager) — подсистема, позволяющая использовать разные области одного жёсткого диска и/или области с разных жёстких дисков, как один логический том. Размер файловых систем логических томов не ограничивается одним диском, так как том может располагаться на разных дисках и разделах.

Основные обозначения LVM:

физические тома (PV, Physical Volume) — разделы дисков или целые "неразбитые" диски;
группа томов (VG, Volume Group) — набор физических томов PV, объединённый в группу, которая составляет единый диск;
логические разделы (LV, Logical Volume) — разделы, созданные на физическом пространстве группы томов VG.

LVM-хранилище поддерживает один формат образа виртуальных дисков — RAW. Подробнее об LVM см. в официальной документации.

В VMmanager LVM-хранилище используется только для хранения дисков виртуальных машин (ВМ). Каждый диск хранится в отдельном LV с именем формата "<vm_id>_<vm_name>".

Настройка multipath

Multipath — это технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку. Multipath-устройства объединяются в одно с помощью специализированного программного обеспечения.

Чтобы настроить multipath:

Установите ПО multipath-tools:
Ubuntu, Astra Linux
```
apt install -y multipath-tools
```
BASH
AlmaLinux
```
dnf install device-mapper-multipath
```
BASH
В конфигурационном файле /etc/multipath.conf измените значение user_friendly_names на no:
```
user_friendly_names no
```
CODE
Перезапустите сервис multipathd:
```
systemctl restart multipathd
```
BASH
На каждом узле хранилища объедините все подключения диска в одно мультиканальное:
```
multipath /dev/sdX
```
BASH
/dev/sdX — устройство для первого диска. Например, /dev/sda
Команда multipath сгруппирует все пути в одно маппер-устройство. Чтобы посмотреть список сгруппированных устройств, выполните команду:
```
multipath -ll
```
CODE
Это устройство будет иметь одинаковый идентификатор на всех узлах.
Пример вывода
```
root@node1:~# multipath -ll
36589cfc0000008af95b3633c714c5c57 dm-0 TrueNAS,iSCSI Disk
size=550G features='0' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
  `- 2:0:0:0 sda 8:0 active ready running
```
BASH
На каждом узле хранилища добавьте в конфигурационный файл LVM /etc/lvm/lvm.conf в блок devices {...} фильтр:
```
filter = [ "a|/dev/mapper/.*|", "r|.*|" ]
```
CODE
Если системный диск использует LVM, добавьте его в фильтр:
Пример конфигурации для /dev/sda
```
filter = [ "a|/dev/mapper/.*|", "a|/dev/sda|", "r|.*|" ]
```
CODE
Проверьте корректность фильтра и конфигурации командой:
```
vgs
```
BASH
Если всё настроено правильно, список VG в выводе команды не должен содержать ошибок.

Подключение хранилища

Чтобы подключить хранилище, перейдите в Кластеры → выберите кластер → Меню → Сетевые хранилища:

Нажмите Добавить хранилище → Добавить сетевое хранилище → SAN.
Укажите его настройки:
1. Название.
2. Теги хранилища. Подробнее см. в статье Выбор хранилища для дисков ВМ.
3. Путь до блочного устройства. Например, /dev/sdb.
  Если при настройке SAN вы использовали UUID или WWID для подключения таргета, то вместо пути к блочному устройству укажите путь UUID или WWID:
  для UUID: /dev/disk/by-uuid/<UUID_iSCSI-устройства>;
  для WWID: /dev/disk/by-id/<WWID_iSCSI-устройства>.
Нажмите Добавить.

VMmanager автоматически настроит LVM-хранилище на блочном устройстве: создаcт PV и VG. Если на блочном устройстве была создана VG, хранилище не будет подключено.

Подключение одного хранилища к разным кластерам может привести к повреждению ВМ.

Может быть полезно

Связанные статьи: