Предварительная настройка SAN

В статье рассматривается пример настройки iSCSI в SAN для внешнего хранилища и узлов кластера под управлением ОС AlmaLinux 8 и Astra Linux 1.7. Для других ОС порядок настройки может отличаться.

Порядок настройки SAN перед созданием сетевого LVM-хранилища:

1. Настройте внешнее хранилище как таргет (iSCSI target).
2. Настройте узлы кластера VMmanager как инициаторы (iSCSI initiator).
3. Установите на узлы кластера ПО LVM2.

Основные термины

• инициатор (iSCSI initiator) — устройство-клиент, которое отправляет запрос на подключение к таргету. В рассматриваемом примере роли инициаторов выполняют узлы кластера VMmanager;
• таргет (iSCSI target) — программа или устройство, осуществляющее эмуляцию диска и обрабатывающее запросы инициаторов на соединение. Таргет может быть логически поделён на LUN;
• LUN (Logical Unit Number) — составная часть таргета, адрес устройства хранения. Аналог раздела диска или отдельного логического тома;
• TPG  (Target Portal Group) — группа таргетов, объединяемых по общему функциональному признаку. Как правило, таргеты на одном устройстве объединяются в одну TPG;
• IQN (iSCSI Qualified Name) — уникальный идентификатор инициатора или таргета;
• ACL (Access Control List) — список управления доступом. Определяет какие инициаторы могут подключаться к таргету и их данные аутентификации.

Настройка внешнего хранилища

1. Подключитесь к серверу по SSH с учётной записью суперпользователя. Подробнее о подключении по SSH см. в статье Настройка рабочего места.

2. Убедитесь, что вы используете последнюю версию пакетов ПО:

   AlmaLinux

   dnf update

   Copy

   CODE

   Astra Linux

   apt update

   Copy

   CODE

3. Установите оболочку для управления таргетом:

   AlmaLinux

   dnf -y install targetcli

   Copy

   CODE

   Astra Linux

   apt -y install targetcli-fb

   Copy

   CODE

4. Проверьте объём свободного места на диске:

   df -hT

   Copy

   CODE
   

   Рекомендуем использовать отдельный раздел или физический диск для создания таргета.

5. Создайте директорию для таргета. Например, /var/targetdisk01:

   mkdir /var/targetdisk01

   Copy

   CODE

6. Запустите консоль targetcli:

   targetcli

   Copy

   CODE

7. Создайте файл для таргета:

   cd /backstores/fileio

   Copy

   CODE

   create <target name> <path> <size> 

   Copy

   CODE
   Пояснения к команде

   <target name> — имя таргета. Например, targetdisk1

   <path> — путь к файлу таргета. Например, /var/targetdisk01/targetdisk1.img.

   <size> — размер файла. Например, 5G — для файла размером 5 Гб.

8. Задайте IQN для таргета:

   cd /iscsi

   Copy

   CODE

   create iqn.<year>-<month>.<reverse domain>:<name> 

   Copy

   CODE
   Пояснения к команде

   <year> — текущий год

   <month> — текущий месяц

   <reverse domain> — обратное доменное имя. Например, для домена example.com укажите com.example

   <name> — произвольное имя

   Ответ будет содержать номер созданной TPG.

9. Создайте LUN:

   cd <iqn>/<tpg>/luns

   Copy

   CODE
   Пояснения к команде

   <iqn> — IQN таргета. Например, iqn.2020-02.com.example:MyTarget1

   <tpg> — имя портальной группы. Например, tpg1.

   create /backstores/fileio/<target name>

   Copy

   CODE
   Пояснения к команде

   <target name> — имя таргета, заданное в п.6

   Ответ будет содержать номер созданного LUN.

10. Настройте ACL для таргета:

    1. Задайте IQN инициатора:

       cd /iscsi/<iqn>/<tpg>/acls

       Copy

       CODE
       Пояснения к команде

       <iqn> — IQN таргета. Например, iqn.2020-02.com.example:MyTarget1

       <tpg> — имя портальной группы. Например, tpg1.

       create iqn.<year>-<month>.<reverse domain>:<initiator name> 

       Copy

       CODE
       Пояснения к команде

       <year> — текущий год

       <month> — текущий месяц

       <reverse domain> — обратное доменное имя. Например, для домена example.com укажите com.example

       <initiator name> — имя инициатора

    2. Для каждого инициатора задайте id пользователя и пароль:

       cd iqn.<year>-<month>.<reverse domain>:<initiator name> 

       Copy

       CODE

       set auth userid=<id>

       Copy

       CODE

       set auth password=<pass>

       Copy

       CODE
       Пояснения к командам

       <year> — текущий год

       <month> — текущий месяц

       <reverse domain> — обратное доменное имя. Например, для домена example.com укажите com.example

       <initiator name> — имя инициатора

       <id> — id пользователя инициатора. Например, initiator1.

       <pass> — пароль инициатора

    3. Перейдите в директорию портальной группы:

       cd /iscsi/<iqn>/<tpg>

       Copy

       CODE
       Пояснения к команде

       <iqn> — IQN таргета. Например, iqn.2020-02.com.example:MyTarget1

       <tpg> — имя портальной группы. Например, tpg1.

    4. Включите авторизацию для инициатора: 

       set attribute authentication=1

       Copy

       CODE

11. Убедитесь, что все настройки созданы успешно: 

    ls /iscsi/

    Copy

    CODE

    Пример вывода команды

    o- iscsi .......................................................... [Targets: 1]
      o- iqn.2020-03.com.example:mytarget1 ............................... [TPGs: 1]
        o- tpg1 ............................................. [no-gen-acls, no-auth]
          o- acls ........................................................ [ACLs: 1]
          | o- iqn.2020-03.com.domain>:initiator1 ................. [Mapped LUNs: 1]
          |   o- mapped_lun0 ........................ [lun0 fileio/targetdisk1 (rw)]
          o- luns ........................................................ [LUNs: 1]
          | o- lun0  [fileio/targetdisk1 (/var/targetdisk01/targetdisk1.img) (default_tg_pt_gp)]
          o- portals .................................................. [Portals: 1]
            o- 0.0.0.0:3260 ................................................... [OK]

    Copy

    CODE

12. Чтобы сохранить настройки, выйдите из консоли targetcli:

    exit

    Copy

    CODE

13. Добавьте сервис target в автозагрузку:

    • для ОС AlmaLinux — выполните команду: 

      systemctl enable target

      Copy

      CODE

    • для ОС Astra Linux — выполните команду:

      systemctl enable targetclid.service

      Copy

      CODE

14. Если вы используете firewalld, установите необходимые разрешения и перезапустите сервис:

    firewall-cmd --add-service=iscsi-target --permanent

    Copy

    CODE

    firewall-cmd --reload

    Copy

    CODE

Настройка узлов кластера

1. Подключитесь к узлам кластера по SSH с учётной записью суперпользователя. Подробнее о подключении по SSH см. в статье Настройка рабочего места.

2. Установите необходимое ПО:

   AlmaLinux

   dnf -y install iscsi-initiator-utils

   Copy

   CODE

   Astra Linux

   apt install -y open-iscsi

   Copy

   CODE

3. Укажите созданный ранее IQN инициатора в параметре InitiatorName файла /etc/iscsi/initiatorname.iscsi:

   InitiatorName=iqn.<year>-<month>.<reverse domain>:<initiator name>

   Copy

   CODE
   Пояснения

   <year> — текущий год

   <month> — текущий месяц

   <reverse domain> — обратное доменное имя. Например, для домена example.com укажите com.example

   <initiator name> — имя инициатора

4. Отредактируйте файл /etc/iscsi/iscsid.conf:

   1. Раскомментируйте строки:

      node.session.auth.authmethod = CHAP

      Copy

      CODE

   2. Раскомментируйте параметры node.session.auth.username, node.session.auth.password. Укажите id пользователя и пароль, заданные в настройках ACL для таргета:

      node.session.auth.username = <id>
      node.session.auth.password = <pass>
      

      Copy

      CODE
      Пояснения

      <id> — id пользователя инициатора

      <pass> — пароль инициатора

5. Для ОС Astra Linux:

   1. Включите автоматическое подключение к хранилищу. Для этого в конфигурационном файле /etc/iscsi/iscsid.conf:

      1. Раскомментируйте строку: 

         node.startup=automatic

         Copy

         CODE

         
         

      2. Закомментируйте строку: 

         node.startup=manual

         Copy

         CODE

   2. Перезапустите сервис iscsid: 

      systemctl restart iscsid.service

      Copy

      CODE

6. Проверьте доступ к таргету:

   iscsiadm -m discovery -t sendtargets -p <target ip>

   Copy

   CODE
   Пояснения к команде

   <target ip> — IP-адрес сервера с таргетом

   Пример успешного выполнения команды

   192.0.2.123:3260,1
   iqn.2020-02.example.com:MyTarget1

   Copy

   CODE

7. Подключитесь к таргету:

   iscsiadm -m node --login

   Copy

   CODE

   iscsiadm --mode node --target <target name> --portal <target ip> --logout

   Copy

   CODE
   Пояснения к команде

   <target name> — имя таргета

   <target ip> — IP-адрес сервера с таргетом

   iscsiadm -m node --login

   Copy

   CODE

8. Убедитесь, что таргет подключён как блочное устройство:

   lsblk

   Copy

   CODE
   

   Обратите внимание!

   Чтобы настройки подключения не зависели от имён блочных устройств, вы можете подключить таргет через UUID или WWID. Подробнее см. в официальной документации Red Hat.

Установка ПО LVM2

Чтобы VMmanager мог подключить сетевое LVM-хранилище к узлам кластера, установите на всех узлах ПО LVM2:

dnf -y install lvm2

apt install -y lvm2

При добавлении хранилища в VMmanager платформа автоматически проведёт нужные настройки на блочном устройстве: создаcт PV и VG.

Если при добавлении хранилища VMmanager обнаружит на блочном устройстве VG, созданную другим ПО, хранилище не будет подключено.

Может быть полезно

Связанные статьи:

• Принцип работы SAN
• Подключение сетевого LVM-хранилища