Введение

Для управления конфигурациями серверов и их обслуживания на всем жизненном могут использоваться следующие программные компоненты.

• Foreman - инструмент, предназначенный для помощи системным администраторам в управлении серверами, обеспечивающий простой способ взаимодействия с системами управления конфигурациями (Ansible, Puppet и др.) для автоматизации задач администрирования и развертывания приложений. Foreman поддерживает web-интерфейс, API и CLI, которые можно использовать для предоставления, настройки и мониторинга серверов. Подходит для инфраструктур любых размеров.
• Инструменты управления конфигурациями, позволяющие системным администраторам автоматизировать развертывание и настройку серверной инфраструктуры. Обычно используется один из этих инструментов:
  • Puppet — требует установки агентского ПО на управляемые компьютеры.
  • Ansible — не требует установки агентского ПО на управляемые компьютеры.

Описание стенда

Сервер: 10.0.2.120 master.astra.lan

Клиент: 10.0.2.121 agent1.astra.lan

Далее подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена пользователей разные, то необходимо использовать актуальные имена, соответствующим образом изменив команды передачи ключей SSH.

На стенде отсутствует настроенный DNS-сервер, поэтому для разрешения IP-адресов используются файлы /etc/hosts на сервере и на клиенте.

Установка Puppet

Настройка сервера

Имя и адрес сервера

Коммуникация между службами Puppet Server и Puppet Agent осуществляется по имени хоста, на котором расположена служба. Для правильной работы служб нужно:

• либо настроить разрешение имен в службе DNS;
• либо указать адреса хостов в файлах /etc/hosts на всех хостах (этот вариант используется далее).

Серверу назначается имя master.astra.lan. Команда назначения имени будет иметь следующий вид (команда выполняется на сервере):

На каждом хосте необходимо осуществить настройку разрешения имен через файл /etс/hosts. Для этого внести в файл строку с указанием IP-адреса хоста (10.0.2.120) и его имен (master.astra.lan, master и puppet). В итоге файл /etc/hosts должен выглядеть примерно так:

127.0.0.1 localhost
10.0.2.120 master.astra.lan master puppet
10.0.2.121 agent1.astra.lan agent1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Подразумевается, что серверу назначен статический IP-адрес 10.0.2.120, а клиенту - 10.0.2.121.

Коррекция региональных настроек (locales) на сервере

Проверить наличие региональной настройки en_US.utf8 выполнив команду:

Если региональной настройки en_US.utf8 нет, то добавить её, выполнив следующие команды

Или можно выбрать нужные региональные настройки, включая региональную настройку en_US.UTF-8 UTF-8 , в интерактивном режиме, выполнив следующие команды:

Установка Puppet Server

Для установки выполнить на сервере следующие команды:

Указание пакета в команде установки пакета openjdk-11-jre-headless необходимо для того, чтобы он обновился из расширенного репозитория если был установлен ранее.

Для коммуникации Puppet Server использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Разрешить автоматический запуск  Puppet Server и запустим его:

Проверить статус сервиса:

Установка Puppet Agent на клиентском компьютере

Имя и адрес клиентского компьютера

Настроить статический IP-адрес сервера (далее - 10.0.2.121)

Задать имя компьютера:

Настроить разрешение имён сервера и клиента с помощью файла /etc/hosts. Файл /etc/hosts на клиентском компьютере должен иметь примерно такой вид:

127.0.0.1 localhost
10.0.2.121 agent1.astra.lan agent1
10.0.2.120 master.astra.lan master puppet

# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Установка агента

Для установки агента выполнить на компьютере-агенте следующие команды (при этом будет установлен агент и сервер SSH для удалённого управления агентом):

Отредактировать файл /etc/puppetlabs/puppet/puppet.conf, добавив параметры:

server = master.astra.lan
show_diff = true

Для коммуникации агент, как и Puppet Server, использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Добавить службу Puppet Agent в автозагрузку и запустить её:

Настройка удаленного доступа по протоколу ssh на клиентской машине

Для настройки доступа к клиентской машине по протоколу ssh:

1. Создать отдельного пользователя с домашним каталогом:

   sudo useradd -m <имя_пользователя>

   опция -m указывает на необходимость создания домашнего каталога. Далее выбранное имя пользователя должно быть указано реестре клиентских машин на сервере (файле /etc/ansible/hosts);

2. Задать пароль для этого пользователя:

   sudo passwd <имя_пользователя>

3. Разрешить пользователю выполнять команды с использованием sudo. Это можно сделать создав файл /etc/sudoers.d/<имя_пользователя> с указанием привилегии выполнять любые команды без запроса пароля ALL=NOPASSWD:   ALL:

   echo "<имя_пользователя>   ALL=NOPASSWD:   ALL" | sudo tee -a /etc/sudoers.d/<имя_пользователя>

Подписание сертификатов клиента

При первом запуске клиентская служба Puppet Agent отправит на Puppet Server запрос на подпись сертификата. Для просмотра списка запросов на подпись сертификата выполнить на сервере следующую команду:

В примере выше сервер сообщает, что у него имеется один запрос на подпись сертификата от клиента с именем agent1.astra.lan.

Подписать сертификат:

Для проверки правильности работы агента можно на клиентской машине после подписания сертификата выполнить следующие команды:

1. Остановить службу

   sudo systemctl stop puppet

2. Выполнить тестирование работы службы, в процессе которого служба запросит и получит сертификат:

   Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml Info: Creating a new SSL certificate request for agent1.astra.lan Info: Certificate Request fingerprint (SHA256): F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E Info: Downloaded certificate for agent1.astra.lan from puppet Info: Using configured environment 'production' Info: Retrieving pluginfacts Info: Retrieving plugin Info: Retrieving locales Info: Caching catalog for agent1.astra.lan Info: Applying configuration version '1568370748' Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml Notice: Applied catalog in 0.02 seconds

3. Повторно запустить службу:

   sudo systemctl start puppet

Установка пакетов Ansible и Foreman

Установить пакеты Ansible и Foreman, выполнив на сервере следующие действия:

Установить пакет ansible из репозитория:

Настройка /etc/ansible/hosts

Отредактировать файл /etc/ansible/hosts, добавив в файл секцию [agents] (т.е. добавив группу серверов, с названием этой группы agents). В этой группе пока будет один сервер с именем agent1.astra.lan и IP-адресом 10.0.2.121:

В качестве значения параметра ansible_user вместо <имя_пользователя> должно быть указано имя пользователя, созданного на клиенте для удаленного доступа.
В результате файл /etc/ansible/hosts должен иметь следующий вид (пользователь для удаленного доступа - username):

agents:
 hosts:
  agent1.astra.lan:
   ansible_user: username

Ansible использует подключение ssh без запроса пароля по ключу, поэтому нужно сгенерировать ключ:

После создания ключа передать его на нужные узлы, подключаясь к ним от имени пользователя, созданного для удаленного доступа:

Проверить работу Ansible, выполнив пинг на группу серверов agents:

Базовая настройка Foreman

Установить на сервере пакеты:

В случае, если ОС была установлена без графической оболочки, установить пакет shared-mime-info, команда:

Установить пакет foreman-installer:

Проверить работоспособность foreman-proxy:

Настройка

Foreman + Puppet

Открыть в браузере ссылку https://master.astra.lan (подтвердить согласие на подключение)

В качестве логина и пароля использовать имя admin и автоматически созданный пароль, полученный после выполнения установщика.

Если узлы отсутствуют, то подождать, пока информация обновится, или на нужных узлах (на клиенте) выполнить команду:

После чего обновить страницу web-интерфейса.

Убедиться, что в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") имеется отображение созданного по умолчанию proxy. Если proxy не создан, то:

• Перейти в "Администратор" - "Местоположения" ("Administer" - "Locations");
  • Выбрать Default location;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
  • Нажать кнопку "Применить" ("Submit");
• Аналогично "Администратор" - "Организации" ("Administer" - "Organizations");
  • Выбрать Default organization;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
• Нажать кнопку "Применить" ("Submit");

После выполнения этих шагов в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") появится отображение созданного по умолчанию proxy.

Foreman + Ansible

Установить необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

Создать и скопировать ключ для работы каждого клиента с сервера (команда выполняется на сервере от имени пользователя foreman-proxy, подключение выполняется от имени пользователя для удаленного доступа):

Проверить работу связки можно запустив Ansible playbook. Запустить Ansible playbook можно несколькими способами (при этом нужно будет указать команду или сценарий для выпонения на удалённой машине):

1. Через список узлов (хостов):
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. выбрать необходимые узлы;
   3. нажать "Действия" -> "Scheduled Remote Job";
2. Через страницу узла:
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. перейти на страницу нужного узла и нажать "Scheduled Remote Job" -> "Run Ansible roles";
3. Через список заданий:
   1. открыть страницу "Шаблоны заданий"
   2. напротив нужного шаблона нажать "Выполнить"

Роли ansible могут быть импортированы из смарт-прокси. Для этого необходимо:

1. перейти на страницу "Ansible roles" ("Настройки" -> "Роли")
2. выбрать источник импорта из выпадающего меню справа.

Настройка интеграции ansible и foreman

Для настройки передачи данных из ansible в foreman:

1. При работе в Astra Linux Common Edition 2.12 (и в любых ОС с отсутствующей версией python2) в настройки ansible (файл /etc/ansible/hosts) добавить директиву:

   ansible_python_interpreter: /usr/bin/python3 Например agents:  hosts:   client.astra.lan:    ansible_user: vagrant   client2.astra.lan: # ALSE 1.7    ansible_user: vagrant   alce.astra.lan: # ALCE 2.12.44    ansible_user: vagrant    ansible_python_interpreter: /usr/bin/python3

   Иначе при добавлении хоста с помощью ansible (см. ниже) будет возникать ошибка:

   "module_stderr": "Shared connection to alce.astra.lan closed.\r\n",     "module_stdout": "/bin/sh: /usr/bin/python: Нет такого файла или каталога\r\n",     "msg": "MODULE FAILURE\nSee stdout/stderr for the exact error",

2. В файл /etc/ansible/ansible.cfg:

   1. в секцию [defaults] добавить строки:

      bin_ansible_callbacks = True callback_whitelist = foreman

      команда для добавления указанных строк:

      sudo sed -i "/\[defaults\]/a bin_ansible_callbacks = True\ncallback_whitelist = foreman" /etc/ansible/ansible.cfg

   2. Добавить секцию [callback_foreman] следующего вида:

      [callback_foreman] url = https://`hostname` ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem

      команда для добавления:

      echo "[callback_foreman] url = https://`hostname` ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem" | sudo tee -a  /etc/ansible/ansible.cfg

      Параметры для добавления секции можно скопировать из одноименной секции файла /etc/foreman-proxy/ansible.cfg;

3. В графическом интерфейсе foreman добавить хост, с которого будет приниматься информация: "Администратор" - "Параметры" - закладка "Безопасность и проверка подлинности" - "Trusted hosts":List of hostnames, IPv4, IPv6 addresses or subnets to be trusted in addition to Smart Proxies for access to fact/report importers and ENC output. Имя хоста указать в квадратных скобках (синтаксис списка python). При необходимости указания подсетей использовать формат бесклассовой адресации (Classless Inter-Domain Routing, CIDR), например 10.2.0.0/24;

4. Для проверки работы выполнить команду:

   sudo ansible -m setup localhost

   После выполнения команды в графическом интерфейсе foreman в списке хостов должен появиться новый хост (для команды выше - localhost). Если в команде указать имя клиента, например:

   sudo ansible -m setup client.example.com

   то в список хостов добавится хост с указанным именем (для команды выше - client.example.com)

Массовая настройка беспарольного доступа SSH

Автоматическую передачу паролей для подключения клиенту ssh и инструменту передачи ключей ssh-copy-id обеспечивает инструмент sshpass (пакет sshpass). Пакет может быть установлен командой:

Для использования инструмента:

1. Создать файл для хранения паролей:

   touch <имя_файла>

2. Запретить чтение файла всем, кроме владельца:

   chmod 600 <имя_файла>

3. Записать в файл пароль, который будет использоваться для подключения;

4. Команды передачи ключей, приведенные выше, использовать в виде:

   sshpass -f <имя_файла> ssh-copy-id -i ~/.ssh/id_rsa <имя_пользователя>@agent1.`hostname -d` -o StrictHostKeyChecking=no

   или

   sudo -u foreman-proxy sshpass -f <имя_файла> ssh-copy-id -i ~foreman-proxy/.ssh/id_rsa_foreman_proxy <имя_пользователя>@agent1.astra.lan -o StrictHostKeyChecking=no

   где:

   опция -f <имя_файла> указывает из какого файла брать пароль для подключения;
   опция -o StrictHostKeyChecking=no отключает запрос подтверждения подлинности сервера и разрешает автоматическую регистрацию сервера как известного;

Другие возможности инструмента sshpass см. в справке:

Пример использования

См. Настройки служб времени с помощью Ansible и Puppet.

Возможные проблемы

Проблема:

При запуске сервиса foreman появляется ошибка:

Решение:

Отредактировать файл /etc/postgresql/*/main/postgresql.conf, изменив значение параметра listen_addresses на '*'.

После этого выполнить команду:

Проблема:

Не стартует puppetserver.service. В /var/log/syslog сообщения:

Решение:

На сервере должно быть установлено не менее 3ГБ оперативной памяти (как указано в инструкции).

Обновление Foreman

Создание резервных копий

Перед началом выполнения обновления создать резервные копии:

1. Создать дамп базы данных Foreman (путь к резервной копии будет указан в выводе), выполнив команду:

   sudo foreman-rake db:dump

2. Создать резервную копию конфигурационных файлов:
   

   sudo tar -czvf etc_foreman.tar.gz /etc/foreman

   Резервная копия будет создана в файле etc_foreman.tar.gz в текущем рабочем каталоге.
3. Создать резервную копию сертификатов Puppet:
   

   sudo tar -czvf var_lib_puppet_dir.tar.gz /var/lib/puppet/ssl

   Резервная копия будет создана в файле var_lib_puppet_dir.tar.gz в текущем рабочем каталоге.

Выполнение обновления

1. Остановить службы Foreman:
   

   sudo systemctl stop apache2 foreman.service foreman.socket dynflow\*

2. Выполнить обновление операционной системы. Подробнее см. Fly-astra-update и astra-update - инструменты для установки обновлений.
3. Выполнить миграцию базы данных:
   

   sudo foreman-rake db:migrate sudo foreman-rake db:seed

   Миграция базы данных должна быть завершена без ошибок (команды не должны выводить сообщений).
4. Очистить кеш и базу данных сессий:
   

   sudo foreman-rake tmp:cache:clear sudo foreman-rake db:sessions:clear

5. Опционально:
   1. Выполнить оптимизацию базы данных:
      

      su - postgres -c 'vacuumdb --full --dbname=foreman'

   2. Если инструмент foreman-installer использовался ранее для настройки, то проверить конфигурацию с его помощью:
      
      1. Проверить различия в настройках без сохранения изменений:
         

         sudo foreman-installer --noop --verbose

         Из-за того, что служба apache2 остановлена, в процессе проверки будут выдаваться сообщения об ошибках вида:
         

         /Stage[main]/Foreman_proxy::Register/Foreman_smartproxy[foreman-hostname.domain]: Could not evaluate: Connection refused - connect(2).

         Эти сообщения можно игнорировать.
      2. По необходимости — откорректировать настройки используя инструмент foreman-installer, и повторить проверку.
      3. Если предложенные изменения настроек приемлемы, то применить их:
         

         sudo foreman-installer

6. Перезапустить службы (не требуется, если была выполнена проверка конфигурации с помощью  foreman-installer):
   

   sudo systemctl start apache2 foreman.service foreman.socket