Введение

Для управления конфигурациями серверов, их обслуживания на всём жизненном цикле имеет актуальное значение связка работы трёх компонентов: foreman, puppet, ansible.

• Foreman - инструмент, предназначенный для помощи системным администраторам в управлении серверами, обеспечивающий простой способ взаимодействия с системами управления конфигурациями (Ansible, Puppet и др.) для автоматизации задач администрирования и развертывания приложений. Foreman поддерживает web-интерфейс, API и CLI, которые можно использовать для предоставления, настройки и мониторинга серверов. Подходит для инфраструктур любых размеров.
• Puppet - инструмент управления конфигурацией, позволяющий системным администраторам автоматизировать предоставление, настройку и управление серверной инфраструктурой. Требует установки агентского ПО на управляемые компьютеры;
• Ansible - система управления конфигурациями, использующаяся для автоматизации настройки и развертывания программного обеспечения. Позволяет автоматизировать сложные задачи, например, непрерывное развертывание или непрерывное обновление без простоев. Не требует установки агентского ПО на управляемые компьютеры;

Описание стенда

Сервер: 10.0.2.120 master.astra.lan

Клиент: 10.0.2.121 agent1.astra.lan

Далее подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена пользователей разные то нужно соответствующим образом изменить команды передачи ключей SSH.

На стенде отсутствует настроенный DNS-сервер, поэтому для разрешения IP-адресов используются файлы /etc/hosts на сервере и на клиенте.

Установка Puppet

Настройка сервера

Имя и адрес сервера

Коммуникация между Puppet Server и Puppet Agent осуществляется по имени хоста. Для правильной работы нужно либо настроить DNS-сервер, либо указать адреса хостов в файлах /etc/hosts на всех хостах.
Для сервера используем имя master.astra.lan, и команда назначения имени будет иметь следующий вид (команда выполняется на сервере):

127.0.0.1 localhost
10.0.2.120 master.astra.lan master puppet
10.0.2.121 agent1.astra.lan agent1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Подразумевается, что серверу назначен статический IP-адрес 10.0.2.120, а клиенту - 10.0.2.121.

Коррекция региональных настроек (locales) на сервере.

Проверить наличие региональной настройки en_US.utf8 выполнив команду:

Установка Puppet Server

Для установки выполнить на сервере следующие команды:

Для коммуникации Puppet Server использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Установка Puppet Agent на клиентском компьютере

Имя и адрес клиентского компьютера

Настроить статический IP-адрес сервера (далее - 10.0.2.121)

Задать имя компьютера:

127.0.0.1 localhost
10.0.2.121 agent1.astra.lan agent1
10.0.2.120 master.astra.lan master puppet

# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Установка агента

Для установки агента выполнить на компьютере-агенте следующие команды (при этом будет установлен агент и сервер SSH для удалённого управления агентом):

server = master.astra.lan
show_diff = true

Для коммуникации агент, как и Puppet Server, использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Настройка удаленного доступа по протоколу ssh на клиентской машине

Для настройки доступа к клиентской машине по протоколу ssh:

1. Создать отдельного пользователя с домашним каталогом:

   sudo useradd -m <имя_пользователя>
   опция -m указывает на необходимость создания домашнего каталога. Далее выбранное имя пользователя должно быть указано реестре клиентских машин на сервере (файле /etc/ansible/hosts);
   
   

2. Задать пароль для этого пользователя:

   sudo passwd <имя_пользователя>

3. Разрешить пользователю выполнять команды с использованием sudo. Это можно сделать создав файл /etc/sudoers.d/<имя_пользователя> с указанием привилегии выполнять любые команды без запроса пароля ALL=NOPASSWD:   ALL:

   echo "<имя_пользователя>   ALL=NOPASSWD:   ALL" | sudo tee -a /etc/sudoers.d/<имя_пользователя> 

Подписание сертификатов клиента

При первом запуске клиентская служба Puppet Agent отправит на Puppet Server запрос на подпись сертификата. Для просмотра списка запросов на подпись сертификата выполнить на сервере следующую команду:

Подписать сертификат:

1. Остановить службу

   sudo systemctl stop puppet

2. Выполнить тестирование работы службы, в процессе которого служба запросит и получит сертификат:

   sudo /opt/puppetlabs/bin/puppet agent --test
   

   ---

   Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml
   Info: Creating a new SSL certificate request for agent1.astra.lan
   Info: Certificate Request fingerprint (SHA256): F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E
   Info: Downloaded certificate for agent1.astra.lan from puppet
   Info: Using configured environment 'production'
   Info: Retrieving pluginfacts Info: Retrieving plugin
   Info: Retrieving locales
   Info: Caching catalog for agent1.astra.lan
   Info: Applying configuration version '1568370748'
   Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml Notice: Applied catalog in 0.02 seconds

   
   

   
   

3. Повторно запустить службу:

   sudo systemctl start puppet

Установка пакетов Ansible и Foreman

Установить пакеты Ansible и Foreman, выполнив на сервере следующие действия:

Установить пакет ansible из репозитория:

Настройка /etc/ansible/hosts

Отредактировать файл /etc/ansible/hosts, добавив в файл секцию [agents] (т.е. добавив группу серверов, с названием этой группы agents). В этой группе пока будет один сервер с именем agent1.astra.lan и IP-адресом 10.0.2.121:

agents:
 hosts:
  agent1.astra.lan:
   ansible_user: username

Ansible использует подключение ssh без запроса пароля по ключу, поэтому нужно сгенерировать ключ:

После создания ключа передать его на нужные узлы, подключаясь к ним от имени пользователя, созданного для удаленного доступа:

Базовая настройка Foreman

Установить пакеты:

В случае, если ОС была установлена без графической оболочки, установить пакет shared-mime-info, команда:

Проверить работоспособность foreman-proxy:

Настройка

Foreman + Puppet

Открыть в браузере ссылку https://master.astra.lan (подтвердить согласие на подключение)

В качестве логина и пароля использовать имя admin и автоматически созданный пароль, полученный после выполнения установщика.

Если узлы отсутствуют, то подождать, пока информация обновится, или на нужных узлах (на клиенте) выполнить команду:

Убедиться, что в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") имеется отображение созданного по умолчанию proxy. Если proxy не создан, то:

• Перейти в "Администратор" - "Местоположения" ("Administer" - "Locations");
  • Выбрать Default location;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
  • Нажать кнопку "Применить" ("Submit");
• Аналогично "Администратор" - "Организации" ("Administer" - "Organizations");
  • Выбрать Default organization;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
• Нажать кнопку "Применить" ("Submit");

После выполнения этих шагов в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") появится отображение созданного по умолчанию proxy.

Foreman + Ansible

Установить необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

1. Через список узлов (хостов):
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. выбрать необходимые узлы;
   3. нажать "Действия" -> "Scheduled Remote Job";
2. Через страницу узла:
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. перейти на страницу нужного узла и нажать "Scheduled Remote Job" -> "Run Ansible roles";
3. Через список заданий:
   1. открыть страницу "Шаблоны заданий"
   2. напротив нужного шаблона нажать "Выполнить"

Роли ansible могут быть импортированы из смарт-прокси. Для этого необходимо:

1. перейти на страницу "Ansible roles" ("Настройки" -> "Роли")
2. выбрать источник импорта из выпадающего меню справа.

Настройка интеграции ansible и foreman

Для настройки передачи данных из ansible в foreman:

1. При работе в Astra Linux Common Edition 2.12 (и в любых ОС с отсутствующей версией python2) в настройки ansible (файл /etc/ansible/hosts) добавить директиву:

   ansible_python_interpreter: /usr/bin/python3
   Например
   agents:
    hosts:
     client.astra.lan:
      ansible_user: vagrant
     client2.astra.lan: # ALSE 1.7
      ansible_user: vagrant
     orel.astra.lan: # Orel 2.12.44
      ansible_user: vagrant
      ansible_python_interpreter: /usr/bin/python3

   Иначе при добавлении хоста с помощью ansible (см. ниже) будет возникать ошибка:

   "module_stderr": "Shared connection to orel.astra.lan closed.\r\n",
       "module_stdout": "/bin/sh: /usr/bin/python: Нет такого файла или каталога\r\n",
       "msg": "MODULE FAILURE\nSee stdout/stderr for the exact error",

2. В файл /etc/ansible/ansible.cfg:

   1. в секцию [defaults] добавить строки:

      bin_ansible_callbacks = True
      callback_whitelist = foreman

      команда для добавления указанных строк:

      sudo sed -i "/\[defaults\]/a bin_ansible_callbacks = True\ncallback_whitelist = foreman" /etc/ansible/ansible.cfg

   2. Добавить секцию [callback_foreman] следующего вида:

      [callback_foreman]
      url = https://`hostname`
      ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem
      ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem
      verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem
      

      команда для добавления:

      echo "[callback_foreman]
      url = https://`hostname`
      ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem
      ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem
      verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem" | sudo tee -a  /etc/ansible/ansible.cfg
      Параметры для добавления секции можно скопировать из одноименной секции файла /etc/foreman-proxy/ansible.cfg;
      
      

3. В графическом интерфейсе foreman добавить хост, с которого будет приниматься информация: "Администратор" - "Параметры" - закладка "Безопасность и проверка подлинности" - "Trusted hosts":List of hostnames, IPv4, IPv6 addresses or subnets to be trusted in addition to Smart Proxies for access to fact/report importers and ENC output. Имя хоста указать в квадратных скобках (синтаксис списка python);
   
   

4. Для проверки работы выполнить команду:

   sudo ansible -m setup localhost
   После выполнения команды в графическом интерфейсе foreman в списке хостов должен появиться новый хост (для команды выше - localhost). Если в команде указать имя клиента, например:
   sudo ansible -m setup client.example.com
   то в список хостов добавится хост с указанным именем (для команды выше - client.example.com)

Массовая настройка беспарольного доступа SSH

Автоматическую передачу паролей для подключения клиенту ssh и инструменту передачи ключей ssh-copy-id обеспечивает инструмент sshpass (пакет sshpass). Пакет может быть установлен командой:

1. Создать файл для хранения паролей:

   touch <имя_файла>

2. Запретить чтение файла всем, кроме владельца:

   chmod 600 <имя_файла>

3. Записать в файл пароль, который будет использоваться для подключения;

4. Команды передачи ключей, приведенные выше, использовать в виде:

   sshpass -f <имя_файла> ssh-copy-id -i ~/.ssh/id_rsa <имя_пользователя>@agent1.`hostname -d` -o StrictHostKeyChecking=no
   или
   sudo -u foreman-proxy sshpass -f <имя_файла> ssh-copy-id -i ~foreman-proxy/.ssh/id_rsa_foreman_proxy <имя_пользователя>@agent1.astra.lan -o StrictHostKeyChecking=no

   где:

   опция -f <имя_файла> указывает из какого файла брать пароль для подключения;
   опция -o StrictHostKeyChecking=no отключает запрос подтверждения подлинности сервера и разрешает автоматическую регистрацию сервера как известного;

Другие возможности инструмента sshpass см. в справке:

Пример использования

См. Настройки служб времени с помощью Ansible и Puppet.

Возможные проблемы

Проблема:

При запуске сервиса foreman появляется ошибка:

Решение:

Отредактировать файл /etc/postgresql/*/main/postgresql.conf, изменив значение параметра listen_addresses на '*'.

После этого выполнить команду:

Не стартует puppetserver.service. В /var/log/syslog сообщения:

Решение:

На сервере должно быть установлено не менее 3ГБ оперативной памяти (как указано в инструкции).