Введение

Для управления конфигурациями серверов и их обслуживания на всем жизненном могут использоваться следующие программные компоненты.

• Foreman - инструмент, предназначенный для помощи системным администраторам в управлении серверами, обеспечивающий простой способ взаимодействия с системами управления конфигурациями (Ansible, Puppet и др.) для автоматизации задач администрирования и развертывания приложений. Foreman поддерживает web-интерфейс, API и CLI, которые можно использовать для предоставления, настройки и мониторинга серверов. Подходит для инфраструктур любых размеров.
• Инструменты управления конфигурациями, позволяющие системным администраторам автоматизировать развертывание и настройку серверной инфраструктуры. Обычно используется один из этих инструментов:
  • Puppet — требует установки агентского ПО на управляемые компьютеры.
  • Ansible — не требует установки агентского ПО на управляемые компьютеры.

Описание стенда

Сервер: 10.0.2.120 master.astra.lan

Клиент: 10.0.2.121 agent1.astra.lan

Далее подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена пользователей разные, то необходимо использовать актуальные имена, соответствующим образом изменив команды передачи ключей SSH.

На стенде отсутствует настроенный DNS-сервер, поэтому для разрешения IP-адресов используются файлы /etc/hosts на сервере и на клиенте.

Установка Puppet

Настройка сервера

Имя и адрес сервера

Коммуникация между службами Puppet Server и Puppet Agent осуществляется по имени хоста, на котором расположена служба. Для правильной работы служб нужно:

• либо настроить разрешение имен в службе DNS;
• либо указать адреса хостов в файлах /etc/hosts на всех хостах (этот вариант используется далее).

Серверу назначается имя master.astra.lan. Команда назначения имени будет иметь следующий вид (команда выполняется на сервере):

На каждом хосте необходимо осуществить настройку разрешения имен через файл /etс/hosts. Для этого внести в файл строку с указанием IP-адреса хоста (10.0.2.120) и его имен (master.astra.lan, master и puppet). В итоге файл /etc/hosts должен выглядеть примерно так:

127.0.0.1 localhost
10.0.2.120 master.astra.lan master puppet
10.0.2.121 agent1.astra.lan agent1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Подразумевается, что серверу назначен статический IP-адрес 10.0.2.120, а клиенту - 10.0.2.121.

Коррекция региональных настроек (locales) на сервере

Проверить наличие региональной настройки en_US.utf8 выполнив команду:

Если региональной настройки en_US.utf8 нет, то добавить

Введение

Для управления конфигурациями серверов, их обслуживания на всём жизненном цикле имеет актуальное значение связка работы трёх компонентов: foreman, puppet, ansible.

• Foreman - инструмент, предназначенный для помощи системным администраторам в управлении серверами, обеспечивающий простой способ взаимодействия с системами управления конфигурациями (Ansible, Puppet и др.) для автоматизации задач администрирования и развертывания приложений. Foreman поддерживает WEB-интерфейс, API и CLI, которые можно использовать для предоставления, настройки и мониторинга серверов. Подходит для инфраструктур любых размеров.
• Puppet - инструмент управления конфигурацией, который помогает системным администраторам автоматизировать предоставление, настройку и управление серверной инфраструктурой.
• Ansible - система управления конфигурациями, использующаяся для автоматизации настройки и развертывания программного обеспечения. Позволяет автоматизировать сложные задачи, например, непрерывное развертывание или непрерывное обновление без простоев.

Описание стенда

Сервер: 10.0.2.120 master.astra.lan

Клиент: 10.0.2.121 agent1.astra.lan

Далее подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена разные нужно соответствующим образом изменить команды передачи ключей SSH.

На стенде отсутствует настроенный DNS-сервер, поэтому для разрешения IP-адресов используются файлы /etc/hosts на сервере и на клиенте.

Установка Puppet

Настройка сервера

Имя и адрес сервера

Коммуникация между Puppet Server и Puppet Agent осуществляется по имени хоста. Для правильной работы нужно либо настроить DNS-сервер, либо указать адреса хостов в файлах /etc/hosts на всех хостах.
Для сервера используем имя master.astra.lan, и команда назначения имени будет иметь следующий вид (команда выполняется на сервере):

Осуществить настройку каждой машины через файл /etс/hosts, для чего внести в файл указание IP-адреса Puppet Server (10.0.2.120) и его имён (master.astra.lan, master и pupet). В итоге файл /etc/hosts на сервере должен выглядеть примерно так:

127.0.0.1 localhost
10.0.2.120 master.astra.lan master puppet
10.0.2.121 agent1.astra.lan agent1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Подразумевается, что серверу назначен статический IP-адрес 10.0.2.120, а клиенту - 10.0.2.121.

Настройка локалей на сервере.

Проверить наличие локали en_US.utf8 выполнив команду:

Если локали en_US.utf8 нет, то добавить её, выполнив следующие команды

Или можно выбрать нужные локалирегиональные настройки, включая локаль региональную настройку en_US.UTF-8 UTF-8 , в интерактивном режиме, выполнив следующие команды:

Установка Puppet Server

Для установки выполнить на сервере следующие команды:

Для коммуникации Puppet Server использует 8140 порт. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Разрешить автоматический запуск  Puppet Server и запустим его:

Проверить статус сервиса:

Для установки выполнить на сервере следующие команды:

Указание пакета в команде установки пакета openjdk-11-jre-headless необходимо для того, чтобы он обновился из расширенного репозитория если был установлен ранее.

Для коммуникации Puppet Server использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Разрешить автоматический запуск  Puppet Server и запустим его:

Проверить статус сервиса:

Установка Puppet Agent на клиентском компьютере

Имя и адрес клиентского компьютера

Настроить статический IP-адрес сервера (далее - 10.0.2.121)

Задать имя компьютера:

Настроить разрешение имён сервера и клиента с помощью файла /etc/hosts. Файл /etc/hosts на клиентском компьютере должен иметь примерно такой вид:

127.0.0.1 localhost
10.0.2.121 agent1.astra.lan agent1
10.0.2.120 master.astra.lan master puppet

# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Установка агента

Для установки агента выполнить на компьютере-агенте следующие команды (при этом будет установлен агент и сервер SSH для удалённого управления агентом):

Отредактировать файл /etc/puppetlabs/puppet/puppet.conf, добавив /заменив в секции main параметры:

server = master.astra.lan
show_diff = true

Для коммуникации агент, как и Puppet Server, использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Добавить службу Puppet Agent в автозагрузку и запустить её:Добавить службу Puppet Agent в автозагрузку и запустить её:

Настройка удаленного доступа по протоколу ssh

На клиентской машине задать пароль root и разрешить root-доступ по ssh (команды выполняются на клиентской машине):

Подписание сертификатов клиента

При первом запуске служба Puppet Agent отправит на Puppet Server запрос на подпись сертификата.

Для просмотра списка запросов на подпись сертификата выполнить на сервере следующую команду:

В примере выше сервер сообщает, что у него имеется один запрос на подпись сертификата от клиента с именем agent1.astra.lan.

Подписать сертификат:

Для проверки правильности работы агента можно на клиентской машине после подписания сертификата выполнить следующие команды:

Остановить службу

Выполнить тестирование работы службы, в процессе которого служба запросит и получит сертификат:

Повторно запустить службу:

Установка пакетов Ansible и Foreman

Установить пакеты Ansible и Foreman, выполнив на сервере следующие действия:

Загрузить архив с исправленными версиями пакетов Ansible и Foreman по ссылке: https://nas01.astralinux.ru:5001/sharing/VtRvTRsrn

Распаковать полученный архив:

Установить пакеты ansible и foreman-installer из репозитория, и пакеты из архива:

Настройка /etc/ansible/hosts

Отредактировать файл /etc/ansible/hosts, добавив в файл секцию [agents] (т.е. добавив группу серверов, с названием этой группы agents). В этой группе пока будет один сервер с именем agent1.astra.lan и IP-адресом 10.0.2.121:

Ansible использует подключение ssh по ключу, поэтому нужно сгенерировать ключ:

И после создания ключа передать его на нужные узлы:

Подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена разные нужно соответствующим образом изменить команды передачи ключей SSH.

Проверить работу Ansible, выполнив пинг на группу серверов agents:

Базовая настройка Foreman

Запустить установщик:

После установки в строке "Initial credentials are admin / ...." будет указан логин admin и указан автоматически созданный пароль для входа в WEB-интерфейс, его рекомендуется запомнить чтобы использовать для входа в WEB-интерфейс.В дальнейшем пароль возможно изменить с помощью команды:

на клиентской машине

Для настройки доступа к клиентской машине по протоколу ssh:

1. Создать отдельного пользователя с домашним каталогом:

   Command
   sudo useradd -m <имя_пользователя>

   опция -m указывает на необходимость создания домашнего каталога. Далее выбранное имя пользователя должно быть указано реестре клиентских машин на сервере (файле /etc/ansible/hosts);
   
   

2. Задать пароль для этого пользователя:

   Command
   sudo passwd <имя_пользователя>

   
   

3. Разрешить пользователю выполнять команды с использованием sudo. Это можно сделать создав файл /etc/sudoers.d/<имя_пользователя> с указанием привилегии выполнять любые команды без запроса пароля ALL=NOPASSWD:   ALL:

   Command
   echo "<имя_пользователя>   ALL=NOPASSWD:   ALL" | sudo tee -a /etc/sudoers.d/<имя_пользователя>

   
   

Подписание сертификатов клиента

При первом запуске клиентская служба Puppet Agent отправит на Puppet Server запрос на подпись сертификата. Для просмотра списка запросов на подпись сертификата выполнить на сервере следующую команду:

В примере выше сервер сообщает, что у него имеется один запрос на подпись сертификата от клиента с именем agent1.astra.lan.

Подписать сертификат:

Для проверки правильности работы агента можно на клиентской машине после подписания сертификата выполнить следующие команды:

1. Остановить службу

   Command
   sudo systemctl stop puppet

   
   

2. Выполнить тестирование работы службы, в процессе которого служба запросит и получит сертификат:

   Command
   Title sudo /opt/puppetlabs/bin/puppet agent --test
   Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml Info: Creating a new SSL certificate request for agent1.astra.lan Info: Certificate Request fingerprint (SHA256): F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E Info: Downloaded certificate for agent1.astra.lan from puppet Info: Using configured environment 'production' Info: Retrieving pluginfacts Info: Retrieving plugin Info: Retrieving locales Info: Caching catalog for agent1.astra.lan Info: Applying configuration version '1568370748' Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml Notice: Applied catalog in 0.02 seconds

   
   

   
   

3. Повторно запустить службу:

   Command
   sudo systemctl start puppet

   
   

Установка пакетов Ansible и Foreman

Установить пакеты Ansible и Foreman, выполнив на сервере следующие действия:

Установить пакет ansible из репозитория:

Настройка /etc/ansible/hosts

Отредактировать файл /etc/ansible/hosts, добавив в файл секцию [agents] (т.е. добавив группу серверов, с названием этой группы agents). В этой группе пока будет один сервер с именем agent1.astra.lan и IP-адресом 10.0.2.121:

В качестве значения параметра ansible_user вместо <имя_пользователя> должно быть указано имя пользователя, созданного на клиенте для удаленного доступа.
В результате файл /etc/ansible/hosts должен иметь следующий вид (пользователь для удаленного доступа - username):

agents:
 hosts:
  agent1.astra.lan:
   ansible_user: username

Ansible использует подключение ssh без запроса пароля по ключу, поэтому нужно сгенерировать ключ:

После создания ключа передать его на нужные узлы, подключаясь к ним от имени пользователя, созданного для удаленного доступа:

Проверить работу Ansible, выполнив пинг на группу серверов agents:

Базовая настройка Foreman

Установить на сервере пакеты:

В случае, если ОС была установлена без графической оболочки, установить пакет shared-mime-info, команда:

Установить пакет foreman-installer:

Проверить работоспособность foreman-proxy:

Настройка

Foreman + Puppet

Открыть в браузере ссылку https://master.astra.lan (подтвердить согласие на подключение)

Image Added

В качестве логина и пароля использовать имя admin и автоматически созданный пароль, полученный после выполнения установщика.

Image Added

Если узлы отсутствуют, то подождать, пока информация обновится, или на нужных узлах (на клиенте) выполнить команду:

После чего обновить страницу web-интерфейса.

Убедиться, что в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") имеется отображение созданного по умолчанию proxy. Если proxy не создан, то:

• Перейти в "Администратор" - "Местоположения" ("Administer" - "Locations");
  • Выбрать Default location;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
  • Нажать кнопку "Применить" ("Submit");
• Аналогично "Администратор" - "Организации" ("Administer" - "Organizations");
  • Выбрать Default organization;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
• Нажать кнопку "Применить" ("Submit");

После выполнения этих шагов в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") появится отображение созданного по умолчанию proxy.

Foreman + Ansible

Установить необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

Создать и скопировать ключ для работы каждого клиента с сервера (команда выполняется на сервере от имени пользователя foreman-proxy, подключение выполняется от имени пользователя для удаленного доступа):

Проверить работу связки можно запустив Ansible playbook. Запустить Ansible playbook можно несколькими способами (при этом нужно будет указать команду или сценарий для выпонения на удалённой машине):

1. Через список узлов (хостов):
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. выбрать необходимые узлы;
   3. нажать "Действия" -> "Scheduled Remote Job";
2. Через страницу узла:
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. перейти на страницу нужного узла и нажать "Scheduled Remote Job" -> "Run Ansible roles";
3. Через список заданий:
   1. открыть страницу "Шаблоны заданий"
   2. напротив нужного шаблона нажать "Выполнить"

Роли ansible могут быть импортированы из смарт-прокси. Для этого необходимо:

1. перейти на страницу "Ansible roles" ("Настройки" -> "Роли")
2. выбрать источник импорта из выпадающего меню справа.

Настройка интеграции ansible и foreman

Для настройки передачи данных из ansible в foreman:

1. При работе в Astra Linux Common Edition 2.12 (и в любых ОС с отсутствующей версией python2) в настройки ansible (файл /etc/ansible/hosts) добавить директиву:

   Блок кода
   ansible_python_interpreter: /usr/bin/python3 Например agents:  hosts:   client.astra.lan:    ansible_user: vagrant   client2.astra.lan: # ALSE 1.7    ansible_user: vagrant   alce.astra.lan: # ALCE 2.12.44    ansible_user: vagrant    ansible_python_interpreter: /usr/bin/python3

   Иначе при добавлении хоста с помощью ansible (см. ниже) будет возникать ошибка:

   Блок кода
   "module_stderr": "Shared connection to alce.astra.lan closed.\r\n",     "module_stdout": "/bin/sh: /usr/bin/python: Нет такого файла или каталога\r\n",     "msg": "MODULE FAILURE\nSee stdout/stderr for the exact error",

   
   

2. В файл /etc/ansible/ansible.cfg:

   1. в секцию [defaults] добавить строки:

      Блок кода
      bin_ansible_callbacks = True callback_whitelist = foreman

      команда для добавления указанных строк:

      Command
      sudo sed -i "/\[defaults\]/a bin_ansible_callbacks = True\ncallback_whitelist = foreman" /etc/ansible/ansible.cfg

      
      

   2. Добавить секцию [callback_foreman] следующего вида:

      Блок кода
      [callback_foreman] url = https://`hostname` ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem

      команда для добавления:

      Command
      echo "[callback_foreman] url = https://`hostname` ssl_cert = /etc/puppetlabs/puppet/ssl/certs/master.astra.lan.pem ssl_key = /etc/puppetlabs/puppet/ssl/private_keys/master.astra.lan.pem verify_certs = /etc/puppetlabs/puppet/ssl/certs/ca.pem" | sudo tee -a  /etc/ansible/ansible.cfg

      Параметры для добавления секции можно скопировать из одноименной секции файла /etc/foreman-proxy/ansible.cfg;
      
      

3. В графическом интерфейсе foreman добавить хост, с которого будет приниматься информация: "Администратор" - "Параметры" - закладка "Безопасность и проверка подлинности" - "Trusted hosts":List of hostnames, IPv4, IPv6 addresses or subnets to be trusted in addition to Smart Proxies for access to fact/report importers and ENC output. Имя хоста указать в квадратных скобках (синтаксис списка python). При необходимости указания подсетей использовать формат бесклассовой адресации (Classless Inter-Domain Routing, CIDR), например 10.2.0.0/24;
   
   

4. Для проверки работы выполнить команду:

   Command
   sudo ansible -m setup localhost

   После выполнения команды в графическом интерфейсе foreman в списке хостов должен появиться новый хост (для команды выше - localhost). Если в команде указать имя клиента, например:

   Command
   sudo ansible -m setup client.example.com

   то в список хостов добавится хост с указанным именем (для команды выше - client.example.com)

Массовая настройка беспарольного доступа SSH

Автоматическую передачу паролей для подключения клиенту ssh и инструменту передачи ключей ssh-copy-id обеспечивает инструмент sshpass (пакет sshpass). Пакет может быть установлен командой:

Для использования инструмента:

1. Создать файл для хранения паролей:

   Command
   touch <имя_файла>

   
   

2. Запретить чтение файла всем, кроме владельца:

   Command
   chmod 600 <имя_файла>

   
   

3. Записать в файл пароль, который будет использоваться для подключения;

4. Команды передачи ключей, приведенные выше, использовать в виде:

   Command
   sshpass -f <имя_файла> ssh-copy-id -i ~/.ssh/id_rsa <имя_пользователя>@agent1.`hostname -d` -o StrictHostKeyChecking=no

   или

   Command
   sudo -u foreman-proxy sshpass -f <имя_файла>

Настройка

Foreman + Puppet

Открыть в браузере ссылку https://master.astra.lan (подтвердить согласие на подключение)

Image Removed

В качестве логина и пароля использовать имя admin и автоматически созданный пароль, полученный после выполнения установщика.

Image Removed

Если узлы отсутствуют, то подождать, пока информация обновится, или на нужных узлах (на клиенте) выполнить команду:

После чего обновить страницу WEB-интерфейса.

Убедиться, что в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") имеется отображение созданного по умолчанию proxy. Если proxy не создан, то:

• Перейти в "Администратор" - "Местоположения" ("Administer" - "Locations");
  • Выбрать Default location;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
  • Нажать кнопку "Применить" ("Submit");
• Аналогично "Администратор" - "Организации" ("Administer" - "Organizations");
  • Выбрать Default organization;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
• Нажать кнопку "Применить" ("Submit");

После выполнения этих шагов в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") появится отображение созданного по умолчанию proxy.

Foreman + Ansible

Установить необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

Скопировать ключ для работы с ansible для каждого клиента с сервера (команда выполняется на сервере):

1. ssh-copy-id -i ~foreman-proxy/.ssh/id_rsa_foreman_proxy

1. <имя_пользователя>@agent1.astra.lan

1. -o StrictHostKeyChecking=no

   где:

   опция -f <имя_файла> указывает из какого файла брать пароль для подключения;
   опция -o StrictHostKeyChecking=no отключает запрос подтверждения подлинности сервера и разрешает автоматическую регистрацию сервера как известного;

Другие возможности инструмента sshpass см. в справке:

Пример использования

См. Настройки служб времени с помощью Ansible и Puppet.

Возможные проблемы

Проблема:

При запуске сервиса foreman появляется ошибка:

Решение:

Отредактировать файл /etc/postgresql/*/main/postgresql.conf, изменив значение параметра listen_addresses на '*'.

После этого выполнить команду:

Проблема:

Не стартует puppetserver.service. В /var/log/syslog сообщения:

Решение:

На сервере должно быть установлено не менее 3ГБ оперативной памяти (как указано в инструкции).

Проверить работу связки можно запустив Ansible playbook. Запустить Ansible playbook можно несколькими способами:

1. Через список узлов (хостов):
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. выбрать необходимые узлы;
   3. нажать "Действия" -> "Scheduled Remote Job";
2. Через страницу узла:
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. перейти на страницу нужного узла и нажать "Scheduled Remote Job" -> "Run Ansible roles";
3. Через список заданий:
   1. открыть страницу "Шаблоны заданий"
   2. напротив нужного шаблона нажать "Выполнить"

Ansible-роли могут быть импортированы из смарт-прокси. Для этого необходимо:

1. перейти на страницу "Ansible roles" ("Настройки" -> "Роли")
2. выбрать источник импорта из выпадающего меню справа.

Возможные проблемы

При запуске сервиса foreman появляется ошибка:

Для устранения ошибки отредактировать файл /etc/postgresql/9.6/main/postgresql.conf, изменив значение параметра listen_addresses на '*'.

После этого выполнить команду: