Введение

Для управления конфигурациями серверов, их обслуживания на всём жизненном цикле имеет актуальное значение связка работы трёх компонентов: foreman, puppet, ansible.

• Foreman -

• инструмент

• , предназначенный для помощи системным администраторам в управлении серверами, обеспечивающий простой способ взаимодействия с системами управления конфигурациями (Ansible, Puppet и др.) для автоматизации задач администрирования и развертывания приложений. Foreman

• поддерживает web-интерфейс

• , API и CLI, которые можно использовать для предоставления, настройки и мониторинга серверов. Подходит для инфраструктур любых размеров.
• Puppet -

• инструмент управления конфигурацией, который помогает системным администраторам автоматизировать предоставление, настройку и управление серверной инфраструктурой.
• Ansible - система управления конфигурациями,

• использующаяся для автоматизации настройки и развертывания программного обеспечения. Позволяет

• автоматизировать сложные задачи, например, непрерывное развертывание или непрерывное обновление без простоев.

Установка

Puppet

Предварительная настройка

Коммуникация между Puppet Server и Puppet Agent осуществляется по имени хоста. Для правильной работы нужно либо настроить DNS-сервер, либо указать адреса хостов в файлах /etc/hosts на всех хостах.

Укажем для каждой машины hostname. Например, для Puppet Server команда будет иметь следующий вид:

sudo hostnamectl set-hostname master.astra.lan

Осуществим настройку каждой машины через /etс/hosts, добавив в конец файла FQDN строку с указанием IP-адреса Puppet Server (puppet_ip) и его имени хоста (puppet).

sudo echo -e 'puppet_ip\tmaster.astra.lan' >> /etc/hosts

Произведем настройку локалей.

Проверим наличие локали en_US.utf8 выполнив команду

shell locale -a

При ее отсутствии выполним следующие действия:
sudo apt update
sudo apt install debconf
dpkg-reconfigure locales

Выбираем из списка локаль en_US.UTF-8, после установки выполняем перезагрузку.

2.1.2 Установка Puppet Server

Для установки выполним следующие команды:

sudo apt update
sudo apt install puppetserver

Для коммуникации Puppet Server использует 8140 порт. Откроем его:

sudo ufw allow 8140

Запустим Puppet Server:

sudo systemctl start puppetserver

Проверим статус сервиса:

sudo systemctl status puppetserver
● puppetserver.service - puppetserver Service Loaded: loaded (/lib/systemd/system/puppetserver.service; disabled; vendor preset: enabled) Active: active (running) since Thu 2019-09-10 12:35:29 MSK; 49s ago Process: 1968 ExecStart=/opt/puppetlabs/server/apps/puppetserver/bin/puppetserver start (code=exited, status=0/SUCCESS) Main PID: 1975 (java) Tasks: 48 (limit: 4915) CGroup: /system.slice/puppetserver.service └─1975 /usr/bin/java -Xms2g -Xmx2g -Djruby.logger.class=com.puppetlabs.jruby_utils.jruby.Slf4jLogger -Djava.security.egd=file:/dev/urandom -XX:OnOutOfMemoryError=kill -9 %p -cp /

сен 10 12:35:07 puppet systemd[1]: Starting puppetserver Service... сен 10 12:35:29 puppet systemd[1]: Started puppetserver Service.

При необходимости добавим его в автозагрузку:

sudo systemctl enable puppetserver

2.1.3 Установка Puppet Agent

Для установки агента выполним на компьютере-агенте следующие команды:

sudo apt update
sudo apt-get install puppet-agent

Запустим Puppet Agent и добавим в автозагрузку:

server = master.astra.lan show_diff = true

sudo /opt/puppetlabs/bin/puppet agent --test

Info: Downloaded certificate for ca from puppet Info: Downloaded certificate revocation list for ca from puppet Info: Creating a new RSA SSL key for agent1.astra.lan Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml Info: Creating a new SSL certificate request for agent1.astra.lan Info: Certificate Request fingerprint (SHA256): F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E Info: Certificate for agent1.astra.lan has not been signed yet Couldn't fetch certificate from CA server; you might still need to sign this agent's certificate (agent1.astra.lan). Exiting now because the waitforcert setting is set to 0.

2.1.4 Подписание сертификатов

При первом запуске Puppet Agent отправляет на Puppet Server запрос на подпись сертификата.

Для просмотра списка запросов на подпись сертификата выполним следующую команду:

sudo /opt/puppetlabs/bin/puppetserver ca list

Requested Certificates: agent1.astra.lan   (SHA256)  F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E

Подпишем сертификат:

shell master$ sudo /opt/puppetlabs/bin/puppetserver ca sign --certname agent1.astra.lan

Successfully signed certificate request for agent1.astra.lan

Проверим работу Puppet Agent после подписания сертификата:

sudo /opt/puppetlabs/bin/puppet agent --test

Описание стенда

Сервер: 10.0.2.120 master.astra.lan

Клиент: 10.0.2.121 agent1.astra.lan

Далее подразумевается, что на сервере и клиенте используются одинаковые имена пользователей. Если имена пользователй разные то нужно соответствующим образом изменить команды передачи ключей SSH.

На стенде отсутствует настроенный DNS-сервер, поэтому для разрешения IP-адресов используются файлы /etc/hosts на сервере и на клиенте.

Установка Puppet

Настройка сервера

Имя и адрес сервера

Коммуникация между Puppet Server и Puppet Agent осуществляется по имени хоста. Для правильной работы нужно либо настроить DNS-сервер, либо указать адреса хостов в файлах /etc/hosts на всех хостах.
Для сервера используем имя master.astra.lan, и команда назначения имени будет иметь следующий вид (команда выполняется на сервере):

Осуществить настройку каждой машины через файл /etс/hosts, для чего внести в файл указание IP-адреса Puppet Server (10.0.2.120) и его имён (master.astra.lan, master и pupet). В итоге файл /etc/hosts на сервере должен выглядеть примерно так:

127.0.0.1 localhost
10.0.2.120 master.astra.lan master puppet
10.0.2.121 agent1.astra.lan agent1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Подразумевается, что серверу назначен статический IP-адрес 10.0.2.120, а клиенту - 10.0.2.121.

Настройка локалей на сервере.

Проверить наличие локали en_US.utf8 выполнив команду:

Если локали en_US.utf8 нет, то добавить её, выполнив следующие команды

Или можно выбрать нужные локали, включая локаль en_US.UTF-8 UTF-8 , в интерактивном режиме, выполнив следующие команды:

Установка Puppet Server

Для установки выполнить на сервере следующие команды:

Для коммуникации Puppet Server использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Разрешить автоматический запуск  Puppet Server и запустим его:

Проверить статус сервиса:

Установка Puppet Agent на клиентском компьютере

Имя и адрес клиентского компьютера

Настроить статический IP-адрес сервера (далее - 10.0.2.121)

Задать имя компьютера:

Настроить разрешение имён сервера и клиента с помощью файла /etc/hosts. Файл /etc/hosts на клиентском компьютере должен иметь примерно такой вид:

127.0.0.1 localhost
10.0.2.121 agent1.astra.lan agent1
10.0.2.120 master.astra.lan master puppet

# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Установка агента

Для установки агента выполнить на компьютере-агенте следующие команды (при этом будет установлен агент и сервер SSH для удалённого управления агентом):

Отредактировать файл /etc/puppetlabs/puppet/puppet.conf, добавив/заменив в секции main параметры:

server = master.astra.lan
show_diff = true

Для коммуникации агент, как и Puppet Server, использует IP-порт 8140. Если включен межсетевой экран, то разрешить коммуникации через этот порт. Для сетевого экрана ufw:

Добавить службу Puppet Agent в автозагрузку и запустить её:

Настройка доступа по ssh

На клиентской машине задать пароль root и разрешить root-доступ по ssh, для чего в файле /etc/ssh/sshd_config раскомментировать параметр PermitRootLogin, изменить его значение на yes и перезапустить сервер SSH (команды выполняются на клиентской машине):

Подписание сертификатов клиента

При первом запуске клиентская служба Puppet Agent отправит на Puppet Server запрос на подпись сертификата. Для просмотра списка запросов на подпись сертификата выполнить на сервере следующую команду:

В примере выше сервер сообщает, что у него имеется один запрос на подпись сертификата от клиента с именем

agent1.astra.lan

2.2 Ansible

Для установки выполним следующие команды:

sudo apt update
sudo apt install ansible

Отредактируем файл /etc/ansible/hosts, добавив секцию agents

[agents] agent1.astra.lan ansible_ssh_host=agent1_server_ip

Ansible использует подключение ssh по ключу, поэтому сгенерируем его:

ssh-keygen -t rsa -b 4096

После создания ключа передадим его на нужные узлы:

ssh-copy-id user@agent1_server_ip

Проверим работу Ansible, выполнив пинг на группу серверов agents:

ansible -m ping agents
agent1.astra.lan | SUCCESS => { "changed": false, "ping": "pong" }

2.3 Foreman

Для установки выполним следующие команды:

sudo apt-get update master$ sudo apt-get install foreman-installer

Запустим установщик:

sudo foreman-installer

Preparing installation Done * Foreman is running at https://master.astra.lan     Initial credentials are admin / NRLJth9ufmAkTsF5 * Foreman Proxy is running at https://master.astra.lan:8443 * Puppetmaster is running at port 8140 The full log is at /var/log/foreman-installer/foreman.log

Проверим работоспособность foreman-proxy:

sudo curl -k -X GET -H Accept:application/json https://master.astra.lan:8443/features --tlsv1 ["httpboot","logs","puppet","puppetca","tftp"]

3. Настройка

3.1 Foreman + Puppet

Откроем в браузере ссылку https://master.astra.lan

Image Removed

В качестве логина и пароля используем initial credentials, которые получили после выполнения установщика.

Перейдем в Infrastructure -> Smart Proxies и добавим наш прокси:

Image Removed

Нажмем на кнопку Submit.

Image Removed

Теперь перейдем в Hosts -> All Hosts, где должен появится список доступных узлов:

Image Removed

Если узлы отсутствуют, то достаточно на нужных узлах выполнить команду sudo /opt/puppetlabs/bin/puppet agent --test и обновить данную страницу.

3.2 Foreman + Ansible

Установим необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

sudo foreman-installer --enable-foreman-plugin-ansible \ --enable-foreman-proxy-plugin-ansible \ --enable-foreman-plugin-remote-execution \ --enable-foreman-proxy-plugin-remote-execution-ssh

Проверим работу связки. Создадим файл cat_hosts.yml со следующим содержимым:

---  - hosts: all    become: true    tasks:     - name: cat /etc/hosts       command: cat /etc/hosts       register: cat_all_hosts ...

Выполним команду:
ansible-playbook cat_file.yml -vv

В результате получим следующий вывод:

.

Подписать сертификат:

Для проверки правильности работы агента можно на клиентской машине после подписания сертификата выполнить следующие команды:

1. Остановить службу

   Command
   sudo systemctl stop puppet

   
   

2. Выполнить тестирование работы службы, в процессе которого служба запросит и получит сертификат:

   Command
   Title sudo /opt/puppetlabs/bin/puppet agent --test
   Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml Info: Creating a new SSL certificate request for agent1.astra.lan Info: Certificate Request fingerprint (SHA256): F7:D5:E5:AB:AA:86:7F:EF:19:3D:D9:B9:E3:E9:63:DC:AE:31:17:57:67:3D:2B:D7:A5:1C:71:E3:46:E0:A7:1E Info: Downloaded certificate for agent1.astra.lan from puppet Info: Using configured environment 'production' Info: Retrieving pluginfacts Info: Retrieving plugin Info: Retrieving locales Info: Caching catalog for agent1.astra.lan Info: Applying configuration version '1568370748' Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml Notice: Applied catalog in 0.02 seconds

   
   

   
   

3. Повторно запустить службу:

   Command
   sudo systemctl start puppet

   
   

Установка пакетов Ansible и Foreman

Установить пакеты Ansible и Foreman, выполнив на сервере следующие действия:

Установить пакет ansible из репозитория:

Настройка /etc/ansible/hosts

Отредактировать файл /etc/ansible/hosts, добавив в файл секцию [agents] (т.е. добавив группу серверов, с названием этой группы agents). В этой группе пока будет один сервер с именем agent1.astra.lan и IP-адресом 10.0.2.121:

В результате файл /etc/ansible/hosts должен иметь следующий вид:

agents:
 hosts:
  agent1.astra.lan:
   ansible_user: root

Ansible использует подключение ssh без запроса пароля по ключу, поэтому нужно сгенерировать ключ:

И после создания ключа передать его на нужные узлы:

Проверить работу Ansible, выполнив пинг на группу серверов agents:

Базовая настройка Foreman

Установить пакеты:

В случае, если ОС была установлена без графической оболочки, то установить пакет shared-mime-info, команда:

Установить пакет foreman-installer:

Проверить работоспособность foreman-proxy:

Настройка

Foreman + Puppet

Открыть в браузере ссылку https://master.astra.lan (подтвердить согласие на подключение)

Image Added

В качестве логина и пароля использовать имя admin и автоматически созданный пароль, полученный после выполнения установщика.

Image Added

Если узлы отсутствуют, то подождать, пока информация обновится, или на нужных узлах (на клиенте) выполнить команду:

После чего обновить страницу web-интерфейса.

Убедиться, что в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") имеется отображение созданного по умолчанию proxy. Если proxy не создан, то:

• Перейти в "Администратор" - "Местоположения" ("Administer" - "Locations");
  • Выбрать Default location;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
  • Нажать кнопку "Применить" ("Submit");
• Аналогично "Администратор" - "Организации" ("Administer" - "Organizations");
  • Выбрать Default organization;
  • Нажать кнопку "Устранить несоответствия" ("Fix mismatches");
• Нажать кнопку "Применить" ("Submit");

После выполнения этих шагов в  "Инфраструктура" - "Капсулы" ( в английском варианте "Infrastructure" -> "Smart Proxies") появится отображение созданного по умолчанию proxy.

Foreman + Ansible

Установить необходимые плагины:

• для работы с Ansible: foreman-plugin-ansible, foreman-proxy-plugin-ansible;

• для запуска Ansible playbooks как запланированные задачи: foreman-plugin-remote-execution, foreman-proxy-plugin-remote-execution-ssh

Создать и скопировать ключ для работы каждого клиента с сервера (команда выполняется на сервере от имени пользователя foreman-proxy):

Проверить работу связки можно запустив Ansible playbook. Запустить Ansible playbook можно несколькими способами (при этом нужно будет указать команду или сценарий для выпонения на удалённой машине):

1. Через список узлов (хостов):
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. выбрать необходимые узлы;
   3. нажать "Действия" -> "Scheduled Remote Job";
2. Через страницу узла:
   1. открыть страницу "Узлы" ("Узлы" -> "All Hosts");
   2. перейти на страницу нужного узла и нажать "Scheduled Remote Job" -> "Run Ansible roles";
3. Через список заданий:
   1. открыть страницу "Шаблоны заданий"
   2. напротив нужного шаблона нажать "Выполнить"

Ansible-роли могут быть импортированы из смарт-прокси. Для этого необходимо:

1. перейти на страницу "Ansible roles" ("Настройки" -> "Роли")
2. выбрать источник импорта из выпадающего меню справа.

Пример использования

См. Настройки служб времени с помощью Ansible и Puppet|

Возможные проблемы

При запуске сервиса foreman появляется ошибка:

Решение

Для устранения ошибки отредактировать файл /etc/postgresql/9.6/main/postgresql.conf, изменив значение параметра listen_addresses на '*'.

После этого выполнить

команду: