Службы управления журналами

• syslog-ng - служба управления журналами syslog-ng по умолчанию используется в Astra Linux Special Edition x.7, доступна в репозиториях более ранних очередных обновлений;

• rsyslog - служба управления журналами rsyslog по умолчанию используется в Astra Linux Common Edition и Astra Linux Special Edition ранее очередного обновления x.7, доступна в основном репозитории Astra Linux Special Edition x.7;

• syslog (sysklogd) - служба управления журналами syslog в настоящее время в Astra Linux не используется;
• logrotate - служба архивирования и очистки (ротации) журналов.

Основные возможности служб:

• Получение и передача сообщение по сетевым протоколам TCP/UDP/... с возможностью настройки IP-портов и IP-адресов;
• Загрузка внешних модулей;
• Фильтрация и перенаправление сообщений по имени программы, источнику, номеру процесса и т.д.;
• Удаление ненужных сообщений;

Служба syslog-ng

Расположение файлов конфигурации

• основной файл: /etc/syslog-ng/syslog-ng.conf;
• дополнительные файлы .conf в каталоге /etc/syslog-ng/conf.d.

Базовые принципы функционирования

Служба syslog-ng получает системные сообщения из указанных источников и перенаправляет их в указанные приемники. Источниками могут быть файлы, удаленные хосты, системные сокеты и другие источники. Источники и приемники являются независимыми объектами и соединяются путями передачи (далее - путь). Путь состоит из одного или нескольких источников и одного или нескольких приемников. Дополнительно определение пути может содержать:

• фильтры - правила, применяемые для селекции сообщений;
• анализаторы (parsers) - правила для анализа и разбора сообщений;
• модификаторы (rewriting rules) - правила для модификации сообщений.

Базовые принципы конфигурации

Конфигурационный файл состоит из определений объектов. Базовый синтаксис определения объекта:

<тип_объекта> <идентификатор_объекта> { <параметр>(<опция> ..., ...) ...; ... };

где:

• тип объекта - один из типов:
  • source - источник;
  • destination - приемник;
  • log - путь;
  • filter - фильтр;
  • parser - анализатор;
  • rewrite rule - модификатор;
  • template - шаблон;
  • option - глобальные опции.
• Идентификатор объекта - уникальное имя, определяющее объект. Имена регистр-зависимые. Имена, совпадающие с зарезервированными словами должны заключаться в кавычки. Рекомендуется использовать имена с префиксами, указывающими на тип объекта, например, префикс "s_" для источников, префикс "d_" для приемников и т.д. Повторное определение объектов не допускается если не задан параметр @define allow-config-dups 1;
• Параметр - список параметров объекта, заключенный в фигурные скобки. Параметры разделяются символом "точка с запятой".
• Опция - модификаторы параметров;

• Определение объекта завершается символом "точка с запятой".

Пример: определение объекта типа источник и именем s_internal:

source s_internal { internal(); };

Пример: определение объекта типа приемник:

destination d_net { tcp("127.0.0.1" port(1000) log_fifo_size(1000)); };

Далее на определенные объекты можно ссылаться по его идентификатору, например в определении объекта "путь":

log { source(s_internal); destination(d_net); };

Параметры объектов могут иметь обязательные и необязательные опции. Обязательные опции являются позиционными и должны быть указаны в заданном порядке. Необязательные опции имеют формат
<имя>(<значение>) и могут указываться в любом порядке.

Пример: Источник s_demo_stream имеет один параметр - драйвер источника unix-stream(), который имеет одну обязательную опцию - имя сокета, и необязательные опции - max_connection и group:

source s_demo_stream1 { unix-stream("<path-to-socket>" max-connections(10) group(log)); };

• Объекты могут использоваться до их определения;
• Объекты могут определяться при их использовании (inline), что полезно при однократном применении, например, фильтров;
• Строки, начинающиеся с символа "#" считаются комментариями и игнорируются;

Синтаксис определения пути:

log {
 source(s1); source(s2); ...
 optional_element(filter1|parser1|rewrite1);
 optional_element(filter2|parser2|rewrite2);
 ...
 destination(d1); destination(d2); ...
 flags(flag1[, flag2...]);
};

Пример определения источника, приемника и простого пути:

source s_localhost {
    network(ip(127.0.0.1) port(1999));
};
destination d_tcp {
    network("10.1.2.3" port(1999) localport(999));
};
log {
    source(s_localhost);
    destination(d_tcp);
};

Тот же пример определения простого пути с использованием inline-определений источника и приемника:

log {
    source {
        network(ip(127.0.0.1) port(1999));
    };
    destination {
        network("10.1.2.3" port(1999) localport(999));
    };
};

В конфигурации syslog-ng поддерживаются глобальные опции для управления использование DNS, форматами временных отметок и других общих параметров. Синтаксис определения опций:

options { option1(params); option2(params); ... };

Пример применения глобальных опций:

Отключения разрешения имен через DNS:

options { use-dns(no); };

Перечень основных источников, приемников и фильтров:

Таблица 1. Драйверы источников

Таблица 2. Драйверы приемников

Таблица 3. Доступные фильтры.

Служба rsyslog

Расположение файлов конфигурации

• основной файл /etc/rsyslog.conf/;
• дополнительные файлы .conf в каталоге /etc/rsyslog.d;

См. man rsyslog.conf

Служба logrotate

Расположение файлов конфигурации

• основной файл /etc/logrotate.conf;
• дополнительные файлы .conf /etc/logrotate.d;

Настройки по умолчанию (основной файл конфигурации /etc/logrotate.conf):

• weekly - файлы журналов подвергаются ротации, если текущий день недели меньше дня недели последней ротации или если со времени последней ротации прошло больше недели;
• rotate <количество> - файлы журнала ротируются указанное количество раз перед тем, как будут  удалены или  отправлены  на  адрес,  указанный  в директиве mail. Если количество равно нулю, прежние версии удаляются, а не ротируются. Количество по умолчанию - 4;

• create <режим> <владелец> <группа> - сразу  после  ротации  (до запуска сценария postrotate) создать файл журнала (с таким же именем, как у только  что  ротированного  файл  журнала).  Поле  режим определяет  режим  для  файла  журнала  в  восьмеричном  представлении  (как  в chmod(2)),  поле  владелец  определяет  имя   пользователя   который   является владельцем  этого  файла  журнала,  и  поле  группа  определяет группу, которой              принадлежит файл журнала. Любой из этих атрибутов может быть пропущен, в  таком случае  для пропущенных атрибутов будут использоваться атрибуты исходного файла журнала. Эта опция может быть отключена с помощью опции nocreate;

Подробное описание см. man logrotate.

Взаимная замена служб rsyslog/syslog-ng

Замена пакетов

Для замены службы syslog-ng на службу rsyslog:

Для замены службы rsyslog на службу syslog-ng:

При выполнении указанных команд будут произведены следующие действия:

• остановка заменяемой службы;
• удалении пакета, предоставляющего удаляемую службу;
• установка пакета с новой службой.

Конфигурационные файлы заменяемой службы при этом не удаляются и могут быть использованы либо при обратной замене служб, либо для создания аналогичных настроек для новой службы. 

Миграция конфигурационных файлов

Для сохранения параметров записи журналов при замене служб необходимо обеспечить для новой службы наличие конфигурационных файлов, аналогичных конфигурационным файлам заменяемой службы. В состав некоторых пакетов входят конфигурационные файлы для какой-либо службы управления журналами. Для таких пакетов, по мере их выявления, в Astra Linux создаются и включаются в состав пакетов аналогичные альтернативные конфигурации для другой службы.

Далее в качестве примера приведено соответствие конфигураций rsyslog и syslog-ng некоторых пакетов. :

# Log cloudinit generated log messages to file
:syslogtag, isequal, "[CLOUDINIT]" /var/log/cloud-init.log

# comment out the following line to allow CLOUDINIT messages through.
# Doing so means you'll also get CLOUDINIT messages in /var/log/syslog
& stop

log {
    source(s_src);
    filter { message("^.*CLOUDINIT.*$"); };
    destination { file("/var/log/cloud-init.log"); };
    flags( final);
};

# Create an additional socket in haproxy's chroot in order to allow logging via
# /dev/log to chroot'ed HAProxy processes
$AddUnixListenSocket /var/lib/haproxy/dev/log

# Send HAProxy messages to a dedicated logfile
:programname, startswith, "haproxy" {
  /var/log/haproxy.log
  stop
}

log {
    source { unix-dgram("/var/lib/haproxy/dev/log"); };
    filter { program("haproxy"); };
    destination { file("/var/log/haproxy.log"); };
	flags( final);
};

# Log kernel generated UFW log messages to file
:msg,contains,"[UFW " /var/log/ufw.log

# Uncomment the following to stop logging anything that matches the last rule.
# Doing this will stop logging kernel generated UFW log messages to the file
# normally containing kern.* messages (eg, /var/log/kern.log)
#& stop

log {
    source(s_src);
    filter { message("^.*UFW.*$"); };
    destination { file("/var/log/ufw.log"); };
#    flags( final);
};

# Send Jetty messages to jetty.out when using systemd

:programname, startswith, "jetty9" {
  /var/log/jetty9/jetty-console.log
  stop
}

log {
    source(s_src);
    filter { program("jetty9"); };
    destination { file("/var/log/jetty9/jetty-console.log"); };
    flags( final);	
};

# Create an additional socket in postfix's chroot in order not to break
# mail logging when rsyslog is restarted.  If the directory is missing,
# rsyslog will silently skip creating the socket.
$AddUnixListenSocket /var/spool/postfix/dev/log

log {
    source { unix-stream("/var/spool/postfix/dev/log" keep-alive(yes)); };
    filter { program("postfix"); };
    destination(d_syslog);
};

# Send Tomcat messages to catalina.out when using systemd
$template TomcatFormat,
    "[%timegenerated:::date-year%-
      %timegenerated:::date-month%-
      %timegenerated:::date-day% 
      %timegenerated:::date-hour%:
      %timegenerated:::date-minute%:
      %timegenerated:::date-second%]
     [%syslogseverity-text%]%msg%\n"
:programname, startswith, "tomcat9" {
  /var/log/tomcat9/catalina.out;TomcatFormat
  stop
}

log {
    source(s_src);
    filter { program("tomcat9"); };
    destination {
        file("/var/log/tomcat9/catalina.out",
        template("[$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC] [$PRIORITY]$MSG\n"));
    };
    flags( final);
};

Инструмент сбора журналов astra-create-debug-logs

В состав дистрибутивов ОС Astra Linux входит инструмент командной строки astra-create-debug-logs, предназначенный для автоматического сбора архива журналов системных служб.
Для создания архива журналов инструмент должен быть запущен от имени суперпользователя:

Файл с архивом журналов создаётся в каталоге /tmp/.

Расположение файлов журналов основных системных служб

Для справки в таблице ниже приведено расположение файлов журналов некоторых наиболее часто используемых служб: