Конфигурационный файл fluent-bit.conf

Для настройки «Ретранслятора» используется основной конфигурационный файл /etc/opt/termidesk-repeater/fluent-bit.conf.

Конфигурационный файл структурирован по секциям, каждая из которых описывает определенный компонент конвейера данных:

  • [SERVICE] - описываются глобальные настройки termidesk-repeater;
  • [INPUT] - описываются настройки для получения входящих событий;
  • [OUTPUT] - описываются настройки для сохранения обработанных событий.

Описание секций и параметров приведено в таблице.

При изменении файла fluent-bit.conf потребуется перезапуск службы termidesk-repeater:

sudo systemctl restart termidesk-repeater
BASH

Пример конфигурационного файла:

[SERVICE]
    flush        1
    daemon       Off
    log_level    info
    parsers_file parsers.conf
    plugins_file plugins.conf
    http_server  Off
    http_listen  0.0.0.0
    http_port    2020
    storage.metrics on

[INPUT]
    Name              forward
    Listen            0.0.0.0
    Port              24224
    Buffer_Chunk_Size 1M
    Buffer_Max_Size   6M

[OUTPUT]
    Name                pgsql
    Match               *
    Host                127.0.0.1
    Port                5432
    User                fluentbit
    Password            Password!
    Database            fluentbit
    Table               logs
    Time_Key            timestamp
    Time_Format         %Y-%m-%d %H:%M:%S.%LZ
    min_pool_size       1
    max_pool_size       20
BASH
Параметры файла fluent-bit.conf

ПараметрЗначение по умолчаниюОписание

Секция [SERVICE]

flush

1

Частота отправки данных (в секундах) из внутреннего буфера в выходные плагины

daemon

Off

Управление режимом работы в фоновом режиме

log_level

info

Уровень детализации журнала событий.

Может быть:

  • error;
  • warning
  • info
  • debug 

parsers_file

parsers.conf

Путь к конфигурационному файлу настройки обработчиков данных (парсеров). Можно задать несколько путей

plugins_file

plugins.conf

Путь к конфигурационному файлу настройки внешних расширений (плагинов)

http_server

Off

Управление режимом работы встроенного HTTP-сервера, предоставляющего API для мониторинга и управления.

Возможные значения:

  • on - встроенный HTTP-сервер включен;
  • off - встроенный HTTP-сервер выключен

http_listen

0.0.0.0

IP-адрес прослушивания встроенного HTTP-сервера

http_port

2020

Порт встроенного HTTP-сервера

storage.metrics

on

Управление режимом сохранения в постоянное хранилище.

Возможные значения:

  • on - «Ретранслятор» сохраняет внутренние метрики производительности в то же постоянное хранилище, что и обычные данные событий. Метрики буду экспортироваться только при включенном параметре http_server;
  • off - «Ретранслятор» не сохраняет внутренние метрики в постоянное хранилище

storage.path

/tmp/storage

По умолчанию параметр закомментирован.

Абсолютный путь для хранения буферов данных файловой системы (chunk)

storage.sync

normal

По умолчанию параметр закомментирован.

Управление режимом синхронизации, используемого для хранения данных в файловой системе. 

Возможные значения:

  • normal;
  • full

storage.checksum

off

По умолчанию параметр закомментирован.

Управление режимом проверки целостности данных при записи и чтении данных из файловой системы, используется алгоритм CRC32

storage.backlog.mem_limit

5M

По умолчанию параметр закомментирован.

Максимальное значение памяти, используемое при обработке резервных данных.

Резервные данные - это данные, которые не были отправлены и находятся на уровне хранилища. Такие данные проверяются, если задан и используется параметр storage.path

Секция [INPUT]

Name forward

Тип входного плагина. Значение forward используется для получения событий от других узлов «Ретранслятора»

Listen 0.0.0.0

IP-адрес прослушивания входящих событий. Значение 0.0.0.0 позволяет принимать соединения на всех интерфейсах

Port 24224

Порт прослушивания входящих событий

Buffer_Chunk_Size 1M

Размер буфера для хранения временных меток (chunk). Значение 1M зарезервировало 1 МБ для хранения данных

Buffer_Max_Size 6M

Максимальный размер буфера в случае очереди данных

Секция [OUTPUT]

Namepgsql

Определение типа выходного плагина. Значение pgsql указывает на отправку данных в СУБД PostgreSQL

Match*

Указывает на тег и суффикс записи, обрабатываемой выходным плагином. Параметр используется для вывода событий с определенным тегом и суффиксом в другие системы.

Формат: <тег>.<суффикс>.

Значение * соответствует всем записям

Host 127.0.0.1

Адрес сервера СУБД PostgreSQL

Port 5432

Порт, на котором работает СУБД PostgreSQL

User fluentbit

Имя пользователя для подключения к БД

Password Password!

Пароль пользователя для подключения к БД

Database fluentbit

Имя БД, в которую будут отправлены события

Table logs

Название таблицы БД, в которую будут записываться события

Time_Key timestamp

Ключ, под которым будет храниться временная метка

Time_Format %Y-%m-%d %H:%M:%S.%LZ

Формат временной метки

min_pool_size 1

Минимальный размер пула соединений

max_pool_size 20

Максимальный размер пула соединений