Настройка узла «Ретранслятора» с ПО Fluent Bit

Для централизованного сбора событий в «Хранилище журналов» Вместо ПО Fluentd (см. подраздел Настройка узла «Ретранслятора») может использоваться ПО Fluent Bit. 

ПО Fluent Bit может быть установлено на узел:

  • ОС Linux. Описание установки приведено ниже. После установки нужно выполнить настройку ПО;
  • ОС Microsoft Windows. Рекомендуется загрузить последнюю стабильную версию с официального сайта Fluent Bit: https://fluentbit.io/. После установки нужно выполнить настройку ПО.

Для установки ПО Fluent Bit в Linux нужно:

  • в файл /etc/apt/sources.list добавить репозиторий ПО, например:
deb https://packages.fluentbit.io/ubuntu/focal focal main
  • выполнить обновление списка пакетов:
sudo apt update
  • установить ключ репозитория:
sudo wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
  • установить пакеты fluent-bit и td-agent-bit:
sudo apt install fluent-bit td-agent-bit
  •  перейти к настройке ПО Fluent Bit.

Для настройки Fluent Bit в Linux нужно:

  •  добавить поля [INPUT] и [OUTPUT] в конфигурационный файл /etc/fluent-bit/fluent-bit.conf. Пример:

Секция[INPUT]определяет настройки для получения входящих событий, [OUTPUT] определяет настройки для сохранения полученных событий.

Здесь и далее примеры IP-адресов приведены в соответствии с RFC 5737. Указанные IP-адреса должны быть заменены на актуальные, используемые согласно схеме адресации, принятой в инфраструктуре организации.

[INPUT]
    Name              forward
    Listen            0.0.0.0
    Port              24224
    Buffer_Chunk_Size 1M
    Buffer_Max_Size   6M

[OUTPUT]
    Name                pgsql
    Match               *
    Host                192.0.2.3
    Port                5432
    User                UserName
    Password            UserPassword
    Database            fluentbit
    Table               fluentbit_table
    Time_Key            timestamp
    Time_Format         %Y-%m-%d %H:%M:%S
    min_pool_size       1
    max_pool_size       20
  •  перезапустить службу fluent-bit для применения настроек:
sudo systemctl restart fluent-bit
  • убедиться, что служба запустилась корректно, выполнив команду:
sudo systemctl status fluent-bit

Перечень параметров, задающихся через файл /etc/fluent-bit/fluent-bit.conf, приведен в таблице.

ПараметрОписание

Секция [INPUT]

Name

Тип входного плагина. Значение forward используется для получения событий от других узлов Fluent Bit

Listen

IP-адрес прослушивания входящих событий. Значение 0.0.0.0 позволяет принимать соединения на всех интерфейсах

Port

Порт прослушивания входящих событий

Buffer_Chunk_Size

Размер буфера для хранения временных меток (chunk). Значение 1M зарезервировало 1 МБ для хранения данных

Buffer_Max_Size

Максимальный размер буфера в случае очереди данных

Секция [OUTPUT]

Name

Определение типа выходного плагина. Значение pgsql указывает на отправку данных в СУБД PostgreSQL

Match

Указывает на записи, обрабатываемые выходным плагином. Значение * соответствует всем записям

Host

Адрес сервера СУБД PostgreSQL

Port

Порт, на котором работает СУБД PostgreSQL

User

Имя пользователя для подключения к БД

Password

Пароль для пользователя БД

Database

Имя БД, в которую будут отправлены события

Table

Название таблицы БД, в которую будут записываться события

Time_Key

Ключ, под которым будет храниться временная метка. Необязательный параметр

Time_Format

Формат временной метки. Необязательный параметр

min_pool_size

Минимальный размер пула соединений

max_pool_size

Максимальный размер пула соединений

 Для настройки Fluent Bit в Microsoft Windows нужно:

ПО Fluent Bit для ОС Microsoft Windows не поддерживает плагин для работы с СУБД PostgreSQL, настройка выгрузки событий будет производиться в файл.

  • отредактировать файл конфигурации C:\Program Files\fluent-bit\conf\fluent-bit.conf. Пример:
[INPUT]
    Name              forward
    Listen            0.0.0.0
    Port              24224
    Buffer_Chunk_Size 1M
    Buffer_Max_Size   6M

[OUTPUT]
    Name file
    Match *
    File termidesk.log
    Path C:\logFolder\
  • сохранить изменения и перезапустить службу Fluent Bit, для этого:
    • открыть меню «Пуск» и ввести «services.msc» для доступа к списку служб Windows;
    • найти службу fluent-bit, открыть контекстное меню правой кнопкой мыши и нажать экранную кнопку [Перезапустить].

Перечень параметров, задающихся через файл C:\Program Files\fluent-bit\conf\fluent-bit.conf, приведен в таблице.

ПараметрОписание

Секция [INPUT]

Name

Тип входного плагина. Значение forward используется для получения событий от других узлов Fluent Bit

Listen

IP-адрес прослушивания входящих событий. Значение 0.0.0.0 позволяет принимать соединения на всех интерфейсах

Port

Порт прослушивания входящих событий

Buffer_Chunk_Size

Размер буфера для хранения временных меток (chunk). Значение 1M зарезервировало 1 МБ для хранения данных

Buffer_Max_Size

Максимальный размер буфера в случае очереди данных

Секция [OUTPUT]

Name

Определение типа выходного плагина. Значение pgsql указывает на отправку данных в СУБД PostgreSQL

Match

Указывает на записи, обрабатываемые выходным плагином. Значение * соответствует всем записям

File

Имя файла, в который будут записываться события

Path

Путь к файлу