В данной статье показан пример настройки GrayLog на CentOS 7 Graylog — платформа с открытым исходным кодом для централизованного сбора, хранения, анализа данных в локальных сетях. Разработчик рекомендует перед установкой спланировать ваш журнал событий. Для этого необходимо определиться с “стратегией” использования журналов, с тем какие логи необходимы, как собирать, кто будет иметь к ним доступ.
Разработчик рекомендует перед установкой спланировать ваш журнал событий. Для этого необходимо определиться с “стратегией” использования журналов, с тем какие логи необходимы, как собирать, кто будет иметь к ним доступ, как и сколько хранить.
Разработчик рекомендует перед установкой спланировать ваш журнал событий. Для этого необходимо определиться с “стратегией” использования журналов, с тем какие логи необходимы, как собирать, кто будет иметь к ним доступ, как и сколько хранить.
Стратегия использования журналов — H2
Минимальная стратегия исходит из позиции “Default No” при принятии решения, какие события собирать. Это означает, что вы не собираете никаких журналов если этого не требуется для определённого случая. Такая стратегия имеет ряд преимуществ снижает затраты на лицензирование и хранение за счёт уменьшения объёма собираемых событий. Такая стратегия также сводит к минимуму “шум”, создаваемый посторонними событиями, позволяя сосредоточиться на действительно важных. Наконец она повышает эффективность системы и запросов, производительность в целом.
Минимальная стратегия исходит из позиции “Default No” при принятии решения, какие события собирать. Это означает, что вы не собираете никаких журналов если этого не требуется для определённого случая.
Минимальная стратегия исходит из позиции “Default No” при принятии решения, какие события собирать. Это означает, что вы не собираете никаких журналов если этого не требуется для определённого случая.
Метод сбора
Graylog поддерживает множество типов ввода из коробки. На момент написания статьи Graylog поддерживает следующее:
- Syslog (TCP, UDP, AMQP, Kafka)
- GELF (TCP, UDP, AMQP, Kafka, HTTP)
- AWS (AWS Logs, FlowLogs, CloudTrail)
- Beats/Logstash
Наиболее важным фактором, связанным с пользователями, является количество пользователей. Если число большое или много пользователей будут запрашивать данные одновременно, вы можете принять это во внимание при разработке архитектуры.
Уровень квалификации пользователей следует учитывать. Менее технические пользователи могут потребовать больше предварительно созданного контента, такого как информационные панели. Им также может потребоваться дополнительная подготовка.
Расчет требований к хранению
Как и большинство хранилищ данных, Elasticsearch плохо реагирует, когда используется все доступное пространство. Чтобы такого не происходило, необходимо правильно планировать и контролировать.
Некоторые нормативные рамки требуют хранения данных журнала событий в течение установленного периода. При отсутствии четкого требования возникает вопрос о балансе стоимости хранения и полезности наличия исторических данных. Единого ответа нет, так как каждая ситуация индивидуальна.
Простое эмпирическое правило для планирования хранения — взять среднесуточную норму потребления, умножить ее на количество дней, в течение которых вам необходимо хранить данные в сети, а затем умножить это число на 1,3, чтобы учесть затраты метаданных. (ГБ / день х рет. Дней х 1,3 = требования к хранилищу).
Некоторые нормативные рамки требуют хранения данных журнала событий в течение установленного периода. При отсутствии четкого требования возникает вопрос о балансе стоимости хранения и полезности наличия исторических данных. Единого ответа нет, так как каждая ситуация индивидуальна.
Простое эмпирическое правило для планирования хранения — взять среднесуточную норму потребления, умножить ее на количество дней, в течение которых вам необходимо хранить данные в сети, а затем умножить это число на 1,3, чтобы учесть затраты метаданных. (ГБ / день х рет. Дней х 1,3 = требования к хранилищу).
Некоторые нормативные рамки требуют хранения данных журнала событий в течение установленного периода. При отсутствии четкого требования возникает вопрос о балансе стоимости хранения и полезности наличия исторических данных. Единого ответа нет, так как каждая ситуация индивидуальна.
Простое эмпирическое правило для планирования хранения — взять среднесуточную норму потребления, умножить ее на количество дней, в течение которых вам необходимо хранить данные в сети, а затем умножить это число на 1,3, чтобы учесть затраты метаданных. (ГБ / день х рет. Дней х 1,3 = требования к хранилищу).
Пользователи
Кто будет использовать решение?
Наиболее важным фактором, связанным с пользователями, является количество пользователей. Если число большое или много пользователей будут запрашивать данные одновременно, вы можете принять это во внимание при разработке архитектуры.
- Наиболее важным фактором, связанным с пользователями, является количество пользователей. Если число большое или много пользователей будут запрашивать данные одновременно, вы можете принять это во внимание при разработке архитектуры.
- Уровень квалификации пользователей следует учитывать. Менее технические пользователи могут потребовать больше предварительно созданного контента, такого как информационные панели. Им также может потребоваться дополнительная подготовка.
- Следует также обратить внимание на то, к каким источникам событий каждая группа пользователей должна иметь доступ. Как и во всех вопросах контроля доступа, должен применяться принцип наименьших привилегий.
