Журналы: что это такое и зачем их отслеживать?

Что такое бревно, для чего оно используется и некоторые из основных типов бревен

В общей вычислительной технике говорить о “журнале” – значит ссылаться на более или менее низкоуровневую информацию, сообщаемую операционной системой или конкретным приложением, которая служит для определения того, что оно делает, включая ошибки, проблемы или незначительные предупреждения, и когда это произошло, с указанием даты, времени и секунды. В некоторых случаях можно определить источник, пользователя, IP-адрес и другие интересные поля с точки зрения произошедшего.

Каждое приложение и операционная система могут иметь свой формат журнала; на самом деле, хотя и существует определенный стандарт для унификации журналов – обобщенно называемый syslog – правда заключается в том, что большинство приложений все еще имеют свои собственные форматы.

Обратите внимание, что термин “журнал” настолько общий, что он даже не определяет, как и где хранится эта информация. На самом деле, системы Microsoft Windows хранят информацию в так называемых “системных событиях”, доступ к которым осуществляется через средство просмотра системных событий. Каждое системное событие в Windows имеет ряд полей, которые определяют событие, его критичность, тип информации, категорию и т.д.

Так выглядит событие Windows, которое является журналом Windows:

Если в Windows системный журнал и журнал приложений почти всегда объединены в системном средстве просмотра событий, то в Unix-системах (и я включаю Linux в эту категорию) все гораздо более хаотично, и вы обнаружите, что существует не один журнал, а несколько журналов в разных форматах.

Это пример журнала (сообщений) Linux:

Nov 17 04:19:52 cylon3 systemd: Stopping The Apache HTTP Server…
Nov 17 04:19:53 cylon3 systemd: Stopped The Apache HTTP Server.
Nov 17 04:19:54 cylon3 systemd: Starting The Apache HTTP Server…
Nov 17 04:19:54 cylon3 httpd: AH00558: httpd: Не удалось достоверно определить полное доменное имя сервера, используя fe80::4637:e6ff:fedd:fa27. Установите директиву ‘ServerName’ глобально, чтобы подавить это сообщение
Nov 17 04:19:54 cylon3 systemd: Started The Apache HTTP Server.
Nov 17 04:20:41 cylon3 yum[26424]: Установлено: php-imap-7.3.24-1.el7.remi.x86_64
Nov 17 04:20:42 cylon3 yum[26424]: Установлено: php-ldap-7.3.24-1.el7.remi.x86_64
Nov 17 04:20:44 cylon3 yum[26424]: Установлено: php-mbstring-7.3.24-1.el7.remi.x86_64
Nov 17 04:20:52 cylon3 systemd: Stopping The Apache HTTP Server…
Nov 17 04:20:53 cylon3 systemd: Stopped The Apache HTTP Server.
Nov 17 04:20:53 cylon3 systemd: Starting The Apache HTTP Server…
Nov 17 04:20:53 cylon3 httpd: AH00558: httpd: Could not reliably determine the server’s fully qualified domain name, using fe80::4637:e6ff:fedd:fa27. Установите директиву ‘ServerName’ глобально, чтобы подавить это сообщение
Nov 17 04:20:53 cylon3 systemd: Started The Apache HTTP Server.
Nov 17 05:01:01 cylon3 systemd: Started Session 71 of user root.
Nov 17 06:01:01 cylon3 systemd: Started Session 72 of user root.
Nov 17 07:01:01 cylon3 systemd: Started Session 73 of user root.
Nov 17 07:20:32 cylon3 systemd: Starting Cleanup of Temporary Directories…

В системах Linux журналы хранятся в файлах, расположенных в каталоге /var/log, хотя многие программы обрабатывают свои собственные журналы и хранят их в /var/log/. Преимущество Linux в том, что большинство журналов – это обычные текстовые файлы журналов, доступные и просматриваемые с помощью любого инструмента работы с текстом, в отличие от событий Windows, доступ к которым возможен только через средство просмотра событий и/или низкоуровневый API.

Одними из наиболее важных журналов в Linux, которые должны быть во всех системах, являются следующие:

• /var/log/messages – Здесь находятся общие системные журналы. Многие приложения сбрасывают свои журналы сюда через программу syslog, которая собирает журнальные события от других приложений и помещает их в этот файл.
• /var/log/secure – В этом журнале регистрируются входы в систему, сколько раз мы делаем su и т.д. Неудачные попытки записываются в строках с информацией, например, недействительный пароль или сбой аутентификации.
• /var/log/dmesg – В этом файле хранится информация, сгенерированная ядром во время загрузки системы, и другие события, которые оно может генерировать во время выполнения. Обычно это низкоуровневые сообщения, не перехватываемые подсистемой syslog.

Некоторые типичные журналы приложений, которые можно найти дополнительно, следующие:

• /var/log/maillog – журнал рассылки, обычно связанный с локальной подсистемой рассылки (SMTP, Postfix, sendmail).
• /var/log/pandora/pandora/pandora/pandora/pandora_agent.log – Журнал агента мониторинга Pandora FMS, который информирует нас о каждом выполнении и о том, не возникло ли проблем.
• /var/log/httpd/access_log – Журнал HTTP-сервера, например, Apache.

Для чего мы можем использовать журналы?

Это зависит от того, что вам нужно, но важно знать, что журналы могут быть важны с точки зрения безопасности, а также для анализа использования системы, производительности или обнаружения неисправностей.

Журналы иногда становятся “пищей” для методов машинного обучения, позволяющих обнаружить закономерности, которые помогают принимать решения.

Журналы необходимы для управления и контроля доступа к ресурсам; это связано с аудитом безопасности и производными.

Можно отслеживать журналы и устанавливать правила для оповещения, когда что-то происходит. Это одна из тех вещей, которые делают такие системы, как Pandora FMS.

Одним словом, журналы могут помочь нам понять, как используется наша система, чтобы предотвратить утечку информации, а также несоответствующее поведение, вызывающее ошибки.

Существуют различные технологии для централизованного управления журналами, наиболее известная во всем мире – Splunk, а другая – Pandora FMS для сбора журналов, которая позволяет хранить, собирать и управлять журналами.

Что такое журналы Amazon CloudWatch?

Amazon CloudWatch Logs предназначен для мониторинга и хранения файлов журналов от экземпляров Amazon Elastic Compute Cloud (Amazon EC2), AWS CloudTrail, Route 53 и других источников Amazon.

CloudWatch Logs позволяет вам централизовать журналы всех используемых вами систем, приложений и служб AWS в единой, высокомасштабируемой службе. К ним можно получить доступ и просмотреть, чтобы найти в них определенные шаблоны или коды ошибок, отфильтровать в соответствии с содержанием определенных полей или надежно заархивировать для будущего анализа.

CloudWatch Logs позволяет просматривать все журналы, независимо от их источника, в виде единого целостного потока событий, отсортированных по дате и времени, а также запрашивать и сортировать их по другим параметрам, группировать по определенным полям и т.д. Он также позволяет экспортировать эти данные, чтобы другие системы (например, Splunk или Pandora FMS) могли управлять ими извне.