Научитесь мониторингу на уровне Golden Gate

Мониторинг Oracle GoldenGate: узнайте, как его контролировать

Что такое Oracle Golden Gate?

Oracle Golden Gate обеспечивает обмен и контролирование данных в масштабах предприятия, что позволяет принимать решения в режиме реального времени. Он работает на нескольких (состоящих из разных элементов) платформах, при этом перемещая транзакции, которые фиксируются в целостности, позволяя минимально перегружать инфраструктуру. Он имеет модульную архитектуру, обеспечивающую гибкость, возможность извлекать и реплицировать выбранные записи данных, изменения DDL или «Data Definition Language» (в настоящем разнообразии топологий) и транзакционные изменения.

Что касается поддержки DDL, мы знаем, что определенные конфигурации и топологии захвата или доставки зависят от типа базы данных. От Pandora FMS мы рекомендуем нашим читателям обратиться к документации, связанной с установкой и настройкой Oracle Golden Gate, для их соответствующих баз данных, чтобы получить подробную информацию о поддерживаемых конфигурациях, а также о возможностях. Важно знать все это, прежде чем обсуждать, как осуществлять мониторинг Oracle GoldenGate..

Golden Gate способен поддерживать различные требования, такие как:

• Первоначальная загрузка и перенос базы данных
• Высокая доступность и непрерывность бизнеса
• Хранение данных и поддержка принятия решений
• Интеграция данных

Для получения полной информации о методологии обработки, функциональности, требованиях к конфигурации и поддерживаемых топологиях, пожалуйста, также обратитесь к документации Oracle Golden Gate для соответствующих баз данных.

Продолжая рассказывать о его архитектуре и переходя к способам мониторинга Oracle GoldenGate, скажем, что он может быть настроен для нескольких целей:

• Для извлечения и репликации (обе непрерывные) транзакционных операций Data Manipulation Language (DML) и изменений Data Definition Language (DDL) (для поддерживаемых баз данных), чтобы поддерживать адекватную согласованность исходных и целевых данных.
• Для статического извлечения записей данных из одной базы данных и загрузки этих записей в другую базу данных.
• Для извлечения из базы данных и репликации в файл вне этой базы данных.

---

---

Компоненты Oracle Golden Gate

Компоненты Golden Gate следующие: Data Bomb, Extract, Checkpoints, Extract Files or Trails, Replicat, Collector и Manager.
Особенно выделяется процессизвлечения, который является механизмом захвата Golden Gate от Oracle. Кроме того, извлечение выполняется на исходной системе или на последующей базе данных или, если предпочтительнее, на обеих.
Мы можем настроить «Extract» различными способами:

• Изменение синхронизации: оказывается, что Extract захватывает операции DML и DDL после того, как произошла начальная синхронизация.
• При начальной загрузке: При начальной загрузке данных Extract захватывает текущий, статический набор данных непосредственно из объектов-источников.

Метод 1. Для извлечения захватов из источника данных мы можем использовать исходные таблицы (в случае, если выполняется начальная загрузка) и из журналов восстановления базы данных или журналов транзакций (например, журналы «Redo» Oracle Data Base или журналы аудита SQL/MX). Однако фактический метод захвата журнала варьируется в зависимости от типа базы данных, задействованной в каждом конкретном случае.
Например, Oracle Golden Gate for Oracle предлагает интегрированный режим захвата, в котором Extract взаимодействует непосредственно с сервером журналов базы данных, который, в свою очередь, извлекает поток транзакций Oracle. От Pandora FMS мы предлагаем читателям, желающим получить более подробную информацию об интегрированном захвате, перейти по ссылке+ .

Другой метод можно найти в стороннем модуле захвата, который обеспечивает коммуникационный уровень, передающий данные и метаданные от внешнего API к API Extract. Получается, что поставщик базы данных предоставляет нам компоненты, которые, в свою очередь, извлекают операции с данными и передают их в Extract.

Data Pump

Что такое Data Pump (или насос данных)? Это группа Extract (вторичная), которая находится в конфигурации источника Oracle Golden Gate. Если Data Pump не используется, Extract должен перейти к отправке операций с данными, которые были захвачены, на удаленный путь на цели. Однако в типичной конфигурации Data Pump так называемая Primary Extract Group выполняет запись в запись, расположенную в исходной системе. Data Pump считывает этот путь и отправляет операции с данными по сети на удаленный путь на целевом устройстве, а Data Pump добавляет гибкость хранения и, конечно, служит для изоляции (основного) процесса извлечения от активности TCP/IP.

Вообще говоря, насос данных способен выполнять фильтрацию, преобразование и сопоставление данных, но он также может быть настроен в «сквозном режиме», когда данные передаются без каких-либо манипуляций. Этот режим увеличивает производительность насоса, поскольку вся функциональность, которая ищет определения объектов, опущена.

Для тех читателей, которые хотят дополнить представленную нами информацию об Oracle Golden Gate, от Pandora FMS, рекомендуем перейти по этой ссылке.

Как осуществлять мониторинг Oracle GoldenGate?

Посредством использования информационных команд в GGSCI:

Для просмотра и анализа информации об обработке лучше всего использовать GGSCI. Ниже перечислены команды для просмотра информации об обработке:

• Команда INFO { EXTRACT│REPLICAT } группа [ DETAIL] показывает: статус выполнения, контрольные точки, приблизительную задержку и информацию о среде.
• INFO MANAGER показывает нам статус выполнения и номер порта.
• INFO AL показывает нам вывод INFO для всех процессов Oracle Golden Gate в системе.
• Группа STATS { EXTRACT │ REPLICAT } показывает нам статистику по объему обработки и количеству выполненных операций.
• Группа STATUS { EXTRACT │ REPLICAT } показывает статус выполнения, т.е. начало, выполнение, остановка и прерывание.
• STATUS MANAGER показывает нам статус выполнения
• Группа LAG { EXTRACT │ REPLICAT } показывает задержку между последней обработанной записью и временной меткой в источнике данных.
• INFO { EXTTRAIL │ RMTTRAIL } след показывает название связанного процесса, позицию последних обработанных данных и максимальный размер файла.

Важное замечание: существует множество других команд для мониторинга Oracle GoldenGate. Но поскольку перечислять их все было бы слишком долго, мы рекомендуем читателям обратиться к этой ссылке.

мониторинг Oracle GoldenGate посредством анализа извлечения экстракта:

Ограниченное восстановление является уникальным для Oracle. Если Extract закрывается необычно или ненормально, в случае долго открытой транзакции, может показаться, что при повторном запуске потребуется много времени для восстановления.
Чтобы получить состояние обработки, Extract должен провести поиск в онлайновых (и архивных, если необходимо) журналах, чтобы найти первую запись для этой длительной транзакции. Чем дальше мы отходим назад по времени к началу транзакции, тем больше времени займет поиск, и тем дольше может показаться, что Extract задерживается. Чтобы избежать этого и убедиться, что Extract извлекается правильно, мы должны использовать команду SEND EXTRACT с опцией STATUS.

Появится одна из следующих аннотаций состояния, и мы сможем продолжить процесс по мере того, как Extract будет менять свою позицию чтения записей, во время самого извлечения:

• В процессе восстановления [1] : указывает, что оператор восстанавливается в контрольной точке в журнале транзакций.
• В процессе восстановления [1] : указывает, что экстракт восстанавливается от своей контрольной точки до конца пути.
• Восстановление завершено : сообщает нам, что восстановление завершено, и обычная обработка данных возобновится.

Последующий контроль (мониторинг):

Статистика Lag показывает нам, что процессы Oracle Golden Gate не отстают от объема данных, генерируемых бизнес-приложениями. Используя эту информацию, мы можем диагностировать подозрительные проблемы и регулировать производительность этих процессов. Все для того, чтобы минимизировать задержки между исходной и целевой базами данных.

Для целей Lag для Extract, задержка – это разница (в секундах) между моментом, когда запись была обработана Extract (согласно системным часам) и временной меткой этой записи в источнике данных. Для Replicat задержка – это разница (также в секундах) между моментом, когда Replicat обработал последнюю запись (согласно системным часам), и временной меткой записи на пути. Теперь, чтобы наблюдать статистику задержки, мы должны использовать команду LAG или SEND в GGSCI.

Очень важно отметить, что команда INFO возвращает статистику задержки. Однако в этом случае статистика берется из последней проверенной записи, а не из текущей записи, которую мы обрабатываем. Кроме того, эта команда менее точна, чем LAG и INFO.

Чтобы контролировать Golden Gate, необходимо следить за тем, как Lag отчитывается:

Чтобы указать интервал, с которым Администратор проверяет задержку Extract и Replicat, мы должны использовать параметр LAGREPORTMINUTES или LAGREPORTHOURS. С другой стороны, чтобы установить порог смещения, который считается критическим, и заставить выводить предупреждение в журнал ошибок при достижении этого порога, мы должны использовать параметр LAGCRITICALSECONDS ; LAGCRITICALMINUTES или, если хотите, LAGCRITICALHOURS. Обратите внимание, однако, что эти параметры влияют на процессы Extract и Replicat.

Теперь, чтобы определить порог задержки, мы должны использовать параметры LAGINFOSECONDS, LAFINFOMINUTES или LAGINFOHPURS. Но в случае, если задержка превышает указанное нами значение, Oracle Golden Gate сообщает информацию о задержке в журнале ошибок. В случае если задержка превышает значение, заданное параметром LAGCRITICAL, Администратор сообщит нам, что задержка является критической. Если задержка не критична, нас информируют сообщением. Значение ноль (0) вызывает принудительное отправление сообщения с указанной частотой, с параметрами LAGREPORTMINUTES или LAGREPORTHOURS.

Мы представили наиболее важные инструменты для мониторинга Oracle GoldenGate, но если читатели захотят узнать о других методах, таких как обработка контроля томов, использование журнала ошибок, использование отчета о процессах, использование файла отбраковки, обслуживание файлов отбраковки, использование системных журналов, согласование разницы во времени и другие связанные вопросы, они могут обратиться к этой официальной странице Oracle. Кроме того, в Pandora FMS вы также можете найти ценную информацию о мониторинге сервера.

Наконец, помните, что если вам необходимо контролировать более 100 устройств, вы можете воспользоваться БЕСПЛАТНОЙ 30-дневной ДЕМО-версией Pandora FMS Enterprise. Получите ее здесь.