Migrando desde Oracle a BigQuery para analítica en tiempo real

En este articulo vamos a revisar una replicación de datos en tiempo real entre una base de datos Oracle on-premise a BigQuery utilizando tecnología Change Data Capture.

Comúnmente el método para cargar información hacia un Data Warehouse es a través de cargas masivas. Hoy en día, ingerir, almacenar y manipular datos con servicios cloud como Google BigQuery hace todo el proceso fácil y con bajo impacto financiero.

Por otro lado, Syniti Data Replication le permite mover datos selectivos en tiempo real, permitiendo una replicación incremental sin impacto en los sistemas productivos, utilizando Change Data Capture para mayor precisión.

Creando la conexión en Oracle

El primer paso que debemos hacer al momento de crear una replicación de datos en tiempo real desde Oracle, es crear la conexión de origen en el Management Center de Syniti Data Replication, ingresando la dirección IP/instancia, usuario y contraseña.

A continuación, en el mismo asistente, seleccionar las tablas de Oracle que serán replicadas a BigQuery.

Por último, se debe habilitar la opción de replicación transaccional de Oracle, definiendo el método de lectura del Log Transaccional. Syniti Data Replication ofrece una alternativa de replicación transaccional para bases de datos que no tengan redo logs, a través de triggers, por ejemplo, para el caso de bases de datos Oracle v8.

El presente video en Youtube puede asistirlo en la creación de una conexión completa hacia una base de datos Oracle paso a paso, a través de logs transaccionales.

Creación de la conexión a BigQuery

Antes de realizar la conexión a BigQuery usted necesita instalar el conector de datos apropiado, para ello solo debe contactar a nuestro equipo de soporte técnico, y ellos le ayudaran a obtener los componentes necesarios para realizar la conexión, incluso si usted desea utilizar serialización AVRO™.

Para crear la conexión solo debemos seguir el intuitivo asistente gráfico de Syniti Data Replication, ingresando la ubicación del proyecto, la ubicación de los servicios locales y el tipo de serialización, entre las que se encuentran disponibles CSV, JSON y AVRO

Creando las tablas de destino en BigQuery

Si bien tablas físicas no existen en BigQuery, dentro de Syniti Data Replication debe visualizar hacia donde estamos enviando los datos para un mayor orden y rápida administración.

Para completar este paso, solo debemos tomar la tabla de origen en Oracle y soltarla sobre la conexión en BigQuery, esto abrirá un asistente que permitirá definir la ubicación que contendrán nuestros datos replicados.

Creando las replicaciones en Syniti Data Replication

El siguiente paso es la creación de las replicaciones, en este paso se debe definir el tipo de replicación a utilizar, con BigQuery como destino, están disponibles dos poderosas alternativas de replicación:

Refresh: Un proceso de carga de datos a alta velocidad, el cual puede programarse para ser ejecutado a horas determinadas por el usuario.

Change Data Capture: El proceso de replicación transaccional, utilizando logs de Oracle para capturar las actualizaciones sin impacto significantes en los sistemas productivos.

Una vez definido el tipo de replicación para nuestros datos y el intervalo de tiempo en el cual vamos a replicar nuestra información, debemos definir que tipos de datos vamos a replicar, para ello, Syniti Data Replication ofrece la posibilidad de descartar campos que no se requieran replicar, permitiendo dejar datos específicos en BigQuery.

Una vez definidas nuestras reglas de mapeo podemos continuar con el proceso de replicación.

Ejecutando el motor de replicaciones

Por último, solo debemos activar el servicio de replicación, desde el menú de tareas de Windows, el cual puede ser activado como un servicio en Windows o como una aplicación.

En ambientes productivos es altamente recomendado utilizar la opción de servicio de Windows, ya que esto permitirá que el servicio se levante en forma automática en caso de algún reinicio de sistema.

Cuáles son los siguientes pasos

Como puede ver, el proceso de mover datos desde Oracle a BigQuesry es bastante simple, rápido y no requiere de programación o conocimiento de sintaxis propietaria. Hasta este punto su sistema BigQuery contendrá las ultimas actualizaciones, por ende, ya podrá avanzar en sus modelos analíticos y de machine learning, minimizando el impacto en sus sistemas productivos.

Syniti Data Replication, no solo soporta integraciones de datos entre Oracle y BigQuery, usted puede revisar que plataformas soportamos como origen y destino de datos.

Lo invitamos a descargar una versión de evaluación con soporte técnico incluido.

Pruebe Syniti Data Replication para sus Sistemas BigQuery

Descargue una versión de evaluación. Soporte técnico incluido durante este periodo.