Change Data Capture para Business Intelligence y Data Warehouse

Change Data Capture para Business Intelligence y Data Warehousing

Seleccionado la tecnología adecuada para toma de decisiones en tiempo real

A medida que las necesidades de almacenamiento y recolección de datos, y el deseo asociado de aplicar inteligencia sobre los datos, han aumentado, también lo ha hecho el deseo de acceder a esos datos en cualquier momento y desde cualquier lugar. Los Data Warehouses han cumplido con su deber de adicionar datos para proporcionar una única fuente de Business Intelligence, pero aún estamos afinando nuestra capacidad para satisfacer las demandas de conexión constante e ininterrumpidamente, sin tener que programar el tiempo de inactividad debido a procesos de mantenimientos, copias de seguridad, etc.

Aquí es donde la tecnología de replicación como Change Data Capture (CDC) juega un papel importante: realizar tareas en segundo plano y asegurarse de que siempre podamos acceder a los datos que potencian la inteligencia en tiempo real.

Los Data Warehouses son soluciones analíticas muy exitosas para organizaciones que buscan optimizar los procesos del negocio, ahorrar costos y minimizar los riesgos. Tradicionalmente se han centrado en consolidar datos de una variedad de sistemas transaccionales.

Los datos de las aplicaciones de planificación (ERP), las soluciones de Supply Chain (SCM) y el software de gestión comercial (CRM) alimentan constantemente el Data Warehouse, al igual que muchas otras aplicaciones de datos específicas de la industria y desarrollos internos.

Con la proliferación de la tecnología basada en la nube, hay aún más fuentes de datos y objetivos para tener en cuenta en la estrategia de BI de una empresa. Por lo tanto, la integración de datos en el Data Warehouse sigue siendo una consideración esencial para este tipo de iniciativas.

WEBINAR

Alimentando un Data Warehouse en tiempo real con tecnología Change Data Capture

Fecha: Jueves 26 de Marzo 2020

Hora: 17:00hrs (CET Madrid)

Inscribase Aquí

Hasta hace muy poco, los trabajos de ETL (Extracción, Transformación y Carga) se ejecutaban una vez al día para poblar sistemas analíticos. Este enfoque de una vez al día funcionó bien porque los sistemas generalmente tenían un período durante el día (o la noche) cuando el sistema no estaba muy activo, lo que permitía ejecutar trabajos de extracción de datos sin afectar en el rendimiento de los sistemas en producción.

Sin embargo, en nuestro mundo global y altamente conectado, los sistemas están activos las 24 horas del día, los 7 días de la semana, lo que hace que sea menos recomendable ejecutar trabajos de extracción de datos. Por otro lado, las compañías ven valor en un acceso más rápido a los datos analíticos, para obtener una ventaja competitiva, reducir el fraude, etc. Volviendo los datos en tiempo real esenciales para los negocios modernos.

Alimentando un Data Warehouse en tiempo real con tecnología Change Data Capture

Con un Data Warehouse en tiempo real, las empresas pueden tomar decisiones más rápidamente en función de datos más actualizados, precisos y coherentes con las transacciones. Aquí es donde es útil la tecnología de replicación de datos heterogénea basado en lectura de logs, como el Change Data Capture (CDC). Como su nombre lo indica, los CDC identifican y luego sincronizan los cambios incrementales (deltas) con otro sistema.

Como Syniti Data Replication gestiona el proceso Change Data Capture

Debido a que no siempre el acceso a la lectura de los logs transaccionales de las bases de datos se encuentra disponible, Syniti Data Replication ofrece dos alternativas; uso de Triggers o Lectura de Logs para acceder a las bases de datos transaccionales.

Si bien, el proceso CDC vía lectura de logs no requiere de actualizaciones en las tablas o procesamiento de queries, leyendo directamente el registro sin afectar en la transacción, por ende no afectando el rendimiento de la base de datos, en algunos otros casos, especialmente para versiones muy antiguas de bases de datos (sistemas legacy) la única alternativa es la implementación de Triggers en las tablas a replicar.

Debido a que el proceso CDC basados en lectura de logs de Syniti Data Replication tiene un impacto mínimo en las aplicaciones de procesamiento de transacciones, se pueden aplicar a todos los escenarios posibles, incluidos los sistemas con volúmenes de transacciones extremadamente altos.

Con la replicación de datos en tiempo real utilizando CDC, no hay necesidad de una carga masiva regular entre la base de datos de origen y el Data Warehouse. Con el CDC basado en logs, los datos se mueven más rápidamente con menos presión sobre los recursos tanto en los sistemas de origen como de destino. Los cambios se pueden procesar mucho más cerca del tiempo real, y la latencia de datos se mide en segundos.

Las compañías modernas deben armar a sus equipos de BI con un flujo constante de datos en tiempo real para tomar las decisiones estratégicas necesarias para mantenerse competitivas diariamente. Alimentar un Data Warehouse en tiempo real con la tecnología CDC de Syniti Data Replication logra ese objetivo y ayuda a las organizaciones a aprovechar todo el potencial de sus soluciones de Inteligencia de Negocio.