Carga de datos MariaDB a Hadoop

Como integrar datos desde MariaDB a Hadoop en tiempo real

Syniti Data Replication (Anteriormente DBMoto) es la solución recomendada para integración, replicación y captura de datos desde MariaDB a Hadoop, permitiendo mover datos en forma transaccional y sin realizar una gran inversión.

No importa el tipo de proyecto, integrar datos desde diferentes sistemas operacionales, crear un sistema de Big Data, construir una aplicación para inteligencia de negocios o crear un sistema de respaldo corporativo, con Syniti Data Replication usted podrá integrar múltiples bases de datos MariaDB a Hadoop, entregando una alternativa para mantener copias actualizadas de su datos en múltiples bases de datos simultáneamente.

Tipo de replicación soportada:

BBDD Origen: MariaDB
BBDD Destino: Hadoop

• Refresh (Snapshot)
• Mirroring (Change Data Capture)

Principales características:

• Replicación de datos MariaDB a través de Triggers y Logs Transacionales
• Soporta MariaDB y Hadoop sobre todas las plataformas
• Soporte para ambientes Cluster
• Amplio soporte para ambientes en Cloud
• Verifer™ para auditoria de datos
• Solución no invasiva, no instala agentes o componentes en los sistemas de bases de datos
• APIs abiertas para integrar Syniti Data Replication al interior de arquitecturas o soluciones de terceros
• Completo registro de actividades y accesibilidad
• Creación automática de tablas en el destino
• Solución 100% gráfica, sin necesidad de programación de código
• Implementación rápida y transparente

Arquitectura Syniti Data Replication

Syniti Data Replication es una solución que puede ser instalada sobre cualquier sistema operativo Microsoft Windows, siendo altamente recomendado para ambientes productivos realizar la instalación sobre arquitectura de Servidor. Lo anterior no influye en los sistemas operativos donde se encuentren las bases de datos de origen y destino, ya que estas pueden correr sobre cualquier sistema operativo On-premise o Cloud.

Syniti Data Replication cuenta con dos componentes:

- Management Center
- SDR Server Agent

Management Center

El Management Center es la consola gráfica que facilita y acelera el proceso de instalación, configuración y administración de los procesos de replicación de datos entre MariaDB y Hadoop. Esta consola puede estar instalada en más de un sistema Microsoft Windows, permitiendo la gestión de múltiples usuarios, con diferentes niveles de permisos sobre los proceso de replicación.

Los usuarios de Syniti Data Replication pueden a través del Management Center, aplicar mayor inteligencia al proceso de replicación de datos, permitiendo realizar poderoso mapeos de los datos, redistribuyendo columnas, unificando columnas en destino, filtrando datos que no sean necesarios o aplicando operaciones aritméticas básicas en el proceso de replicación.

SDR Server Agent

El SDR Server Agent permite ejecutar los proceso de replicación, realizando las conexiones a las bases de datos de origen y destino, capturando las actualizaciones en los logs transaccionales de MariaDB y moviendo estas actualizaciones a Hadoop, con alta precisión y en tiempo real.

Migración de datos a sistema de Big Data

Migración continua de datos: El primer paso en el proceso de replicación continuo de datos, es realizar una carga incial. Este proceso permite mover el actual contenido de sus bases de datos MariaDB y poblar un sistema Hadoop a través de una inserción a alta velocidad. Dependiendo del tamaño de las bases de datos de origen, este proceso puede ser realizado con todas las bases de datos al mismo tiempo o bien por grupo de bases de datos.

Una vez que ambos sistemas contengan exactamente los mismos datos y posterior a una validación de los datos, utilizando SDR Verifer, usted puede mantener ambos sistemas trabajando en paralelo hasta que su proyecto defina el termino de la utilización de MariaDB.

Tal vez te interese leer:

MariaDB

Hadoop

Pruebe Syniti Data Replication para sus Sistemas Big Data

Descargue una versión de evaluación. Soporte técnico incluido durante este periodo.