Ingeniero Big Data - Integración de Datos y CDC

JOB DESCRIPTION

¡Sé parte de Stefanini!

Buscamos un Ingeniero de Datos con experiencia en integración de datos y mecanismos de captura de cambios (CDC), responsable de implementar, configurar, probar y estabilizar flujos de replicación de datos desde Oracle hacia Apache Kafka y PostgreSQL.

El profesional participará en la implementación de una arquitectura de integración basada en Oracle, LogMiner, Debezium, Kafka Connect, Apache Kafka y JDBC Sink, asegurando la integridad, continuidad y trazabilidad de los datos durante su procesamiento y transferencia.

Se valorará la experiencia con herramientas CDC como Debezium, Oracle GoldenGate, IBM IIDR, Qlik Replicate, AWS DMS u otras tecnologías equivalentes.

RESPONSIBILITIES AND ASSIGNMENTS

• Implementar y configurar flujos de integración y replicación de datos mediante tecnologías CDC.
• Participar en la configuración de Apache Kafka, incluyendo topics, particiones, offsets, replication factor y políticas de retención.
• Configurar y validar los mecanismos de integración entre Oracle, Kafka y PostgreSQL.
• Implementar y configurar conectores de captura y escritura de datos, utilizando Kafka Connect, Debezium y JDBC Sink, según la arquitectura definida.
• Ejecutar pruebas de integración para validar operaciones INSERT, UPDATE y DELETE.
• Realizar pruebas de integridad, consistencia y reconciliación de datos entre origen y destino.
• Diagnosticar problemas de integración, retrasos en la captura de datos, errores de conectividad y procesamiento.
• Participar en pruebas de rendimiento, recuperación y continuidad operativa.
• Coordinar con los equipos de DBA, Infraestructura, Redes y Seguridad para la implementación de la solución.
• Elaborar documentación técnica, procedimientos de recuperación y manuales de operación.
• Realizar transferencia de conocimiento al equipo responsable del soporte y operación.

REQUIREMENTS AND QUALIFICATIONS

Tecnología / conocimiento

• Apache Kafka - Intermedio
• Herramientas CDC - Intermedio

• SQL - Intermedio
• Apache Spark - Intermedio, sujeto a validación de necesidad
• Linux - Intermedio
• Oracle - Experiencia en consultas, transacciones y validación de datos
• Integración de datos - Experiencia en proyectos productivos

• Kafka Connect: workers, connectors y tasks.
• PostgreSQL: integración y validación de datos.
• Oracle LogMiner y manejo de REDO / Archived REDO.
• Java / JVM.
• Alta disponibilidad (HA), recuperación y continuidad de procesos.
• Monitoreo de lag, latencia, throughput y performance.
• Manejo de datos LOB: CLOB, BLOB y NCLOB.
• Automatización con Bash o Python.
• Redes y conectividad: DNS, puertos y NTP.

Creer para co-crear

¿Buscas un lugar donde tus ideas brillen?

Con más de 38 años y una presencia global, en Stefanini transformamos el mañana juntos. Aquí, cada acción cuenta y cada idea puede marcar la diferencia. Únete a un equipo que valora la innovación, el respeto y el compromiso. 

Si eres una persona disruptiva, te mantienes en aprendizaje continuo y la innovación está en tu ADN, entonces somos lo que buscas. ¡Ven y construyamos juntos un futuro mejor!