Key Facts

Remote From:

Full time

Spanish

Hard Skills

SQL (Programming Language) Data Architecture Apache Spark Data Quality Assessment Code Analysis Data Partitioning Data Normalization Electric Power Systems Slowly Changing Dimensions Apache Spark Databricks Continuous Training

Other Skills

•
Teamwork
•
Innovation

Roles & Responsibilities

Bachelor's degree in Systems Engineering or a related field with 3-5 years of data engineering experience and strong Spark expertise
Proficiency in PySpark or Scala
Experience with Delta Lake
Experience with incremental loads, SCD management, and Data Quality checks using expectations; advanced SQL

Requirements:

Build and maintain core batch and near-real-time data pipelines
Model and evolve Silver and Gold layers for analytical use cases
Optimize performance and reliability of distributed workloads
Implement and monitor Data Quality using expectations and contribute to engineering standards, best practices, and code reviews

Job description

NEORIS ahora parte de EPAM, es un acelerador Digital que ayuda a las compañías a entrar en el futuro, teniendo 20 años de experiencia como Socios Digitales de algunas de las mayores compañías del mundo. Somos más de 4,000 profesionales en 11 países, con nuestra cultura multicultural de startup en donde cultivamos innovación, aprendizaje continuo para crear soluciones de alto valor para nuestros clientes.

Estamos en búsqueda al talento que ocupe la posición como Data Engineer, profesional con sólida experiencia en Spark y Delta Lake para construir y optimizar pipelines core (batch y near-real-time), modelar capas Silver/Gold y asegurar la confiabilidad y el performance de nuestras soluciones de datos a escala.

Principales responsabilidades:

Construir y mantener pipelines core batch y NRT.
Modelar y evolucionar capas Silver y Gold para casos de uso analíticos.
Optimizar performance y confiabilidad en workloads distribuidos.
Implementar y monitorear Data Quality mediante expectations.
Realizar optimizaciones avanzadas: manejo de shuffle, skew, particionado, caching, etc.
Implementar cargas incrementales, gestionar SCD, normalización/denormalización orientada a analítica.
Contribuir a estándares de ingeniería, buenas prácticas y revisión de código.

Requerimientos:

Profesional en Ingeniería de Sistemas o formaciones similares com 3 a 5 años de experiencia como Data Engineer con fuerte dominio en Spark.
Experiencia sólida en:

1. PySpark o Scala
2. Delta Lake
3. Particionado y optimización con OPTIMIZE, Z-ORDER
4. Cargas incrementales y manejo de SCD
5. Data Quality con expectations
6. SQL avanzado

Certificaciones deseadas (no obligatorias)

Databricks Data Engineer Associate/Professional.
AWS (Data, Architect, o equivalente).
Certificaciones de Apache Spark.

Ofrecemos