Match score not available

Data Engineer

Remote: 
Full Remote
Contract: 
Experience: 
Senior (5-10 years)
Work from: 

Offer summary

Qualifications:

Over 5 years of experience in data engineering, Strong programming skills in Python, Advanced knowledge of PySpark, Experience with AWS EMR Serverless, Deep understanding of Apache Airflow.

Key responsabilities:

  • Design and develop data processing pipelines using Python and PySpark
  • Implement and manage scalable clusters with AWS EMR Serverless
  • Automate complex data workflows using Apache Airflow
  • Monitor performance and resolve data pipeline issues
  • Document data processes ensuring access to resources
Logicalis Spain logo
Logicalis Spain
1001 - 5000 Employees
See more Logicalis Spain offers

Job description

En Logicalis Spain estamos buscando a varios perfiles de Data Engineer, con conocimientos de Python, Pyspark, AWS EMR Serverless y Apache Airflow para el área de Data & Analytics y para el área de Data de uno de nuestros principales clientes del sector seguros.

REQUISITOS FUNCIONALES:

  • Como Data Engineer Senior, serás responsable de diseñar, construir y optimizar pipelines de datos escalables y eficientes que soporten grandes volúmenes de datos.
  • Utilizarás tecnologías clave como Python, PySpark y AWS EMR Serverless para procesar y analizar datos masivos, y gestionarás la automatización de flujos de trabajo con Apache Airflow.
  • Trabajarás en estrecha colaboración con otros equipos técnicos, como ingenieros de software y científicos de datos, para garantizar la entrega oportuna de datos limpios y accesibles para los modelos analíticos y de machine learning.

RESPONSABILIDADES:

  • Diseñar y desarrollar pipelines de procesamiento de datos utilizando Python y PySpark para grandes volúmenes de datos.
  • Implementar y gestionar clústeres escalables utilizando AWS EMR Serverless para procesar y analizar datos de manera eficiente.
  • Automatizar flujos de trabajo de datos complejos mediante Apache Airflow, garantizando la orquestación y ejecución confiable de tareas.
  • Optimizar el rendimiento de los pipelines y asegurar la integridad, calidad y disponibilidad de los datos en tiempo real.
  • Monitorear el rendimiento de las soluciones de datos y resolver cualquier incidente relacionado con los pipelines de datos o la infraestructura en AWS.
  • Implementar buenas prácticas de almacenamiento y procesamiento de datos en la nube, enfocándose en la optimización de costos y rendimiento.
  • Documentar procesos y flujos de trabajo de datos, asegurando que el equipo tenga un acceso claro y consistente a los recursos de datos.

REQUISITOS TÉCNICOS:

  • Más de 5 años de experiencia trabajando en ingeniería de datos, con un fuerte enfoque en la construcción y optimización de pipelines de datos.
  • Sólida experiencia en programación con Python y uso avanzado de PySpark para el procesamiento de datos distribuidos.
  • Experiencia en la configuración y gestión de entornos basados en AWS EMR Serverless para el procesamiento de grandes volúmenes de datos.
  • Conocimiento profundo de Apache Airflow para la automatización y orquestación de flujos de trabajo de datos.
  • Experiencia en el diseño y uso de AWS (S3, Lambda, Glue, etc.) para almacenamiento, procesamiento y análisis de datos en la nube.
  • Experiencia en la optimización de consultas y procesamiento de datos, asegurando eficiencia y escalabilidad.
  • Habilidades sólidas en la resolución de problemas y la optimización de procesos de ingesta y procesamiento de datos.
  • Experiencia trabajando en entornos colaborativos y ágiles.

BENEFICIOS

> Incorporación inmediata a compañía líder del sector IT con un alto grado de expertise en el área de Data & Analytics dónde nos encontramos en pleno proceso de expansión.

> Estabilidad laboral a través de contrato indefinido con amplias oportunidades de desarrollo profesional y crecimiento en la compañía.

> Modalidad de trabajo remoto, con flexibilidad para ir puntualmente a la oficina (Madrid o Barcelona).

> Paquete retributivo muy competitivo acorde a la valía del candidato.

> Posibilidad de acogerse a planes de retribución flexible (tarjeta restaurante, tarjeta transporte y tarjeta guardería).

> Seguro médico y GYMPASS.

> Planes de formación adaptados a cada perfil (cursos técnicos, certificaciones oficiales, formación de idiomas...).

> Portal de descuentos especiales para empleados.

Required profile

Experience

Level of experience: Senior (5-10 years)
Spoken language(s):
Spanish
Check out the description to know which languages are mandatory.

Other Skills

  • Problem Solving
  • Collaboration

Data Engineer Related jobs