Offer summary

Qualifications:

Experience with Databricks and its advanced features., Proficiency in Apache Spark for processing large data volumes., Strong SQL skills for data querying and transformation., Familiarity with cloud platforms like AWS, Azure, or Google Cloud..

Key responsibilities:

Design and develop scalable data pipelines for processing and transforming large datasets.

Integrate data from multiple structured and unstructured sources into a centralized storage system.

Optimize data processing efficiency using best practices in Spark and Databricks.

Collaborate with data scientists and analysts to provide and optimize datasets for various projects.

Job description

NEORIS es un acelerador Digital que ayuda a las compañías a entrar en el futuro, teniendo 20 años de experiencia como Socios Digitales de algunas de las mayores compañías del mundo. Somos más de 4,000 profesionales en 11 países, con nuestra cultura multicultural de startup en donde cultivamos innovación, aprendizaje continuo para crear soluciones de alto valor para nuestros clientes.

Estamos en búsqueda de Data Engineer - Databricks

Principales responsabilidades:

1. Diseño y Desarrollo de Pipelines de Datos: Construir, optimizar y mantener pipelines de datos escalables para procesar y transformar grandes volúmenes de datos.
2. Integración de Datos: Trabajar en la ingesta y unificación de datos desde múltiples fuentes, estructuradas y no estructuradas, integrándolas en un sistema de almacenamiento centralizado.
3. Optimización de Procesamiento de Datos: Mejorar la eficiencia de pipelines de datos utilizando mejores prácticas en Spark y optimizaciones propias de Databricks.
4. Modelado de Datos: Diseñar modelos de datos eficientes y adecuados para diferentes necesidades de análisis, optimizando consultas en lagos y warehouses de datos.
5. Implementación de ETL/ELT: Definir y desarrollar procesos ETL (extracción, transformación y carga) y ELT (extracción, carga y transformación) para transformar datos en insights prácticos.
6. Colaboración con Científicos de Datos y Analistas: Proveer y optimizar datasets para proyectos de Machine Learning, Business Intelligence y Analytics.
7. Seguridad y Gobernanza de Datos: Garantizar el cumplimiento de normas de seguridad, privacidad y gobernanza de datos en colaboración con equipos de compliance y TI.

Habilidades y Conocimientos Técnicos
1. Databricks: Experiencia en el uso avanzado de Databricks, incluidas las funcionalidades de notebooks, configuración de clústeres, optimización de jobs y conectividad con otros servicios.
2. Apache Spark: Dominio de Spark para procesar grandes volúmenes de datos y optimización de tareas en tiempo real.
3. SQL y Bases de Datos: Fuerte conocimiento de SQL para consultas, transformación y análisis de datos en bases de datos relacionales y no relacionales.
4. Lenguajes de Programación: Dominio de Python, especialmente para escribir scripts en Spark y manejar APIs de datos.
5. Data Lake y Data Warehouse: Experiencia en diseño y administración de lagos de datos (por ejemplo, Delta Lake) y warehouses (como Azure Synapse o Amazon Redshift).
6. Herramientas de ETL/ELT: Conocimiento en herramientas de orquestación como Apache Airflow, así como tecnologías específicas de ETL en la nube.
7. Herramientas en la Nube: Experiencia en plataformas de nube como AWS, Azure o Google Cloud, especialmente en servicios de almacenamiento, procesamiento y bases de datos.
8. Optimización y Performance Tuning: Conocimientos de técnicas para mejorar el rendimiento en el procesamiento de datos y configuración de recursos en Databricks.
Competencias Adicionales
• Pensamiento Analítico.
• Resolución de Problemas.
• Comunicación y Colaboración.

Modalidad: Remota

Inglés: Intermedio a nivel conversacional

Ofrecemos: