Match score not available

Data Engineer

Remote:

Full Remote

Contract:

Full time

Experience:

Mid-level (2-5 years)

Work from:

Spain

Offer summary

Qualifications:

3-4 years Data Engineer experience with PySpark, Experience in Cloud environments, Azure, Lucidchart, Data Factory, Power BI.

Key responsabilities:

Develop PySpark code for data transformation
Data ingestion, process orchestration, data quality assurance

WayOps Startup https://wayops.eu/

2 - 10 Employees

See more WayOps offers

Job description

En WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data & AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías. **

CONTEXTO & RESPONSABILIDADES**

La persona seleccionada se incorporará dentro de nuestro equipo Data & AI core , participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion . Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato. **

EXPERIENCIA & CONOCIMIENTOS**

El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI.

Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI/CD en Azure DevOps y conocimientos en Machine Learning,

Será necesario tener experiencia previa con tecnologías:

Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect)
Azure (Data Factory, Databricks, Storage, SQL Databases)
ETL (ER, Relational-model, Star-model, MDM)
Azure DevOps (Boards)
Analytics (PowerBI)
Ecosistema Hadoop (HDFS, Map/Reduce, Spark, Hive)
Herramientas (Visual Studio Code, Git)

Además se valorará positivamente contar con experiencia o conocimientos en:

Azure (Event Hubs, IoTHub, CosmosDB, Application Insights)
Azure DevOps (Pipelines, Repos, Test Plans, Artifacts)
Machine Learning (sklearn, mllib, h2o, tensorflow, keras)
Spark (GraphX & GraphFrames, Structured Streaming, Scala, Optimización)
Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin)

CONTRATACIÓN & UBICACIÓN

La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata.