Logo for Grupo TECDATA Engineering

Data Engineer – Migración de Cloudera a GCP

Role overview

Qualifications

  • Experience with HDFS and Google Cloud Storage
  • Advanced experience with Apache Spark, Scala, and PySpark
  • Experience in Spark Streaming and Apache Kafka
  • Knowledge of Kudu and destination solutions like Cloud SQL, Google Spanner, and Bigtable

Responsibilities

  • Migration of workloads to Dataproc and Dataproc Serverless
  • Experience with Hive Metastore and Apache Ranger
  • Governance of data including Dataplex and Cloud IAM
  • Migration, validation, and optimization of data pipelines in cloud environments

Key facts

Hard skills

About the company

Grupo TECDATA Engineering logo

Grupo TECDATA Engineering

  • IT Services & Consulting
  • Scaleup
  • 201–500
TECDATA , es una dinámica compañía de servicios en Tecnologías de la Información con infraestructura propia en España , ofreciendo servicios profesionales y soluciones tecnológicas para nuestros clientes. Aportamos mucha experiencia y muy focalizada en tecnologías específicas que nos hace diferentes , el cliente es la clave de nuestra estrategia, y centramos nuestros esfuerzos en comprender sus necesidades para incrementar su productividad y optimizar su negocio.

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

Buscamos un Data Engineer – Migración de Cloudera a GCP

Requisitos imprescindibles:

  • Experiencia con HDFS y Google Cloud Storage.

  • Experiencia avanzada con Apache Spark, Scala y PySpark, y migración de workloads a Dataproc y Dataproc Serverless.

  • Experiencia en Spark Streaming y Apache Kafka, incluyendo servicios gestionados de Kafka en GCP.

  • Conocimientos de Kudu y soluciones de destino como Cloud SQL, Google Spanner y Bigtable.

  • Experiencia con Hive Metastore, Apache Ranger y gobierno del dato, incluyendo Dataplex, Cloud IAM y BigQuery Policy Tags.

  • Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.

Related jobs

See all Cloud Operations Engineer jobs

Other jobs at Grupo TECDATA Engineering