Match score not available

9464 - Engenheiro de Dados Sênior

Remote:

Full Remote

Contract:

Freelance

Work from:

Brazil

Offer summary

Qualifications:

Experience in shell scripting (sh/ksh/bash), Proficient in Python 3.x and Scala 2.x, Knowledge of relational and non-relational databases, Familiarity with CI/CD processes.

Key responsabilities:

Manage data processing and storage systems
Integrate APIs and maintain big data frameworks

Runtalent SME https://www.runtalent.it/

501 - 1000 Employees

See more Runtalent offers

Job description

Este é um cargo remoto.

Oportunidade:Engenheiro de Dados Sênior

Requisitos:

Experiência com shell script ( sh/ksh/bash ) ;
Experiência em Linguagem de programação python 3.x e scala 2.X;
Paradigma de Linguagem de Programação: Funcional, Procedural e OO. 3;
Ferramentas de build: sbt/maven IDEs Intellij/Vs-Code ;
Ferramentas de gestão de configuração gitlab e git;
Conhecimentos de CI/CD ;
Conhecimentos de Linux ( Sistema operacional, comandos básicos, gerenciamento de processos, gerenciamento de arquivos ) ;
Conhecimento em Banco de Dados Relacional : Oracle ;
Conhecimento e Experiência em Banco de Dados Não Relacional : Mongodb/ElasticSearch ;
Conhecimento e Experiência em Banco de Dados colunar: HBASE;
Integração de Sistemas conhecimento e experiência com APIs REST, APIs Soap;
Dominar os conceitos de Big-Data ( Hadoop, MapReduce, Ingestão de dados;
Processamento de dados e Armazenamento de dados ).

Desejável:

Conhecimentos de conteiner (docker/docker-compose), orquestração de conteiner (K8S, docker-swarm) e Kubernetes;
Conhecimentos, experiências e domínio em ecossistema Hadoop: Hive/HUE/Impala/Hbase/Hdfs/Sqoop/Beeline consultas, Armazenamento, Spark2/Spark3 SQL e Streaming, Dataframe Dados estruturados e semiestruturados em forma tabular Operações Transformações e Ações;
Formato de Arquivos Parquet, ORC, JSON, CSV, Plain Text YARN/Zookeeper ;

Gerenciamento de Processos Kerberos Autenticação ;
Conhecimentos em Control-M e Cloudera Manager;
Conhecimentos em Telecomunicações ( Operadora Móvel/Fixa ).

Modelo de atuação: Remoto.