Offer summary

Qualifications:

Mastery of distributed computing and data pipelines (stream and batch)., Solid experience in system observability., Proficiency in Scala (or Java as an alternative)., Experience with Apache Flink, Spark, and Databricks (Delta Live Tables)..

Key responsabilities:

Maintain and optimize the main data ingestion pipeline based on Apache Flink.

Design robust stream and batch pipelines for weather data applications.

Enhance the architecture to be more modular and improve deployment processes.

Mentor the team and promote best practices in data engineering.

Job description

DescriptionVOS MISSIONS Nous recherchons un·e Senior Data Engineer spécialisé·e dans le calcul distribué pour rejoindre l'équipe de data engineering et science. En tant que responsable du pipeline d'ingestion des données de nos stations météorologiques, il s'agira d'être au coeur de notre activité. Les principales missions seront : - Maintenir et optimiser notre pipeline principal d'ingestion basé sur Apache Flink, écrit en Scala et fonctionnant sur des clusters AWS EMR. - Concevoir des pipelines en stream et batch robustes alimentant nos applications et offrant des données météorologiques précises. - Affiner l'architecture en la rendant plus modulaire (traitement des données brutes, agrégations temporelles et spatiales, etc.). - Améliorer le processus de déploiement et l'observabilité de la plateforme. Vos responsabilités - Être la référence en traitement de données batch et stream. - Optimiser les performances et la fiabilité de notre architecture de données. - Concevoir des pipelines efficaces dans Databricks. - Assurer le mentorat de l'équipe et promouvoir les meilleures pratiques de data engineering. VOS EVOLUTIONS La politique RH vous garantit un accompagnement régulier pour vous faire progresser et évoluer vers de nouvelles missions en fonction de votre projet. Rejoindre notre Groupe, c'est la garantie d'une formation initiale et continue, d'un plan de carrière personnalisé et d'un management de proximité. CONDITIONS PROPOSEES - CDI à pourvoir à Lille ou à distance. - Un salaire compétitif basé sur l'expérience. - Mutuelle prise en charge par l'entreprise. - 50% de participation aux abonnements sportifs via Gymlib. - Remboursement de l'abonnement à certaines plateformes de streaming. Dans le cadre de sa politique RH, ISAGRI étudie, à compétences égales, toutes candidatures dont celles de personnes en situation de handicap VOTRE PROFIL - Maîtrise du calcul distribué et des pipelines de données (stream et batch). - Solide expérience en observabilité des systèmes. - Maîtrise de Scala (ou à défaut Java). - Expérience avec Apache Flink, Spark, Databricks (Delta Live Tables). Soft Skills - Excellente communication écrite et orale. - Esprit d'équipe et volonté de partager ses connaissances. - Capacité à simplifier le code et à documenter efficacement.

PROFIL SOUHAITÉ

Expérience