Contexte & Objectifs
Au sein du service Gouvernance, Administration et Monitoring de la DSI Finance, la mission vise à développer et optimiser une brique applicative de monitoring des flux et traitements de données, en lien avec le programme GASPARD. L?objectif est d?assurer la qualité de service et le respect des délais de mise à disposition des données, notamment face à l?augmentation des volumes prévue en 2024-2025.
D?une durée de 6 mois, cette mission doit finaliser les travaux en cours et garantir les performances pour les futurs déploiements. L?équipe est basée à Paris, avec des interactions quotidiennes avec les équipes GASPARD à Paris et Porto. L?anglais est donc indispensable.
Description & Activités
Collecte et mise à disposition des données pour l?entreprise.
Industrialisation et mise en production des traitements (tableaux de bord, intégration de modèles).
Développement et optimisation des pipelines d?ingestion (streaming & batch).
Mise en production de modèles statistiques et traitements Spark.
Développement de scripts et jobs de traitement (mapping, normalisation, agrégation).
Développement d?API et dashboards pour la restitution des données.
Administration et configuration de clusters Hadoop et Spring Boot pour l?extraction et l?intégration des données via Kafka et Data Lake.
Profil & Informations
Expérience requise : 6 à 9 ans.
Localisation : paris 13.
Début souhaité : 03/03/2025.
Mode de travail : hybride (2 jours sur site minimum / 10 jours de télétravail max si convention).
Profil candidat:
Expertises spécifiques :
Nous recherchons un Data Engineer confirmé (6-9 ans d'expérience) avec une expérience significative dans un environnement Hadoop et avec une triple compétence sur les technologies Spark, Scala, Kafka.
Compte tenu du caractère court de la mission, le prestataire devra avoir une excellente capacité à s'adapter à notre environnement technique qui repose sur :
- un cluster Hadoop Cloudera On Premise (HDFS, Hive, Hbase, Kafka...)
- des batchs en Spark/Scala utilisant la bibliothèque ZIO
- des API diverses principalement développées en Java
- une IHM développée en Java et React.js
- des traitements ordonnancés par Control-M
Expériences souhaitées :
- Mise en oeuvre de traitements en Spark Scala
- Optimisation des temps d'exécution Spark au travers de techniques avancées
- Mise en oeuvre de producer/consumer Kafka
- Expérience de travail dans un environnement Agile; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban)
Compétences techniques requises :
- Spark / Scala : confirmé
- Kafka : intermédiaire
- à l'aise avec la programmation fonctionnelle
- à l'aise avec les concepts d'API
Compétences relationnelles :
- Capacité à comprendre les enjeux techniques nombreux sur le projet
- Capacité à s?organiser et travailler en autonomie et avec rigueur
- Force de proposition adaptée au contexte client
- Curiosité, agilité d?esprit, goût pour l?innovation
- Esprit d?équipe et capacité à dialoguer avec les autres développeurs
- Bonne communication orale et écrite (Français et Anglais)
Go to job list