1 - Contexte
La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI.
La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile.
2 - Description de la mission
Nous recherchons un Data Engineer confirmé/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL
Développement et l?implémentation de solutions Big Data Analytics
Analyse du besoin, étude d'impacts et conception de la solution technique
Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, ?)
Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
Développements de notebooks (ex : Databricks) de traitements avancés des données
Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ?.)
Revue de code
Réalisation de tests unitaires
Maintenance corrective et évolutive
Livraison dans un environnement Devops, CI/CD et outils associés
Profil candidat:
3 - Compétences techniques requises
Expérience Data (5 ans)
Azure (3 ans)
Expérience architecture Lakehouse (2 ans)
Databricks (5 ans)
Spark (5 ans)
Scala, Python, SQL( 5 ans)
Maitrise de CI/CD, Azure DevOps (3 ans)
Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile ( 1 an)
Go to job list