Informations GénéralesIntitulé du poste : Data Engineer GCP


Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l?entreprise)


Type de contrat : CDI / Freelance / Autre


Rémunération : Selon profil et expérience


Département : Data / IT


Rattachement hiérarchique : Lead Data Engineer / Data Architect



Missions PrincipalesEn tant que Data Engineer GCP, vous serez responsable de la conception, de la mise en place et de l?optimisation des pipelines de données sur Google Cloud Platform. Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données.

1. Conception et Développement de Pipelines de DonnéesConcevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP


Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l?ingestion, la transformation et le stockage des données


Assurer l'optimisation des performances et la scalabilité des traitements de données


Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD



2. Gestion et Optimisation des Bases de DonnéesDéployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner


Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP)


Implémenter des stratégies de partitionnement, d?indexation et d?optimisation des coûts sur BigQuery



3. Sécurité, Monitoring et FiabilitéMettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès)


Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus


Gérer les incidents et optimiser les performances des traitements et des requêtes SQL



4. Collaboration et DocumentationTravailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers


Documenter les pipelines, les architectures et les bonnes pratiques


Sensibiliser et accompagner les équipes sur l?utilisation des données et des outils GCP



Compétences RequisesCompétences TechniquesMaîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub


ETL / ELT : Conception et optimisation de pipelines de données


Langages de programmation : Python, SQL, Scala, Java


Bases de données : BigQuery, Cloud SQL, Firestore, Spanner


Infrastructure as Code (IaC) : Terraform, Deployment Manager


CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins


Sécurité et Gouvernance des données : IAM, GDPR, DLP


Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus



Compétences TransversesBonne capacité d?analyse et de résolution de problèmes


Capacité à vulgariser des concepts techniques complexes


Esprit collaboratif et bonne communication


Force de proposition et autonomie





Profil candidat:
Profil RecherchéFormation : Bac +5 en informatique, data science, ingénierie ou équivalent


Expérience : Minimum 5 ans en ingénierie des données, dont au moins 2 ans sur GCP


Certifications GCP (un plus) : Professional Data Engineer, Professional Cloud Architect