En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud, avec un focus particulier sur les couches Silver et Gold (BigQuery, Dataform, Cloud Composer).

Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé, incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production.

Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.

Responsabilités principales

Ownership de la plateforme data (Medallion)

Concevoir, construire et maintenir les couches Silver et Gold dans BigQuery

Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)

Garantir la qualité, la cohérence et la scalabilité des datasets

Développer et maintenir des pipelines ELT/ETL avec Dataform et Cloud Composer

Orchestrer les workflows de transformation et de chargement de données

Assurer un monitoring fiable des pipelines en production

Implémenter des stratégies d’ingestion via :

APIs

Bases de données (MySQL, etc.)

Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité

Optimiser les coûts et les performances des workloads BigQuery

Mettre en place des bonnes pratiques :

partitioning / clustering

query optimization

data lifecycle management

Suivre et améliorer en continu l’efficacité de la plateforme

Collaborer à la mise en place des premiers cas d’usage ML/AI

Préparer les données pour des pipelines de machine learning en production

Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)

Contribuer à la mise en place et l’amélioration des pipelines CI/CD (Git, automatisation)

Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)

Travailler étroitement avec les équipes BI, produit et techniques

Participer à la définition des besoins analytiques et des modèles de données

Promouvoir une culture de data engineering orientée performance et valeur métier

Minimum 5 ans d’expérience en data engineering

Minimum 2 ans sur Google Cloud Platform (GCP)

Excellente maîtrise de :

SQL (avancé)

Python

Expérience solide avec :

BigQuery

Dataform

Cloud Composer

Bonne compréhension des architectures :

Data warehouse

Medallion architecture

Construction de pipelines de données en production

Optimisation des coûts et performance BigQuery

Migration ou modernisation vers le cloud

Expérience avec des projets de Machine Learning (atout fort)

Expérience avec CI/CD et Git

Connaissance des outils d’ingestion (API, bases transactionnelles)

Expérience dans un environnement data à forte volumétrie

Ownership complet de la couche de transformation (pas juste builder)

Impact direct sur :

les coûts cloud

la performance data

la stratégie AI/ML

Rôle hybride Data Engineer + Data Platform + AI en devenir

Excellente maîtrise de :

SQL (avancé)

Python

Expérience solide avec :

BigQuery

Dataform

Cloud Composer

Bonne compréhension des architectures :

Data warehouse

Medallion architecture

Expérience pratique souhaitée

Construction de pipelines de données en production

Optimisation des coûts et performance BigQuery

Migration ou modernisation vers le cloud

Expérience avec des projets de Machine Learning (atout fort)