Aller au contenu principal
Rebond
J’essaie gratuitement

Data Engineer Senior - Databricks / AWS - Freelance (H/F)

Collective.workGarenne-ColombesPubliée il y a 38 j
Freelance
France Travail

Le poste

Taux journalier (TJM): 550

  • * Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers * Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks * Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance * Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts * Concevoir, développer et maintenir des APIs d'exposition et de consommation des données * Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting * Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD * Analyser et résoudre les incidents de production et assurer le suivi des actions correctives * Rédiger et maintenir la documentation technique * Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives) * Contribuer aux choix techniques et à l'amélioration continue de la plateforme * Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering Environnement technique * Langages : Python, SQL * Traitement de données : Spark, Py
  • Spark, DBUtils * Plateforme : Databricks, Unity Catalog, Delta Lake * Orchestration : Airflow (migration en cours vers Databricks Workflows) * APIs et tests : Fast
Lire toute la description ⌄Réduire ⌃

Taux journalier (TJM): 550

Localisation : La Garenne-Colombes - télétravail hybride

Démarrage : fin novembre 2026

Expérience : 5 ans minimum

Type de contrat : freelance

Contexte

Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers.

Le poste

s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux.

L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data.

Missions

  • * Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers * Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks * Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance * Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts * Concevoir, développer et maintenir des APIs d'exposition et de consommation des données * Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting * Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD * Analyser et résoudre les incidents de production et assurer le suivi des actions correctives * Rédiger et maintenir la documentation technique * Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives) * Contribuer aux choix techniques et à l'amélioration continue de la plateforme * Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering Environnement technique * Langages : Python, SQL * Traitement de données : Spark, Py
  • Spark, DBUtils * Plateforme : Databricks, Unity Catalog, Delta Lake * Orchestration : Airflow (migration en cours vers Databricks Workflows) * APIs et tests : Fast
  • API, Pytest * Cloud : AWS (Lambda, S3, ECS, Secrets Manager) * Outillage : Git, CI/CD

Profil recherché

  • * Expérience d'au moins 5 ans en Data Engineering * Expérience confirmée en conception et développement de pipelines de données * Maîtrise de Python, SQL et des bibliothèques associées (Py
  • Spark, DBUtils, Boto3) * Maîtrise de la configuration des ressources Databricks sur AWS * Solides connaissances en modélisation, performance et qualité des données * Connaissance des principes d'API REST et des architectures orientées services * Expérience significative sur l'environnement AWS * Capacité d'analyse et de résolution d'anomalies en production * Expérience en tant que Tech Lead * Pratique du Data Engineering assisté par l'IA Atouts appréciés * Expérience en traitement de données en temps réel (streaming) * Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques
GRATUIT · 30 SECONDES

Analysez et adaptez votre CV pour ce poste

Déposez votre CV : votre score face à cette offre, ce qui manque, puis une version adaptée au poste en un clic.

Analyser mon CV
Tester mon CVPostuler