Aller au contenu principal
Rebond
J’essaie gratuitement

Lead Data Engineer / Architecte Data (H/F)

ECO-HUBBOULOGNE BILLANCOURTPubliée il y a 25 jOffre vérifiée aujourd'hui
CDI
Tech
55 000 – 60 000 EUR/an
France Travail

Le poste

Energisme est une plateforme Saa

  • pilier technique de notre plateforme de données, vous dirigerez la migration de notre infrastructure No
  • SQL vers une architecture data lakehouse avec découplage stockage/calcul, tout en optimisant nos pipelines de traitement massif et en garantissant la scalabilité.
Lire toute la description ⌄Réduire ⌃

Energisme est une plateforme Saa

S leader dans la gestion énergétique.

Notre solution analyse des volumes massifs de données énergétiques (millions de points de mesure, séries temporelles Io

T) pour optimiser les consommations et réduire l'empreinte carbone de nos clients.

Mission :

  • pilier technique de notre plateforme de données, vous dirigerez la migration de notre infrastructure No
  • SQL vers une architecture data lakehouse avec découplage stockage/calcul, tout en optimisant nos pipelines de traitement massif et en garantissant la scalabilité.

Responsabilités

  • - Définir et piloter l'architecture data de la plateforme - Diriger la migration No
  • SQL vers data lakehouse (stockage/calcul découplé) - Concevoir et optimiser les pipelines ETL/ELT à grande échelle - Encadrer l'équipe data engineering et garantir la qualité - Optimiser les jobs Spark pour données Io
  • T massives - Implémenter l'observabilité et les SLAs de qualité des données - Optimiser les coûts de stockage et calcul sur Azure Stack technique : - Data Lakehouse : Parquet/ORC, Azure Data Lake Gen2, solutions de catalogage - Processing : Apache Spark (Scala/Python), Py
  • Spark - Query Engines : Trino/Presto, JDBC/ODBC Gateways, Spark SQL - Orchestration : Airflow, GitLab CI, Kubernetes/AKS - Cloud : Azure, Terraform, Docker - Monitoring : Open
  • Telemetry, Prometheus/Grafana, Azure Monitor Compétences indispensables : - Expertise Apache Spark (Scala ou Python) - Expérience architectures data lakehouse (Iceberg, Delta Lake, Hudi) - Connaissance bases No
  • SQL distribuées (Cassandra, Scylla
  • DB, HBase) - Maîtrise formats columnaires (Parquet, ORC) et stockage - Conception pipelines ETL/ELT à grande échelle - Python, Cloud Azure, moteurs SQL distribués Fortement appréciées : - Migrations No
  • SQL vers data lakehouse - Séries temporelles et données Io
  • T - Orchestration (Airflow, Prefect), Scala, Terraform - Optimisation coûts cloud, data quality Savoir-être : leadership technique et capacité à fédérer, communication et pédagogie, autonomie, rigueur, pragmatisme. CDI - Démarrage dès que possible.

Le profil

Analyser, exploiter, structurer des données

GRATUIT · 30 SECONDES

Analysez et adaptez votre CV pour ce poste

Déposez votre CV : votre score face à cette offre, ce qui manque, puis une version adaptée au poste en un clic.

Analyser mon CV
Tester mon CVPostuler