Aller au contenu principal
Rebond
J’essaie gratuitement

Data Engineer PySpark / Iceberg - Freelance (H/F)

Collective.workFontenay-sous-BoisPubliée il y a 15 jOffre vérifiée aujourd'hui
Freelance
Tech
France Travail

Le poste

Taux journalier (TJM): 575

  • Data Engineer Py
  • Spark / Iceberg - Optimisation des traitements de données de facturation électronique Contexte Traitement complexe à fort volume. Les données de facturation électronique sont préparées jusqu'à la couche Argent. Apache Iceberg arrive en production mi-décembre. La volumétrie cible est de plusieurs dizaines de milliards de factures. Le modèle compte près de 30 tables, certaines avec plusieurs enregistrements par facture ou par ligne de facture. Mission principale Data Engineer en renfort de l'équipe sur la conception du code, la conception logicielle des flux et l'optimisation du pipeline de transformation : - apporter un regard complémentaire sur l'usage de la plateforme et confronter les approches avec l'équipe - accompagner la transition des traitements en full vers des traitements incrémentaux fiables - participer aux expérimentations, benchmarks et mesures de performance Modélisation de données - Challenger la structure du code et la conception des flux (règles métier, usages, performance) - Caractériser les volumes et leur croissance par table - Explorer une parallélisation maximale des traitements - Passer à l'incrémental sur les cas complexes d'annulations et de rectifications : mises à jour en cascade ciblées, réconciliation des flux, justesse des indicateurs - Proposer une revue des spécifications métier si nécessaire Performance, optimisation et exploitation - Analyser les traitements existants (plans d'exécution, métriques de production) et prioriser les optimisations - Réaliser les modifications en Py
Lire toute la description ⌄Réduire ⌃

Taux journalier (TJM): 575

Profil

  • Data Engineer Py
  • Spark / Iceberg - Optimisation des traitements de données de facturation électronique Contexte Traitement complexe à fort volume. Les données de facturation électronique sont préparées jusqu'à la couche Argent. Apache Iceberg arrive en production mi-décembre. La volumétrie cible est de plusieurs dizaines de milliards de factures. Le modèle compte près de 30 tables, certaines avec plusieurs enregistrements par facture ou par ligne de facture. Mission principale Data Engineer en renfort de l'équipe sur la conception du code, la conception logicielle des flux et l'optimisation du pipeline de transformation : - apporter un regard complémentaire sur l'usage de la plateforme et confronter les approches avec l'équipe - accompagner la transition des traitements en full vers des traitements incrémentaux fiables - participer aux expérimentations, benchmarks et mesures de performance Modélisation de données - Challenger la structure du code et la conception des flux (règles métier, usages, performance) - Caractériser les volumes et leur croissance par table - Explorer une parallélisation maximale des traitements - Passer à l'incrémental sur les cas complexes d'annulations et de rectifications : mises à jour en cascade ciblées, réconciliation des flux, justesse des indicateurs - Proposer une revue des spécifications métier si nécessaire Performance, optimisation et exploitation - Analyser les traitements existants (plans d'exécution, métriques de production) et prioriser les optimisations - Réaliser les modifications en Py
  • Spark en préservant les règles métier, la lisibilité et la maintenabilité - Exploiter Iceberg : MERGE optimisés, Hidden Partitioning - Optimiser la disposition physique des couches Bronze et Argent (Bucketing, Clustering, Z-Ordering) - Garantir la qualité, la déduplication et la cohérence des données entrantes - Mesurer les gains avant / après et transmettre les travaux à l'équipe Environnement technique Apache Spark, Py
  • Spark, Apache Iceberg, Hadoop, Hive, Python Compétences techniques - Apache Iceberg appliqué au code : optimisation des MERGE, Hidden Partitioning, transactions ACID - Apache Spark / Py
  • Spark : conception de jobs, gestion des processeurs, optimisation mémoire, tuning des requêtes - Python et Software Craftsmanship (Clean Code, refactoring) - Bash et SQL analytique à l'échelle du milliard de lignes Soft skills : vulgariser les choix de conception, documenter, transmettre (code reviews) Compétences techniques - Apache Iceberg appliqué au code : optimisation des MERGE, Hidden Partitioning, transactions ACID - Apache Spark / Py
  • Spark : conception de jobs, gestion des processeurs, optimisation mémoire, tuning des requêtes - Python et Software Craftsmanship (Clean Code, refactoring) - Bash et SQL analytique à l'échelle du milliard de lignes
GRATUIT · 30 SECONDES

Analysez et adaptez votre CV pour ce poste

Déposez votre CV : votre score face à cette offre, ce qui manque, puis une version adaptée au poste en un clic.

Analyser mon CV
Tester mon CVPostuler