Rejoins une start-up innovante en tant qu'Ingénieur Inférence / GPU.
- - Expérience concrète en serving de modèles open source à l'échelle en production (v
- LLM, TGI, SGLang, Tensor
Lire toute la description ⌄Réduire ⌃
Rejoins une start-up innovante en tant qu'Ingénieur Inférence / GPU.
Tu seras responsable de l'optimisation des moteurs d'exécution, du tuning GPU, de la quantisation et de la gestion de la mémoire et du cache.
Tu travailleras sur des clusters GPU NVIDIA (ou AMD) en environnement Kubernetes et interagiras avec le CTO sur les choix d'architecture.
Une expérience concrète en serving de modèles open source à l'échelle en production est indispensable.
Le profil
Indispensables :
- - Expérience concrète en serving de modèles open source à l'échelle en production (v
- LLM, TGI, SGLang, Tensor
- RT ou équivalent) - Maîtrise de CUDA, Triton ou des kernels GPU bas niveau - Capacité à identifier un goulot d'étranglement mémoire/cache et à y remédier - Python solide, à l'aise avec Kubernetes GPU et Linux - Bonne connaissance du matériel x86, GPU NVIDIA (AMD ou autre fournisseur accepté) - Curiosité sur les architectures hardware (choix de GPU, mémoire HBM, NVLink, Infini
- Band) Un plus : - Expérience HPC (RDMA, Infini
- Band, Ro
- CE, MPI, NCCL, IO path) - Contributions open source (v
- LLM, SGLang, Py
- Torch, Triton…) - Sensibilité au contexte souverain / Sec
- Num
- Cloud Ce qui fait la différence : quelqu'un capable de nommer une brique qu'il a écrite ou modifiée lui-même en production, pas uniquement opérée.