CDI ou pré embauche - Data engineer

Contexte Nous recherchons un Data Engineer pour renforcer une équipe dédiée à l’exploitation et à la valorisation de données environnementales. L’objectif de la mission est de contribuer à l’industrialisation et à l’optimisation des processus d’ingestion, de traitement et de publication d’indicateurs liés aux données scientifiques. Missions principales Conception & développement de pipelines Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données volumineuses. Orchestrer les tâches avec Argo, Prefect ou un outil équivalent. Industrialisation & automatisation Packager les applications dans des conteneurs Docker. Déployer et faire évoluer les environnements sur Kubernetes (hébergés dans un cloud public). Mettre en place et maintenir la CI/CD (GitLab CI, Jenkins ou similaire). Maintenance & support Superviser les pipelines et les services en production. Gérer les incidents et mettre en œuvre les correctifs nécessaires. Optimisation & montée en charge Adapter les architectures pour garantir la scalabilité, la performance et la maîtrise des coûts. Proposer et mettre en œuvre des améliorations continues (refactoring, modularisation, tests unitaires et d’intégration). Documentation & transfert de compétences Rédiger et maintenir la documentation technique (README, runbooks). Former et accompagner les équipes internes sur les bonnes pratiques Data Engineering et DevOps. Profil recherché Compétences techniques essentielles Langages : Python expert (polars, xarray, pandas, netCDF4…), Dask. Cloud & infrastructures : expérience sur un cloud public (GCP, AWS ou Azure). Conteneurisation & orchestration : Docker, Kubernetes. Orchestration de workflows : Argo, Prefect, ou équivalent. CI/CD & DevOps : Git, GitLab CI/CD ou Jenkins, gestion des secrets, déploiements automatisés. Méthodologies : OOP, tests unitaires, GitOps, Infrastructure as Code (Terraform, Helm, etc.). Expérience et formation Bac+5 en Informatique, Data Science ou Ingénierie. 2 à 5 ans d’expérience en Data Engineering, idéalement dans un contexte Big Data ou scientifique. Expérience en gestion de projets en autonomie, du recueil des besoins jusqu’à la mise en production. Une connaissance du domaine environnemental, scientifique ou climatique est un plus. Qualités personnelles Rigueur et sens de l’organisation. Esprit d’équipe et bonnes capacités de communication. Curiosité et proactivité dans l’adoption de nouvelles technologies. Conditions Type de contrat : CDI, temps plein. Localisation : Près de Marseille (télétravail partiel possible).