Postée il y a 15 jours
Développer et maintenir nos pipelines de données :
Concevoir, mettre en ?uvre et optimiser des pipelines de données évolutifs qui gèrent à la fois les flux de données par lots et en temps réel.
Piloter les changements dans nos processus de développement :
Améliorer et faire évoluer en permanence nos flux de travail et processus de développement pour augmenter l'efficacité, l'évolutivité et la fiabilité.
Développer et pérenniser notre architecture de données :
Contribuer à la conception et à l'amélioration d'une architecture de données robuste et évolutive hébergée dans le cloud AWS.
Ingénierie et maintenance de l'infrastructure de données :
Créer, configurer et maintenir l'infrastructure de données sous-jacente qui prend en charge l'ingestion, le stockage et le traitement des données. Optimiser l'utilisation des ressources cloud pour garantir la rentabilité, les performances et la sécurité.
Profil candidat:
Membre de l'équipe Data Engineering, définissant la manière dont les données sont exploitées dans les services commerciaux et produits.
Concentrez-vous à la fois sur les objectifs d'analyse et d'embellissement des données.
Élément clé du département Data Science.
Travaillez avec une architecture de données mature hébergée dans le cloud AWS.
Gérez les ensembles de données par lots et en temps réel.
Gérez les pipelines de données à l'aide du framework Spark avec Scala et Java.