Senior Data Engineer H/F

Havana IT & Apps
Postée il y a 60 jours

Les missions du poste

Groupe Havana : Créé en 2011, nous incarnons la transformation digitale en misant sur l'innovation, la performance et le bien-être au travail.

Notre identité :
- 200 experts déployés à travers la France.
- Acteurs clés dans les domaines de la DATA, du Cloud et de l'intelligence artificielle.
- Nous accompagnons nos clients dans la transformation digitale de leur SI
Contexte :

La Data Factory de notre client vise à développer et déployer des solutions d'Intelligence Artificielle pour optimiser les performances et l'efficacité des différents services.

En particulier, l'IA Générative (IA GEN) est de plus en plus explorée pour mettre en oeuvre des cas d'usage innovants, permettant de créer de nouvelles opportunités d'analyse et de prise de décision pour les équipes opérationnelles.

Dans ce cadre, nous recherchons un Data Engineer expérimenté pour prendre en charge des cas d'usage spécifiques, en pilotant à la fois l'aspect technique et fonctionnel des projets.

Missions :
- Concevoir et développer des pipelines de données robustes en utilisant les services de données d'Azure, notamment avec Azure Data Factory et Databricks pour les traitements big data, et intégrer des modèles d'IA Générative pour des applications avancées en IA.
- Prendre en charge des projets de bout en bout, fédérant en mode Agile une petite équipe multidisciplinaire (Data Scientists, DEVOPS, Data Engineers), en collaborant étroitement pour définir et implémenter des cas d'usage basés sur l'IA Générative.
- Gérer le stockage et la gestion des données sur Azure, en assurant l'intégrité, la sécurité et l'accessibilité des données, tout en optimisant les performances et les coûts.
- Intégrer et orchestrer des modèles de Machine Learning, incluant des modèles d'IA Générative, au sein des pipelines de données pour répondre à des besoins d'automatisation et de personnalisation des analyses.
- Appliquer les principes de Software Craftsmanship pour développer un code propre, lisible et bien documenté, en mettant en place des tests de bout en bout (e2e), d'intégration, et des tests de performance.
- Collaborer étroitement avec les équipes Data Science et autres parties prenantes pour identifier et répondre aux besoins en données, en facilitant l'adoption de l'IA Générative pour des usages innovants.
- Expérience solide en Data Engineering, avec expertise dans la construction et la maintenance de pipelines de données complexes et l'intégration de modèles de Machine Learning, incluant des modèles d'IA Générative.
- Maîtrise des services de données sur Azure, incluant Azure Data Factory, Azure Datalake, Databricks, ainsi que les services de Machine Learning et de sécurité d'Azure.
- Excellente maîtrise de Python pour la manipulation, le traitement, et l'automatisation des données, avec des projets de plus de 80 000 lignes de code.
- Connaissance de DBT pour la transformation des données.
- Compétences en méthodologies Agile et DEVOPS, incluant Azure DEVOPS Services, pour une intégration continue et une gestion optimisée des versions.
- Bonne compréhension de l'architecture cloud et des meilleures pratiques de sécurité (Azure KeyVault, identités).
- Aptitude à travailler dans un contexte international (maîtrise de l'anglais indispensable).
- Diplôme supérieur en informatique ou équivalent, avec au moins 5 ans d'expérience significative dans un poste similaire.
- Rigueur, capacité d'analyse, adaptabilité, et excellent relationnel pour collaborer efficacement en équipe.

Environnement Technique :
- Langages et outils : Python, SQL, Spark avec PySpark
- Data Services : Azure Data Factory, Azure Datalake, Databricks
- IA : Intégration de modèles d'IA Générative et de Machine Learning
- DEVOPS : Azure DEVOPS, intégration continue, monitoring avec Azure App Insights, Azure Monitor
- Tests : Tests end-to-end, tests d'intégration, tests de performance
- Architecture et sécurité : Azure Cloud architectures, Azure Security (KeyVault, identités)

Ce poste n'est pas ouvert à l'alternance ou aux stages !

Poste ouvert aux personnes en situation d'handicap !

Le profil recherché

- Expérience solide en Data Engineering, avec expertise dans la construction et la maintenance de pipelines de données complexes et l'intégration de modèles de Machine Learning, incluant des modèles d'IA Générative.
- Maîtrise des services de données sur Azure, incluant Azure Data Factory, Azure Datalake, Databricks, ainsi que les services de Machine Learning et de sécurité d'Azure.
- Excellente maîtrise de Python pour la manipulation, le traitement, et l'automatisation des données, avec des projets de plus de 80 000 lignes de code.
- Connaissance de DBT pour la transformation des données.
- Compétences en méthodologies Agile et DEVOPS, incluant Azure DEVOPS Services, pour une intégration continue et une gestion optimisée des versions.
- Bonne compréhension de l'architecture cloud et des meilleures pratiques de sécurité (Azure KeyVault, identités).
- Aptitude à travailler dans un contexte international (maîtrise de l'anglais indispensable).
- Diplôme supérieur en informatique ou équivalent, avec au moins 5 ans d'expérience significative dans un poste similaire.
- Rigueur, capacité d'analyse, adaptabilité, et excellent relationnel pour collaborer efficacement en équipe.

Environnement Technique :
- Langages et outils : Python, SQL, Spark avec PySpark
- Data Services : Azure Data Factory, Azure Datalake, Databricks
- IA : Intégration de modèles d'IA Générative et de Machine Learning
- DEVOPS : Azure DEVOPS, intégration continue, monitoring avec Azure App Insights, Azure Monitor
- Tests : Tests end-to-end, tests d'intégration, tests de performance
- Architecture et sécurité : Azure Cloud architectures, Azure Security (KeyVault, identités)

Ce poste n'est pas ouvert à l'alternance ou aux stages !

Poste ouvert aux personnes en situation d'handicap !

Lieu : Paris
Contrat : Indépendant
Télétravail : Télétravail complet
Partager l'offre à un ami
Accueil / Emploi / Emploi Paris / Emploi