Data Engineer

Pour remplir à bien sa mission, le Data Engineer devra :
- Développer des évolutions de flux de données reliant les systèmes opérationnels d’encaissement au dataLake pour ensuite exposer les KPIs consolidés à l’ensemble de
l’entreprise
- Participer activement au RUN : prise en charge de ticket, investigation, reprise de données, astreinte...
-Maîtriser les modèles de données et les outils de transformations
Livrables attendus :
-Production de code revue qualitativement par ses pairs
-Revue de code de ses pairs
-Documentation de sa production
-Rapport de l’état de fonctionnement de la production
Notre stack technique (non exhaustive) est la suivante :
-BDD :Redshift
-Datalake : S3
-Transfo : Talend, Spark
-Orchestration : Opcon, Airflow
-Langage : SQL, Scala, Python
Profil recherché :
-Une expérience en tant que Data Engineer
-Une grande appétence technique
-Être adaptable, les données viennent d’applications qui nécessitent des connaissances
en Kafka, d’un Datalake ou de base de données.
-Avoir un sens du service développé
-Savoir interagir avec d’autres équipes( technique et fonctionnelle), avoir le contact facile
- Anglais requis a un niveau intermediaire
Une attention particulière sera apportée à :
- La maîtrise du SQL
- La polyvalence et l’adaptabilité
Suivant le profil et son appétence la mission pourrait s’orienter vers la migration de
certains flux sur notre modern data stack (Spark - Scala - Airflow - GithubAction)
Compétences demandées
Compétences
Niveau de compétence
SQL
Confirmé
AWS
Avancé
Talend
Confirmé
Github
Avancé
Opcon
Confirmé
s3
Avancé
Redshift
Avancé
spark
Élémentaire