Data Engineer

Description :
Au sein de l’un de nos clients bancaires, vous serez rattaché à une équipe qui est en charge de la mise à disposition, dans le datahub interne, des référentiels groupe. Cette équipe a aussi en gestion une solution transitoire permettant d’acquérir et de mettre à disposition des premiers uses cases sur des données liées aux problématiques ESG.
Un point essentiel de la mission sera la préparation et de premiers travaux afin d’initier le passage de développements Talend vers du Spark/Scala.
Mission :
- Proposer et mettre en oeuvre un socle/framework pour passer de développements TALEND à Spark/Scala
- Prendre en charge des développements sur la migration de jobs Talend vers Spark
- Mettre en œuvre/développer des évolutions métier.
- Analyser et mettre en place des optimisations sur l’existant
- Industrialiser les développements et les tests sur de l’open source
- Suivre les méthodologies agiles (Kanban).
- Participer au RUN au travers du suivi de production, du suivi de la dette technique et du support technique vis à vis des consommateurs
Compétences principales :
Talend
Spark
Scala
Hadoop (Hive)