Description du Poste
Un data engineer expérimenté est recherché pour travailler au sein de l’équipe agile du client, secteur de l’énergie, en charge d’une application AI et de sa migraiton vers la nouvelle B2C Data Platform : il s’agit d’un lakehouse (AWS + Databricks) + base de données faible latence (TiDB)
Responsabilités
- Contribue à la migration de tous les assets (flux, batch en python/Javascript, API) – la migration vient de commencer
- Est en relation avec les équipes infrastructure et du COE Data, ainsi que les autres équipes du train Safe.
- Analyse d’anomalie et proposition solution court / moyen terme
- Developpement sous Databrick (Python / PySpark / SQL / Spark / Airflow)
- Est force de propositions techniques
- Développement / MCO sur la plateforme AI (batch ou API).
- Participer à la modélisation et l’analyse de données.
- Participer du daily et aux cérémonies Agiles/Scrum, framework
La B2C Data Platform est en pleine expansion avec de très nombreux uses cases, et services à déployer.
Pour rappel les technos sont :
- Implémentation des Algorithmes (Batch MapReduce) et des APIs Rest
- Javascript (le plus important)
- Python (ScikitLlearn)
- PySpark
Qualifications
- Environnement AWS : Glue (Spark/Python) et Service managé (S3, Lambda, ECS..) : Github, Jenkins, Terraform, Cassandra, PostgreSQL, Grafana, Splunk, InfluxDB, Développement sur la plateforme PaaS : C3ai, Connaissance Java apprécié, Agile/Scrum, JIRA, Confluence
- Anglais courant
