Famille professionnelle / Métier : SYSTEMES D’INFORMATION, TELECOM ET NUMERIQUE/Expertise / Recherche
Type de contrat : Stage
Description du poste :
Le groupe EDF est une entreprise innovante et leader en France de la production et la fourniture d’énergie. Le groupe compte parmi les premiers producteurs d’électricité bas carbone au monde. Acteur clé de la lutte contre le réchauffement climatique, EDF participe activement à la décarbonation des usages.
Curiosity est une solution logicielle expérimentale mise au point par la R&D d’EDF qui sert à ses utilisateurs via une IHM Web et une API Python, un grand volume de données hétérogènes et historisées, enregistrées sur les sites de production du parc nucléaire, allant de l’ensemble des mesures des capteurs aux comptes rendus des interventions.
Objectifs du stage
De nombreux indexes aux performances optimisées sont construits et mis à jour quotidiennement par un processus ETL reposant sur l’orchestrateur de flux Airflow, rendant possible des études big data sur des données récentes.
Le référentiel des capteurs installés dans toutes les unités de production du parc nucléaire joue un rôle central dans le requêtage des données par les utilisateurs puisque toute recherche commence par la sélection d’un périmètre de sites, de tranches, de capteurs. Le processus d’indexation de ce référentiel a été développé à l’origine du projet dans l’application Web, écrite en Java. L’objectif est de s’approprier sa logique fonctionnelle et de le développer en tant que traitement Python orchestré dans Airflow en s’assurant que son contenu est correct et complet.
Le/la stagiaire sera intégré(e) dans l’équipe projet et contribuera au développement des flux de données qui alimentent les bases de données, servies par Curiosity. Pour atteindre les objectifs le stagiaire sera amené à travailler sur différentes tâches (en fonction de l’avancée du projet et du stage) :
Analyser le type de données manipulées,
Analyser l’alimentation des bases de données via l’orchestrateur de flux Airflow,
Développer des nouveaux flux dans l’orchestrateur Airflow, en priorité celui d’indexation des données de recherche,
Rédiger les tests et la documentation,
Assurer la mise en production,
Assurer la cohérence de l’environnement de l’orchestrateur,
Améliorer la performance des flux.
Mots-clés : Indexation de données, Elasticsearch, traitement de données, langage Python, Java, SQL, orchestration, Airflow, réacteur nucléaire, Big Data
Appétence certaine pour la manipulation de données et la programmation.
Niveau d’études : M1/M2
Compétences techniques
Langage de programmation : Python, Java
Base de données : SQL
GitLab
Linux
Langue : anglais de bon niveau (écrit et parlé)
Savoir-être
Autonomie, capacité d’initiative
Rigueur
Persévérance, motivation
Esprit critique
Les connaissances suivantes sont un plus :
Index Elasticsearch, Kibana
Concept des orchestrateurs de flux, Airflow
Informations pratiques
Groupe d’accueil : Système d’information et de Télécommunication (16 personnes environs).
Lieu : EDF Lab Chatou, 6 quai Watier, 78400 Chatou (station Reuil Malmaison, RER A)
Durée : 6 mois
Contacts
Cécile GASNIER, [email protected]
Mikaël BERROU, [email protected]
François LE GOFF, [email protected]
Ville : Chatou
