Formations -> Compétences -> Certifications -> Métiers -> Emplois

Concevoir et mettre en oeuvre des pipelines de données (pour l'IA)

Item

Libelle

Concevoir et mettre en oeuvre des pipelines de données (pour l'IA)

Code

RNCP38777BC03

Liste des compétences

Concevoir un système de gestion de données temps réel adapté aux contraintes et normes opérationnelles de l'entreprise, pour gérer efficacement la vélocité, le volume des flux, et la typologie des données. Établir un pipeline de données à travers des processus ETL/ELT pour le transfert et la transformation des données entre différentes bases, en utilisant des outils de programmation, afin de répondre aux spécifications du cahier des charges. Automatiser les flux de données dans le pipeline, en utilisant des outils spécifiques ou de la programmation, afin d'optimiser les performances de l'infrastructure de données. Surveiller les flux de données pour assurer la qualité et le respect de la politique de gouvernance, en vue de maintenir les normes, la sécurité et la confidentialité dans les pipelines de données. Développer des procédures de contrôle qualité et de correction des erreurs dans les pipelines de données, afin de garantir la qualité des données.

Modalités d'évaluation

Type d'évaluation : Mise en situation professionnelle Description : Le candidat est invité à mettre en place un pipeline de données, y compris l'automatisation des flux de données, le contrôle de la qualité des données et la possibilité de monitorer les performances sur une problématique fictive (mais réaliste) d'entreprise. Le candidat devra présenter son pipeline devant un jury qui sera suivi d'un jeu de questions/réponses. Livrables attendus : * Un plan du/des pipeline(s) construits répondant aux besoins de la problématique fictive (sous format PowerPoint, Google Slide ou tout autre outil permettant la conception d'un diagramme) * S'il y a lieu, le code ayant permi de déployer le(s) pipeline(s) (Terraform, Python ou tout autre langage de programmation permettant le développement du pipeline) hébergé sur Github. * Une capture d'écran vidéo du pipeline en production (dans le cloud ou on-premise) Temps d'évaluation : * Evaluation en amont des trois livrables par le jury : 20 min * Présentation du/des pipeline(s) devant le jury : 5 min * Questions / réponses du jury : 15 min Les conditions d'évaluation sont adaptées aux besoins spécifiques des personnes en situation de handicap, si nécessaire (par exemple, fournir des supports accessibles, ajuster le temps, utiliser des aides technologiques, etc.)