Formations -> Compétences -> Certifications -> Métiers -> Emplois

Acquérir et purifier les données

Item

Libelle

Acquérir et purifier les données

Code

RNCP35975BC03

Liste des compétences

B3C1. Disponibilité de la donnée. Analyser et mettre en œuvre des solutions d'architecture de bases de données relationnelles (Maria, Oracle, PostgreSQL, …), des optimisations en données clusterisées (Cassandra, Mongo, HDFS, ...), ainsi que des extensions par service tiers (Firebase, Heroku, Aurora, ...), pour déterminer les systèmes de gestion de base de données les mieux adaptés à rendre la donnée disponible en continue. B3C2. Acquisition. Analyser les demandes fonctionnelles de l'organisation en identifiant les données utiles et en déterminant leur nature, leur structure, leurs solutions de récupération, de cryptage et de stockage afin de cerner et reformuler les problématiques. B3C3. Purification. Concevoir les requêtes des données en s'appuyant sur les langages de programmation du marché (Python pandas/koalas/scikit-learn, Scala, JS, Spark, Query DSL – ElasticSearch, …) afin d'extraire et d'enrichir les données au moyen d'algorithmes adaptés. B3C4. Optimisation. Analyser l'architecture générale des données (ETL, batch DB, cluster DB, …) et leur acheminement (Runtime DB, Backoffice DB, …) afin de concevoir une architecture de flux de données en pipeline permettant d'agréger des types de données et des modes de collecte différents et ainsi proposer des traitements optimisés. B3C5. Interopérabilité. Intégrer, positionner et mettre à jour les API en interfaçant différents systèmes, notamment les applications mobiles (Netflix, Spotify, Uber, Amazon, …) afin de permettre l'échange et le traitement des données d'origine publique et/ou propriétaire. Savoirs associés :Base de données relationnelle SGBD. Base de données répartie SGBDR. Base de données à historique (historic data). ETL vs ELT warehouse. Processus d'API-sation. Indexation des données. Scripting en stream/pipeline, notion de base sur les lambdas (filter, mapreduce). Optimisation du dataflow, workflow, SaaS et composants on premise.

Modalités d'évaluation

Étude de cas pratique et théorique sur la récolte et la requête des données utiles pour un projet de développement en IA (3 journées de préparation pour l'évaluation pratique, 1 heure d'évaluation théorique et 20 minutes de soutenance orale). Évaluation à partir de la reprise d'un projet en entreprise ou d'un projet de mise en situation professionnelle. Les critères d'évaluation sont appliqués au projet présenté. Par la VAE : livret de présentation de l'expérience acquise complété le cas échéant par un entretien oral avec le jury.