Descriptif
Écosystème Hadoop : HDFS, YARN, Hive est une formation de 3 jours (21 heures), de niveau intermédiaire, rattachée au domaine « Bases de données, outils décisionnels, Big Data et Cloud Computing ». Comprendre et utiliser les composants de l'écosystème Hadoop. Conçue et animée par des praticiens en activité, elle alterne apports ciblés (30 %) et mises en pratique (70 %) sur des laboratoires cloud individuels, avec des cas inspirés des secteurs banque, assurance et services publics. Disponible en inter-entreprises, en intra sur catalogue et en version sur mesure adaptée au contexte de l'entreprise.
Objectifs pédagogiques
À l'issue de la formation, le participant sera capable de :
- HDFS
- YARN et MapReduce
- Hive
- Formats de fichiers
- Exploitation
Programme détaillé
| N° | Contenus et activités | Durée |
|---|---|---|
| Jour 1 | ||
| 1 | Attentes, périmètre data des participants et prise en main du cluster de travaux pratiques | 0,5 h |
| 2 | Architecture Hadoop : NameNode, DataNode, blocs, réplication, tolérance aux pannes et dimensionnement | 1,5 h |
| 3 | Travaux pratiques : manipuler HDFS en ligne de commande, ingérer 20 Go, observer la répartition des blocs, simuler la perte d'un DataNode | 2,5 h |
| 4 | YARN : ResourceManager, NodeManager, conteneurs, files d'attente et ordonnanceur de capacité | 1,5 h |
| 5 | Démonstration commentée : suivre un traitement de bout en bout dans l'interface YARN, lire compteurs et journaux | 1 h |
| Jour 2 | ||
| 6 | MapReduce : découpage, mélange, réduction, combiner, et les cas où ce modèle reste pertinent | 1,5 h |
| 7 | Travaux pratiques : exécuter un traitement MapReduce de comptage sur 50 millions d'enregistrements et ajuster le nombre de reducers | 2 h |
| 8 | Hive : métastore, tables externes et internes, partitions, buckets et HiveQL | 1,5 h |
| 9 | Travaux pratiques : créer des tables Hive partitionnées par date sur les données HDFS et comparer les temps de requête | 2 h |
| Jour 3 | ||
| 10 | Formats de fichiers : texte, séquence, Avro, Parquet et ORC, compression Snappy et Zstd, impact mesuré | 1,5 h |
| 11 | Laboratoire : convertir 40 Go de CSV en Parquet et ORC, mesurer taille, temps de lecture et élagage de partitions | 2,5 h |
| 12 | Exploitation : quotas HDFS, surveillance, sauvegarde par distcp, montées de version et incidents courants | 1,5 h |
| 13 | Étude de cas : dimensionner et sécuriser un cluster pour un besoin d'archivage réglementaire, restitution et évaluation | 1,5 h |
Méthodes pédagogiques
- Pédagogie active : 50 % du temps en pratique encadrée — laboratoires cloud provisionnés par participant, travaux pratiques guidés, fil rouge applicatif —, le reste en apports structurés, démonstrations commentées, cadrage et évaluation
- répartition calculée sur le déroulé détaillé de cette formation, et non annoncée de façon uniforme
- classe inversée avec prérequis sur le LMS
- apprentissage adaptatif selon le positionnement initial
- travaux en binômes
- classe virtuelle en séquences de 3 h 30 maximum sur Microsoft Teams
- support clair, complet et paginé remis à chaque participant
Technologies et outils mobilisés
Hadoop, HDFS, Hive, MongoDB, Cassandra, Neo4j
Modalités d'évaluation et de validation
- Positionnement initial en ligne
- quiz de validation à chaque séquence
- évaluation finale des acquis (QCM et mise en situation)
- satisfaction à chaud
- questionnaire de transfert à 30 jours
- attestation de fin de formation
Plateforme, laboratoires et ressources
- LMS DATAROCKSTARS : parcours, supports numériques, quiz, évaluations, émargement par demi-journée
- laboratoires cloud individuels accessibles depuis un navigateur, sans installation, données fictives, détruits en fin de session
- bibliothèque O'Reilly (plus de 60 000 ressources)
- accès aux supports pendant 6 mois