Descriptif
Formats de données : Parquet, ORC, Iceberg et Avro est une formation de 1 jour (7 heures), de niveau intermédiaire, rattachée au domaine « Bases de données, outils décisionnels, Big Data et Cloud Computing ». Choisir le format de stockage adapté à ses traitements. Conçue et animée par des praticiens en activité, elle alterne apports ciblés (30 %) et mises en pratique (70 %) sur des laboratoires cloud individuels, avec des cas inspirés des secteurs banque, assurance et services publics. Disponible en inter-entreprises, en intra sur catalogue et en version sur mesure adaptée au contexte de l'entreprise.
Objectifs pédagogiques
À l'issue de la formation, le participant sera capable de :
- Formats orientés lignes et colonnes
- Parquet et ORC
- Avro et schémas
- Tables Iceberg
- Critères de choix
Programme détaillé
| N° | Contenus et activités | Durée |
|---|---|---|
| Jour 1 | ||
| 1 | Attentes et point sur les volumes et les formats manipulés par chaque participant | 0,5 h |
| 2 | Lignes contre colonnes : lecture sélective, compression et coût de balayage, Avro face à Parquet et ORC | 1,5 h |
| 3 | Travaux pratiques : convertir 30 Go de CSV en Parquet, ORC et Avro, comparer taille, temps d'écriture et de lecture | 2 h |
| 4 | Travaux pratiques : exploiter statistiques de groupes de lignes, élagage de partitions et projection de colonnes, mesurer les octets lus | 1,5 h |
| 5 | Atelier : faire évoluer un schéma Avro et une table Apache Iceberg, ajout et renommage de colonne, partitionnement caché, instantanés | 1,5 h |
Méthodes pédagogiques
- Pédagogie active : 71 % du temps en pratique encadrée — laboratoires cloud provisionnés par participant, travaux pratiques guidés, fil rouge applicatif —, le reste en apports structurés, démonstrations commentées, cadrage et évaluation
- répartition calculée sur le déroulé détaillé de cette formation, et non annoncée de façon uniforme
- classe inversée avec prérequis sur le LMS
- apprentissage adaptatif selon le positionnement initial
- travaux en binômes
- classe virtuelle en séquences de 3 h 30 maximum sur Microsoft Teams
- support clair, complet et paginé remis à chaque participant
Technologies et outils mobilisés
Parquet, ORC, Avro, Apache Iceberg
Modalités d'évaluation et de validation
- Positionnement initial en ligne
- quiz de validation à chaque séquence
- évaluation finale des acquis (QCM et mise en situation)
- satisfaction à chaud
- questionnaire de transfert à 30 jours
- attestation de fin de formation
Plateforme, laboratoires et ressources
- LMS DATAROCKSTARS : parcours, supports numériques, quiz, évaluations, émargement par demi-journée
- laboratoires cloud individuels accessibles depuis un navigateur, sans installation, données fictives, détruits en fin de session
- bibliothèque O'Reilly (plus de 60 000 ressources)
- accès aux supports pendant 6 mois