Descriptif
Orchestration de pipelines avec Apache Airflow est une formation de 2 jours (14 heures), de niveau intermédiaire, rattachée au domaine « Bases de données, outils décisionnels, Big Data et Cloud Computing ». Orchestrer et superviser des pipelines de données avec Airflow. Conçue et animée par des praticiens en activité, elle alterne apports ciblés (30 %) et mises en pratique (70 %) sur des laboratoires cloud individuels, avec des cas inspirés des secteurs banque, assurance et services publics. Disponible en inter-entreprises, en intra sur catalogue et en version sur mesure adaptée au contexte de l'entreprise.
Objectifs pédagogiques
À l'issue de la formation, le participant sera capable de :
- Créer et planifier des DAGs efficaces et modulaires avec Apache Airflow
- Superviser, monitorer et gérer les workflows pour assurer la fiabilité des pipelines
- Automatiser des tâches répétitives et gérer les dépendances entre tâches
- Optimiser les performances des pipelines et gérer les erreurs et alertes
- Intégrer Airflow avec des systèmes de stockage et bases de données modernes
- Développer des plugins et extensions personnalisées pour Airflow
Programme détaillé
| N° | Contenus et activités | Durée |
|---|---|---|
| Jour 1 | ||
| 1 | Attentes, cas d'ordonnancement actuels des participants et démarrage d'Airflow sous Docker | 0,5 h |
| 2 | Architecture : scheduler, executor, workers, base de métadonnées PostgreSQL, interface web et notion de DAG | 1,5 h |
| 3 | Travaux pratiques : écrire un premier DAG, le planifier, comprendre dates logiques, rattrapage et reprise | 2 h |
| 4 | Opérateurs, capteurs, TaskFlow API, XCom, groupes de tâches, variables et connexions | 1,5 h |
| 5 | Travaux pratiques : bâtir un pipeline d'extraction, transformation et chargement vers PostgreSQL avec dépendances conditionnelles | 1,5 h |
| Jour 2 | ||
| 6 | Fiabilité : nouvelles tentatives, expirations, alertes d'échéance qui remplacent les SLA depuis Airflow 3, échecs partiels et idempotence des tâches | 1,5 h |
| 7 | Travaux pratiques : provoquer trois pannes types, diagnostiquer par les journaux et rejouer sans créer de doublon | 2 h |
| 8 | Performance : parallélisme, pools, priorités, executor Celery ou Kubernetes, génération dynamique de DAG | 1,5 h |
| 9 | Travaux pratiques : écrire un opérateur personnalisé livré dans un paquet Python importable, les plugins restant réservés aux vues et macros, et le tester unitairement | 1,5 h |
| 10 | Déploiement, versionnement des DAG et supervision Grafana, plan d'action individuel | 0,5 h |
Méthodes pédagogiques
- Pédagogie active : 50 % du temps en pratique encadrée — laboratoires cloud provisionnés par participant, travaux pratiques guidés, fil rouge applicatif —, le reste en apports structurés, démonstrations commentées, cadrage et évaluation
- répartition calculée sur le déroulé détaillé de cette formation, et non annoncée de façon uniforme
- classe inversée avec prérequis sur le LMS
- apprentissage adaptatif selon le positionnement initial
- travaux en binômes
- classe virtuelle en séquences de 3 h 30 maximum sur Microsoft Teams
- support clair, complet et paginé remis à chaque participant
Technologies et outils mobilisés
LMS DATAROCKSTARS, Apache Airflow (dernière version stable), Python 3.x avec bibliothèques pandas, sqlalchemy, PostgreSQL ou MySQL comme Metadata Database, IDE : Visual Studio Code ou PyCharm, Docker et Kubernetes pour déploiement, Outils de monitoring : Grafana, Prometheus (optionnel)
Modalités d'évaluation et de validation
- Positionnement initial en ligne
- quiz de validation à chaque séquence
- évaluation finale des acquis (QCM et mise en situation)
- satisfaction à chaud
- questionnaire de transfert à 30 jours
- attestation de fin de formation
Plateforme, laboratoires et ressources
- LMS DATAROCKSTARS : parcours, supports numériques, quiz, évaluations, émargement par demi-journée
- laboratoires cloud individuels accessibles depuis un navigateur, sans installation, données fictives, détruits en fin de session
- bibliothèque O'Reilly (plus de 60 000 ressources)
- accès aux supports pendant 6 mois