Final Project : Data Engineering Pipeline

1. Notebook

• Visualiser en ligne : Ouvrir dans NBViewer

• Télécharger :

  Télécharger le Notebook (.ipynb)

2. Rapports & Analyses

Documentation complète et captures d’écran des métriques.

• Télécharger le Rapport du Projet (.pdf)
• Télécharger les Métriques Spark UI (.pdf)

3. Configuration & Metrics

• Configuration (YAML) : de1_project_config.yml
• Metrics (CSV) : project_metrics_log.csv

4. Proof of Execution (Execution Plans)

Comparaison des plans d’exécution. Les fichiers sont forcés au téléchargement.

Baseline Plans (Avant optimisation)

• Télécharger baseline_q1_plan.txt
• Télécharger baseline_q2_plan.txt
• Télécharger baseline_q3_plan.txt

Optimized Plans (Après optimisation)

• Télécharger optimized_q1_plan.txt
• Télécharger optimized_q2_plan.txt
• Télécharger optimized_q3_plan.txt

5. Dataset Source

Le jeu de données utilisé (Clickstream) est disponible publiquement :

• Source Officielle : Wikimedia Clickstream Dumps