F4_DATA_ENGINEER :(En cours) Data Engineering GCP & AWS : ETL moderne, FastAPI Sécurisée & Monitoring
À propos du cours
🚀 Deviens Data Engineer complet !
Cette formation pratique t’apprend à concevoir un pipeline moderne : extraction de données Bitcoin, stockage Cloud (AWS & GCP), ETL scalable, sécurisation des APIs, monitoring avancé et orchestration professionnelle avec Airflow.
Programme de la formation :
Partie 1 : Devenir Data Engineer – Préparer son Environnement et le Pipeline
- Construire un pipeline Data moderne : formation complète Data Engineer
- Préparer son environnement Data Engineering pour un projet Bitcoin
Partie 2 : Extraction de Données Bitcoin – API, Pagination, Stockage Cloud
- Extraction intelligente de données Bitcoin : API, pagination & .env (Python)
- Extraction flexible : 7 jours de données Bitcoin, robuste & adaptable (Python)
- Enregistrer et envoyer ses données brut Bitcoin sur AWS S3
Partie 3 : ETL Cloud – Transformation, Chargement & BigQuery
- Pipeline ETL : Transformation & chargement de données Bitcoin sur BigQuery (GCP)
- gcp credential : Créer un projet GCP, compte de service et clé JSON
- Créer pipeline Data Engineering : ETL sous GCP avec Apache Beam
- Exporter échantillon de données pour calibrer la fonction de transformation Beam
- Fonction de transformation & Load dataset to gcp
Partie 4 : Exposer, Sécuriser et Authentifier son API
- Exposez FastAPI et BigQuery et le securiser contre les injection sql
- Test de sécurité injection sql api sécurisée vs api non sécurisée
- Ajouter l’authentification par token (JWT) à votre API FastAPI
- Générer une clé API JWT depuis une interface web Python
- Créer un système complet d’authentification et génération de clés API JWT
Partie 5 : Sécurité Avancée – Sniffing, HTTPS et Gestion des Clés
- Test de vulnerabilité sniffing puis sécurisation de l’api
- Données interceptées : Pourquoi chiffrer votre API en HTTPS ?
- Sécurisation contre vulnerabilité sniffing de l’api en local avec mkcert
- Sécuriser son API pour le web : audit & bonnes pratiques avant la mise en production
- Déployer une API sécurisée avec Nginx, HTTPS et gestion des clés
- Architecture finale : FastAPI, Nginx & HTTPS sécurisé
- Tester l’inscription, la génération et l’utilisation d’une API Key sécurisé
Partie 6 : Supervision & Monitoring du Pipeline de Données
- (Prometheus) Sécuriser et monitorer une API avec Prometheus & Grafana
- (Grafana) Créer des dashboards interactifs avec Grafana pour monitorer son API
- (Alert Grafana ) créer des alertes personnalisées
Partie 7 : Orchestration et Automatisation avancée avec Airflow
- Installer Apache Airflow avec Docker pour orchestrer ses ETL
- Connection ssh entre machine host distant et machine conteneur docker airflow
- dag execution: Orchestration ETL complète : déclencher un pipeline avec Airflow
Contenu du cours
Partie 1 : Devenir Data Engineer – Préparer son Environnement et le Pipeline
-
Construire un pipeline Data moderne : formation complète Data Engineer
08:42 -
Préparer son environnement Data Engineering pour un projet Bitcoin
06:28
Partie 2 : Extraction de Données Bitcoin – API, Pagination, Stockage Cloud
Partie 3 : ETL Cloud – Transformation, Chargement & BigQuery
Partie 4 : Exposer, Sécuriser et Authentifier son API
Partie 5 : Sécurité Avancée – Sniffing, HTTPS et Gestion des Clés
Partie 6 : Supervision & Monitoring du Pipeline de Données
Partie 7 : Orchestration et Automatisation avancée avec Airflow
Notes et avis de l’apprenant
pratique pour créer un SAAS complet, J'attends la suite
