Pipeline de Datos en AWS con Airflow y dbt

Henry Bootcamp – Experiencia Académica

Objetivo: Implementación de un data pipeline escalable con almacenamiento en AWS S3 y carga en PostgreSQL (RDS). Desarrollo de un flujo ETL end-to-end para la ingesta, transformación y almacenamiento de datos. Incluye integración de múltiples fuentes (CSV, JSON, API), procesamiento con dbt y orquestación con Airflow en contenedores Docker.

• Transformaciones modulares y versionadas en dbt, aplicando mejores prácticas de ingeniería de datos.
• Orquestación de tareas con Airflow, optimizando la ejecución y monitoreo de flujos.

Stack: AWS (S3, EC2), Terraform, Apache Spark, Airflow, FastAPI, Streamlit.

🔗 Código disponible en: github.com/dlcastan/Proyecto_Integrador_III