El curso se centra en el diseño y desarrollo de soluciones de procesamiento de datos en la plataforma Microsoft Azure. Exploraremos en detalle las herramientas específicas de Azure empleadas por los ingenieros de datos, tanto en la fase de ingesta como en las etapas posteriores.
El enfoque principal será lograr un aprendizaje significativo a través de proyectos personales guiados por el tutor de manera directa y evaluación basada en la adquisición de competencias. Los estudiantes aprenderán los fundamentos y las mejores prácticas para construir pipelines de datos eficientes y escalables, que permitan la ingesta, transformación, almacenamiento y análisis de grandes volúmenes de datos.
Este módulo va mucho más allá de lo puramente académico: nos sumergimos de lleno en la realidad técnica de los proyectos de datos actuales. El objetivo es proporcionar a los estudiantes el conocimiento y las mejores prácticas para construir pipelines de datos eficientes, escalables y, sobre todo, sostenibles en el ecosistema Microsoft Azure y plataformas de vanguardia.
El enfoque es 100% práctico y orientado a la adquisición de competencias reales. A través de proyectos guiados y el debate técnico de casos de uso del sector, aprenderemos a gestionar el ciclo de vida completo del dato: desde la ingesta y transformación hasta su almacenamiento, análisis y explotación.
Tecnologías y Enfoque del Curso
Exploraremos una amplia variedad de servicios cloud, profundizando en las plataformas más demandadas hoy en día por la industria:
- El ecosistema de Microsoft Fabric: Entraremos a fondo en OneLake, implementando estrategias de Mirroring y Shortcuts para virtualizar el dato sin moverlo físicamente. Agilizaremos la ingesta con Dataflows y Pipelines, y analizaremos el enorme valor de Direct Lake para explotar grandes volúmenes de datos desde Power BI sin duplicidades, preparando el terreno para los futuros Agentes de Datos.
- Análisis y Gobierno con Databricks: Cubriremos el ciclo de vida analítico, garantizando el gobierno y el linaje del dato de extremo a extremo con Unity Catalog. Desplegaremos orquestaciones sólidas mediante Workflows y Lakeflow, levantaremos SQL Warehouses y exploraremos herramientas como Genie AI/BI para habilitar la analítica en lenguaje natural.
- Fundamentos Sólidos en Azure: Dominaremos la ingesta y orquestación desde diversas fuentes, procesaremos eventos en tiempo real a gran escala con Azure Event Hubs, y gestionaremos el almacenamiento seguro con Storage Account Gen2, integrando además bases de datos como Azure SQL Database y Cosmos DB.
Diseñando con “Guardarraíles”: Más allá de la Herramienta
Saber usar una herramienta no es suficiente; hay que saber diseñar arquitecturas viables. En el curso pondremos un foco especial en los debates técnicos que marcan la diferencia en un ingeniero de datos Senior:
- Control de costes (FinOps) para garantizar la rentabilidad del proyecto.
- Gobierno y Seguridad del Dato para asegurar la fiabilidad de la plataforma.
- Soberanía del Dato y Vendor Lock-in, defendiendo el uso de formatos abiertos como base para la Inteligencia Artificial.
Contenidos:
- Introducción a la Realidad de los Datos: Fundamentos y mejores prácticas en arquitecturas cloud modernas.
- Diseño de Plataformas Sostenibles: Seguridad, gobierno del dato, FinOps (control de costes) y evasión del vendor lock-in mediante formatos abiertos.
- Ingesta y Orquestación Core: Integración de fuentes con Azure Data Factory / Microsoft Fabric y almacenamiento escalable en Storage Account Gen2 y Onelake.
- Streaming y Tiempo Real: Procesamiento masivo de eventos con Azure Event Hubs.
- Revolución Microsoft Fabric: Arquitecturas OneLake, Dataflows, Mirroring, Shortcuts y explotación eficiente con Direct Lake.
- Ecosistema Databricks Avanzado: Procesamiento a gran escala, orquestación (Workflows/Lakeflow), gobierno de extremo a extremo con Unity. Catalog y GenAI aplicada a BI.
- Bases de Datos en Cloud: Integración con modelos relacionales y no relacionales (Azure SQL Database y Azure Cosmos DB).
- Proyecto Práctico Transversal: Desarrollo, monitorización y optimización de un pipeline completo basado en un caso de uso real.
