En este módulo aprenderemos a diseñar agentes de IA robustos y a evaluar su comportamiento de forma sistemática, dos competencias críticas para cualquier ingeniero de datos que trabaje con sistemas basados en LLMs.
Empezaremos con el concepto de RAG (Retrieval-Augmented Generation) y sus componentes, y métricas para evaluarlos. De aquí, pasaremos al concepto de agente, y veremos cómo definir la arquitectura de un agente: herramientas, memoria, planificación y orquestación, y cómo combinar estos componentes para resolver problemas complejos de data engineering de forma autónoma.
Durante el curso se presentarán métricas de calidad, técnicas de benchmarking, detección de alucinaciones y fallos así como estrategias para garantizar la fiabilidad y seguridad de los agentes en producción.
Contenidos:
- Retrieval-Augmented Generation (RAGs): componentes de un RAG y opciones comerciales disponibles
- Programación de RAGs con LangChain
- Concepto de agente
- Arquitectura de un agente: herramientas, memoria y planificación.
- Métricas de evaluación de agentes (faithfulness, relevance, etc.).
- Benchmarking y detección de alucinaciones.
- Estrategias de seguridad y guardarraíles en producción.