Semana 10: Evaluaci�n y Monitoreo (LLM-Ops)

ingenieria-de-contexto modulo3-arquitectura

Objetivo

Aprender a medir si tu sistema contextual est� funcionando bien.

T�picos Clave

  • M�tricas de evaluaci�n para RAG: Context Precision, Faithfulness, Answer Relevancy.
  • Uso de LLMs para evaluar a otros LLMs.
  • Frameworks de evaluaci�n: RAGAs, LangSmith, TruLens.

Actividad Pr�ctica

Define un conjunto de 5 preguntas y respuestas “ideales” para tu sistema RAG. Eval�a manualmente las respuestas de tu sistema contra este conjunto.

Recursos

Mis Notas