DeepEval

DeepEval se integra directamente con pytest, lo que permite un enfoque de eval-as-code donde las suites de evaluación conviven con las pruebas de aplicación en el mismo pipeline de CI. A diferencia de las herramientas de evaluación de solo salida, DeepEval soporta la evaluación de trazas de agente que puntúa los pasos de razonamiento intermedios, no solo las respuestas finales. También proporciona generación de conjuntos de datos sintéticos para construir conjuntos de muestras doradas e incluye capacidades de red-teaming para pruebas adversarias del comportamiento del agente.