Qué son las evals
También se dice evaluaciones, evaluación de modelos, evaluación de LLM o LLM como juez.
En dos frases
Baterías de pruebas que miden si un modelo o una aplicación de IA cumple unos criterios de éxito definidos. Combinan casos de prueba con lo que se espera de cada uno y un método para puntuar las respuestas.
- Nivel
- Técnico
- Actualizado
Definición amplia
Las evals, o evaluaciones, son la forma de comprobar con datos si una aplicación de IA hace bien su trabajo. Anthropic plantea que una aplicación basada en modelos de lenguaje empieza por definir con claridad los criterios de éxito y por diseñar evaluaciones que midan el rendimiento frente a ellos. Cada evaluación reúne un conjunto de casos de prueba y un método para puntuar las respuestas.
Cómo se puntúan
- Con código: comparación exacta con la respuesta correcta o medidas de parecido entre textos. Es rápida y repetible, y encaja en clasificaciones o extracción de datos.
- Con otro modelo: un modelo hace de juez y valora criterios más subjetivos, como el tono o si una respuesta contiene datos personales. Anthropic indica que, en general, es buena práctica que el juez sea un modelo distinto del que generó la respuesta y comprobar su fiabilidad antes de usarlo a escala.
- Con personas: revisores que puntúan las respuestas. Anthropic lo considera lo más flexible y de mayor calidad, pero lento y caro, y aconseja evitarlo cuando se pueda.
Cómo se diseñan
Las pruebas deben parecerse a las tareas reales e incluir casos límite: entradas irrelevantes o muy largas, peticiones malintencionadas o casos ambiguos en los que tampoco las personas se pondrían de acuerdo. Anthropic aconseja automatizar la puntuación siempre que se pueda y priorizar el volumen: muchas preguntas con una puntuación automática algo menos fina aportan más que unas pocas revisadas a mano.
En la empresa, las evals permiten elegir con criterio entre dos modelos, comprobar que un cambio en las instrucciones no empeora lo que ya funcionaba y detectar que la calidad cae en producción. No deben confundirse con las comparativas públicas de modelos, que miden tareas generales: una eval útil mide la tarea concreta de la empresa con sus propios datos. Su límite es que solo comprueban lo que se ha previsto, por eso se completan con revisión humana y con el seguimiento del uso real.
Ejemplos de uso
Atención al cliente
En atención al cliente, antes de cambiar un asistente se le pasa una batería de preguntas reales de clientes con la respuesta esperada para cada una.
Administración y finanzas
En administración, se usan para medir qué porcentaje de facturas procesa la IA con todos sus campos correctos.
Dirección y estrategia
En dirección, sirven para comparar proveedores o modelos con las tareas de la propia empresa y no solo con las comparativas publicadas.
Marketing
En marketing, permiten comprobar con un modelo juez y una rúbrica que los textos generados respetan el tono de la marca.
Recursos humanos y talento
En recursos humanos, se emplean para verificar que el asistente de políticas internas responde de acuerdo con los documentos vigentes.
Términos relacionados
Fuentes
Del término a aplicarlo en tu empresa.
Lo que explica este glosario se trabaja en los programas de Kynetik, área por área.