Qué es el LLMOps
También se dice GenAIOps, operaciones de modelos de lenguaje grandes o LLM operations.
En dos frases
Conjunto de prácticas para llevar a producción y mantener aplicaciones basadas en modelos de lenguaje grandes: versiones de los prompts, evaluación, despliegue y seguimiento de la calidad, el coste y la seguridad.
- Nivel
- Técnico
- Actualizado
Definición amplia
El LLMOps es la especialización del MLOps para las aplicaciones construidas sobre modelos de lenguaje grandes (LLM). IBM lo describe como las prácticas y flujos de trabajo que agilizan el desarrollo, el despliegue y la gestión de estos modelos a lo largo de su ciclo de vida. Microsoft lo llama GenAIOps y lo define como las prácticas operativas para gestionar LLM en producción.
En qué se diferencia del MLOps
En el MLOps clásico, el equipo entrena sus propios modelos con los datos de la empresa. En una aplicación con LLM es frecuente partir de un modelo ya entrenado, propio o de un proveedor, y adaptarlo con instrucciones, con documentos de la empresa (RAG) o con fine-tuning. Eso cambia lo que hay que gestionar: las versiones de los prompts, la evaluación de textos abiertos que no tienen una única respuesta correcta, el consumo de tokens y riesgos nuevos como la inyección de prompts. IBM señala que la evaluación de un LLM necesita métricas y pruebas distintas de las que se usan en el machine learning tradicional.
Qué incluye
- Gestión de prompts y configuraciones: versionarlos como si fueran código y poder volver a una versión anterior.
- Evaluación: baterías de pruebas antes de cada cambio y sobre muestras del uso real.
- Despliegue: integración y entrega continuas (CI/CD) de la aplicación y de sus componentes.
- Seguimiento en producción: calidad de las respuestas, latencia, consumo de tokens, errores y seguridad.
- Gobierno: control de accesos, registros y cumplimiento.
Microsoft propone una escala de madurez de cuatro niveles: va de una fase inicial, en la que se exploran los modelos sin prácticas estructuradas, a una de excelencia operativa en el desarrollo, el despliegue y la monitorización de las aplicaciones. Para una empresa, la utilidad práctica es pasar de un piloto que funciona en una demostración a un servicio que se puede mantener, medir y auditar. Su límite es el esfuerzo: exige herramientas, datos de prueba y personas responsables, algo que conviene dimensionar antes de llevar a producción más de un caso de uso.
Ejemplos de uso
Dirección y estrategia
En dirección, se usa al decidir qué hace falta para que un piloto de IA se convierta en un servicio estable, con responsables, métricas y presupuesto.
Atención al cliente
En atención al cliente, es el trabajo que permite cambiar las instrucciones de un asistente sin estropear respuestas que ya funcionaban.
Administración y finanzas
En administración y finanzas, incluye vigilar el consumo de tokens de cada aplicación para que el gasto no se desvíe del previsto.
Datos y analítica
En analítica, aparece en los cuadros de mando que siguen la calidad y el coste de las aplicaciones de IA en producción.
Términos relacionados
Fuentes
Del término a aplicarlo en tu empresa.
Lo que explica este glosario se trabaja en los programas de Kynetik, área por área.