- Inicio
- Glosario de IA
- Fundamentos
- Ventana de contexto
Qué es la ventana de contexto
También se dice context window, longitud de contexto o context length.
En dos frases
Cantidad máxima de texto, medida en tokens, que un modelo de lenguaje puede tener en cuenta a la vez en una petición: instrucciones, conversación, documentos adjuntos y la propia respuesta.
- Bloque
- Fundamentos
- Nivel
- Básico
- Actualizado
Definición amplia
La ventana de contexto es todo lo que un modelo puede consultar mientras genera una respuesta, incluida la respuesta misma. Anthropic la describe como la memoria de trabajo del modelo, distinta del enorme volumen de datos con el que se entrenó. Se mide en tokens y su tamaño depende de cada modelo.
En una conversación, cada mensaje del usuario y cada respuesta se van acumulando dentro de la ventana. También cuentan las instrucciones de sistema, los documentos e imágenes adjuntos y los resultados de las herramientas que use el modelo. Cuando se alcanza el límite, la petición no se puede procesar o hay que recortar o resumir lo anterior; algunas aplicaciones de chat van descartando lo más antiguo.
Más grande no siempre es mejor
Una ventana amplia permite trabajar con contratos largos, informes completos o conversaciones extensas. Pero la propia documentación de Anthropic advierte de que, a medida que crece el número de tokens, la precisión y la capacidad de recuperar datos se degradan, un efecto que llama context rot. Por eso importa tanto qué se pone en el contexto como cuánto cabe, y de ahí técnicas como el RAG, que solo introduce los fragmentos relevantes de los documentos.
Qué supone para la empresa
- Coste: todo lo que entra en la ventana se paga en tokens en cada petición.
- Diseño: en procesos con muchos documentos, conviene seleccionar la información en lugar de enviarlo todo.
- Expectativas: el modelo no recuerda conversaciones anteriores salvo que la aplicación se las vuelva a incluir o tenga una memoria específica.
Ejemplos de uso
Administración y finanzas
En finanzas, la ventana de contexto limita cuántas páginas de un informe o de un contrato se pueden analizar en una sola petición.
Atención al cliente
En atención al cliente, determina cuánto historial de un caso puede tener presente el asistente al responder.
Dirección y estrategia
En dirección, explica por qué un asistente pierde precisión cuando se le cargan decenas de documentos a la vez.
Recursos humanos y talento
En recursos humanos, se tiene en cuenta al cargar muchas políticas internas en un asistente para la plantilla.
Términos relacionados
Fuentes
Del término a aplicarlo en tu empresa.
Lo que explica este glosario se trabaja en los programas de Kynetik, área por área.