- Inicio
- Glosario de IA
- Fundamentos
- Token
Qué es un token en IA
También se dice tokenización, tokenizador o tokens.
En dos frases
Unidad mínima de texto (una palabra, un trozo de palabra o un signo) con la que un modelo de lenguaje lee y escribe. La tokenización es dividir el texto en tokens, y con ellos se mide y se factura el uso.
- Bloque
- Fundamentos
- Nivel
- Básico
- Actualizado
Definición amplia
Un modelo de lenguaje no lee letras ni palabras completas: lee tokens. Google define el token como la unidad básica sobre la que el modelo se entrena y hace sus predicciones. Un token puede ser una palabra corta, un trozo de palabra, un signo de puntuación o un espacio. La tokenización es el paso previo que corta el texto en esos fragmentos, y la hace un componente llamado tokenizador. En los modelos multimodales, las imágenes también se cuentan en tokens.
Cuánto es un token
No hay una equivalencia fija. OpenAI da como regla aproximada, para textos en inglés, que un token son unos cuatro caracteres, o unos tres cuartos de palabra. En otros idiomas la proporción cambia, y también cambia de un modelo a otro, porque cada fabricante usa su propio tokenizador: Anthropic documenta, por ejemplo, que al cambiar de tokenizador el mismo número de tokens pasó a equivaler a bastantes menos palabras. Para conocer la cifra exacta hay que usar la herramienta de recuento de cada proveedor.
Por qué importa en la empresa
- Coste: los servicios de IA por API suelen cobrar por millón de tokens, con un precio para los de entrada y otro para los de salida.
- Límites: la ventana de contexto, lo que el modelo puede manejar en una petición, se mide en tokens.
- Previsión: estimar los tokens de un proceso (cuántos documentos, de qué longitud, cuántas veces al día) es la base para calcular su coste antes de ponerlo en marcha.
No debe confundirse con la tokenización de pagos o de activos, que en banca y seguridad significa sustituir un dato sensible, como el número de una tarjeta, por un identificador sin valor fuera del sistema, o representar un activo con un token digital. Es un uso distinto de la misma palabra.
Ejemplos de uso
Administración y finanzas
En finanzas, el consumo de tokens es la partida que se vigila para controlar la factura de los servicios de IA.
Dirección y estrategia
En dirección, el precio por token entra en el cálculo del coste total de un proyecto de IA.
Atención al cliente
En atención al cliente, la longitud de las conversaciones en tokens condiciona el coste de cada caso que resuelve un asistente.
Datos y analítica
En analítica, antes de enviar una tabla grande a un modelo conviene calcular cuántos tokens ocupa.
Términos relacionados
Fuentes
Del término a aplicarlo en tu empresa.
Lo que explica este glosario se trabaja en los programas de Kynetik, área por área.