Qué es la inferencia en IA

Definición amplia

La vida de un modelo de IA tiene dos fases. En el entrenamiento aprende a partir de datos; en la inferencia aplica lo aprendido. IBM la define como el uso de un modelo entrenado para hacer predicciones sobre datos nuevos, y Google precisa que, en los modelos de lenguaje grandes, es el proceso de generar una respuesta a un prompt. Cada vez que alguien pregunta algo a un asistente, resume un documento o clasifica un correo con IA, se está haciendo inferencia.

Durante la inferencia los parámetros del modelo no cambian: procesa la entrada con los que ya tiene. IBM lo explica así: el entrenamiento necesita una pasada hacia delante y otra hacia atrás para ajustar los parámetros, mientras que la inferencia solo hace la pasada hacia delante. Por eso un modelo tiene en cuenta lo que se le dice dentro de una conversación, pero no lo incorpora a sus parámetros, salvo que después se usen esos datos para entrenar una versión nueva.

Por qué importa en la empresa

• Coste recurrente: el entrenamiento se hace una vez o pocas veces, pero la inferencia se repite con cada uso. En los servicios de IA generativa por API se suele pagar por tokens de entrada y de salida.
• Dónde se ejecuta: en la nube del proveedor, en servidores propios, en dispositivos cercanos al origen de los datos o en el propio equipo del usuario. Cada opción cambia el control sobre los datos, el tiempo de respuesta y la inversión inicial.
• Latencia: el tiempo de respuesta depende de la longitud de la entrada y de la respuesta, del tamaño del modelo y del hardware en que se ejecuta, normalmente GPU u otros aceleradores.
• En línea o por lotes: lo que no necesita respuesta inmediata puede procesarse por lotes, una opción que IBM señala como más económica.

La palabra tiene otro uso frecuente que puede confundir: en estadística, inferir es sacar conclusiones sobre una población a partir de una muestra, y en analítica se habla de inferencia causal para estimar causas y efectos. Google advierte de que el término no significa lo mismo en estadística que en machine learning.

Ejemplos de uso

• Administración y finanzas

  En finanzas, el gasto en inferencia es la parte variable de la factura de IA, la que crece con el número de consultas y documentos procesados.

• Atención al cliente

  En atención al cliente, el tiempo de inferencia determina cuánto tarda el asistente en contestar en una conversación en directo.

• Dirección y estrategia

  En dirección, decidir dónde se ejecuta la inferencia, en la nube o en servidores propios, es una decisión de coste, control de los datos y dependencia del proveedor.

• Datos y analítica

  En analítica, se habla de inferencia por lotes cuando un modelo puntúa de una vez toda la base de clientes cada noche.

Términos relacionados

• Coste por token

Fuentes

• IBM, What is AI inference?
• Google for Developers, Machine Learning Glossary: inference