Inferencia y razonamiento, dos cosas distintas
En el campo de los LLM, la inferencia y el razonamiento se confunden con facilidad, pero son cosas distintas. La inferencia es ejecutar un modelo ya entrenado para obtener una respuesta (en inglés, inference). Es la palabra que se opone al entrenamiento, se usa en expresiones como “coste de inferencia” o “servidor de inferencia” y vale para cualquier modelo. El glosario de Anthropic también usa esta palabra para el servicio que ejecuta el modelo y devuelve respuestas.
El razonamiento es pensar siguiendo un hilo lógico (en inglés, reasoning). El razonamiento de un modelo de razonamiento es este: antes de responder escribe su razonamiento intermedio y llega a la respuesta paso a paso. La inferencia trata del trabajo de ejecutar el modelo; el razonamiento, de la forma de pensar del modelo.
Cuanto más piensa, más lento y más caro
Un modelo de razonamiento escribe por extenso su proceso de pensamiento antes de la respuesta. Según la explicación de Anthropic, este pensamiento mejora los resultados en tareas complejas como las matemáticas, la programación o el análisis. Google también dice que el proceso de pensamiento ayuda en programación, matemáticas avanzadas y análisis de datos.
A cambio, los tokens que usa para pensar se cobran como salida aunque el texto del pensamiento no se devuelva al usuario. También tarda más en dar la respuesta. Google recomienda reducir el nivel de razonamiento en tareas sencillas, como preguntas para consultar un dato o clasificaciones. Anthropic también recomienda, si quieres reducir el precio o la espera, bajar primero el ajuste del nivel de razonamiento.
El “nivel de razonamiento” de las páginas
Muchos modelos de razonamiento permiten cambiar con un ajuste cuánto piensan. En un mismo modelo, cuanto más alto es el ajuste, más tiempo piensa y mejor es la evaluación, pero el precio también tiende a subir.
Las páginas para elegir por uso agrupan en una sola fila un mismo modelo que solo se diferencia en el nivel de razonamiento, y usan el valor del ajuste con el valor más alto en esa página. El valor de cada ajuste se puede comprobar en el “nivel de razonamiento” de la tabla comparativa. Si quieres usarlo barato y rápido, mira también el valor de los ajustes bajos antes de elegir.