Dos velocidades
La velocidad de respuesta (en inglés, latency) es el tiempo de espera desde que envías la pregunta hasta que vuelve la respuesta. La velocidad se mira en dos partes. Una es el tiempo desde el envío hasta que sale el primer carácter. La otra es la velocidad una vez que la respuesta empieza a fluir, que se expresa en tokens por segundo.
Lo que la guía de Anthropic explica por separado es el tiempo de espera total hasta terminar de escribir la respuesta y el tiempo hasta que sale el primer token. La velocidad a la que fluye se suele mirar aparte, en tokens por segundo. Cuando la respuesta se muestra poco a poco (streaming), el tiempo hasta el primer carácter influye mucho en la sensación de rapidez.
De qué depende
Anthropic dice que la velocidad cambia con el tamaño del modelo, la complejidad del prompt y la infraestructura que ejecuta el modelo, entre otros factores. Los principales son estos.
- El tamaño del modelo (cuanto más grande, más lento suele ser)
- El nivel de razonamiento de los modelos de razonamiento (cuanto más piensa, más tarda el primer carácter)
- La longitud de la entrada y la salida (cuanto más largos los documentos o las respuestas, más tiempo)
- La carga del servicio (el mismo modelo cambia según la hora)
La guía de OpenAI enumera principios para hacerlo más rápido, como generar menos tokens, enviar menos tokens y hacer menos llamadas.
Dónde comprobar la velocidad
En usos en los que una persona espera, como una conversación, importa el tiempo hasta el primer carácter. En usos que procesan en bloque muchos documentos, más que la espera de cada llamada importan el volumen total procesado y el precio.
Las páginas para elegir por uso ordenan de mayor a menor valoración y filtran por precio y por condiciones (longitud del texto que puede leer de una vez, uso de herramientas, etc.). La velocidad no entra ni en el orden ni en los filtros. Si la velocidad te importa, envía varias veces tus propias preguntas y mide la espera para comparar.