Manejar algo más que texto
Multimodal significa que un LLM puede manejar, además de texto, otros tipos de datos como imágenes, audio o vídeo. Permite leer el texto de una foto, sacar las cifras de un gráfico o resumir la grabación de una reunión. Los tipos que se pueden manejar cambian de un modelo a otro, y muchas veces se indican por separado los tipos que admite como entrada y los que puede dar como salida.
Leer y crear son cosas distintas
Aunque diga “admite imágenes”, poder leer imágenes y poder crearlas son capacidades distintas. Anthropic dice que sus modelos pueden leer y analizar imágenes, pero no crearlas ni modificarlas. Crear imágenes o audio suele ser tarea de modelos especializados.
La capacidad de leer también tiene límites. Anthropic dice que con imágenes de baja calidad, giradas o muy pequeñas es fácil que se equivoque, y que a veces no cuenta con exactitud muchos objetos pequeños. Si vas a darle a leer tablas o texto manuscrito, prueba con varias imágenes de tus propios documentos. La “Lectura de imágenes” de las condiciones de las páginas para elegir por uso indica si puede leer imágenes.
Las imágenes también se cuentan en tokens
Dentro del modelo, las imágenes también se tratan divididas en tokens. Anthropic cuenta la imagen dividiéndola en pequeñas zonas, y Google la divide en mosaicos de tamaño fijo. En los dos casos, cuanto más grande es la imagen, más tokens.
Si envías muchas imágenes, aumentan los tokens de entrada y sube el precio. Si no hace falta leer letra pequeña, reducir la imagen antes de enviarla sale más barato. La forma exacta de contar cambia según el modelo, así que compruébala en la página de explicación de cada empresa.