文字以外も扱うこと
マルチモーダルとは、LLM が文字だけでなく、画像、音声、動画のような別の種類のデータも扱えることを指す。写真の中の文字を読む、グラフの数字を読み取る、会議の録音を要約する、といった使い方ができる。扱える種類はモデルごとに違い、入力に使える種類と出力できる種類も分けて書かれることが多い。
読むことと作ることは別
「画像に対応」と書かれていても、画像を読めることと画像を作れることは別の力である。Anthropic は、自社のモデルは画像を読んで分析できるが、画像を作ったり手を加えたりはできないとしている。画像や音声を作るのは、専用のモデルの役目であることが多い。
読む力にも限界がある。Anthropic は、画質の低い画像、回転した画像、とても小さい画像では誤りが出やすく、多数の小さな物の数は正確に数えられないことがあるとしている。表や手書きの文字を読ませる時は、自分の資料で何枚か試して確かめる。用途から選ぶページの条件にある「画像の読み取り」は、画像を読めるかの印である。
画像もトークンで数える
画像も、モデルの中ではトークンに分けて扱われる。Anthropic は画像を小さな区画に分けて数え、Google も画像を決まった大きさのタイルに分けて数える。どちらも、大きな画像ほどトークンが多い。
画像を多く送ると、入力のトークンが増えて料金も上がる。細かい文字を読む必要が無ければ、画像を小さくしてから送ると安くなる。正確な数え方はモデルごとに違うため、各社の説明のページで確かめる。