处理文字以外的数据
多模态指 LLM 不只文字，还能处理图片、音频、视频这类其他种类的数据。可以用来读照片里的文字、读出图表的数字、总结会议的录音。能处理的种类因模型而异，可用于输入的种类和能够输出的种类也常常分开写明。
读和生成是两回事
即使写着“支持图片”，能读图片和能生成图片也是不同的能力。Anthropic 表示，自家的模型能读取并分析图片，但不能生成或修改图片。生成图片和音频，往往是专用模型的任务。
读的能力也有局限。Anthropic 表示，画质低的图片、旋转过的图片、非常小的图片容易出错，大量小物体的数量有时数不准。让它读表格或手写文字时，用自己的资料试几张来确认。按用途选择的页面的条件中的“读取图片”，就是能否读图片的标记。
图片也按 token 计算
在模型内部，图片也会切成 token 来处理。Anthropic 把图片分成小块来计算，Google 也把图片分成固定大小的图块来计算。两者都是图片越大，token 越多。
图片发得多，输入的 token 增加，费用也会上涨。如果不需要读细小的文字，把图片缩小后再发会更便宜。准确的计算方法因模型而异，要在各公司的说明页面上确认。