Термин
Мультимодальность
Умение нейросети работать не только с текстом, но и с картинками, звуком или видео.
Мультимодальная модель принимает на вход разные типы данных. Можно приложить скриншот и спросить, что на нём не так, или показать фотографию товара и попросить описание.
Практически это важнее, чем звучит: часто быстрее показать картинку, чем описывать словами, что именно вы хотите поправить.
Пример
Приложили фото полки в магазине и спросили: «составь список товаров и оцени, чего не хватает» — это и есть мультимодальность в работе.
Где вы встретите это слово
- В значке скрепки у поля ввода. Если через неё можно приложить фото, скриншот или PDF со схемами, модель умеет смотреть на изображения.
- В значке микрофона. Голосовой ввод бывает двух видов: речь сначала превращают в текст, или модель слушает звук сама. Для вас разница видна в том, понимает ли она интонацию и шум.
- В описании моделей и агрегаторов: «понимает изображения», «работает с аудио». В агрегаторе можно получить ошибку, если приложить картинку к модели, которая умеет только текст.
- В требованиях к файлам: максимальный размер, число картинок в одном сообщении, поддерживаемые форматы.
- В значке камеры в мобильном приложении: можно сфотографировать предмет или экран прямо из разговора.
С чем путают
Путают «видит картинки» и «рисует картинки». Это разные умения. Модель может отлично читать скриншот таблицы и при этом не уметь нарисовать ни одной иллюстрации: за рисованием идут в отдельные генераторы. Обратное тоже бывает: генератор рисует, но не разберёт вашу фотографию документа. Прежде чем выбирать сервис, уточните, какое из двух умений нужно.
Как это влияет на цену и качество
Картинка в запросе тоже расходует лимит: крупный скриншот может весить в токенах как пара страниц текста. Несколько фото в одном сообщении заметно ускоряют расход. По качеству всё упирается в исходник. Размытое фото чека, снятое под углом, даёт ошибки в цифрах, и модель не всегда скажет, что не разобрала. Ровный скан или скриншот читается почти без потерь.
Что делать на практике
- Когда объяснить словами долго, покажите: скриншот ошибки или фото полки понятнее трёх абзацев описания.
- Для цифр приносите скриншот или файл, а не фото экрана телефоном. Блики и наклон превращают семёрки в единицы.
- Если в ответе есть числа с картинки, попросите выписать их отдельным списком и сверьте с исходником глазами.
- Длинную запись встречи удобнее сначала перевести в текст, а потом разбирать текстом: так проще проверить, что именно было сказано.
- Сервис не принимает файл? Попробуйте другой формат: скриншот вместо фото, текстовый PDF вместо скана, звуковую дорожку вместо видео.
- С видео уточните, что модель на самом деле смотрит: одни сервисы берут только звук, другие отдельные кадры. От этого зависит, заметит ли она то, что происходит в кадре молча.
- Перед тем как приложить фото документа, закройте на нём лишнее: номера карт, адреса, чужие лица.
Почитать на портале
- Claude загрузить PDF файл за минутыPDF со схемами и таблицами: что модель видит, а что теряет
- Аудио в текст нейросеть: совещания и интервью в 2026как превратить запись совещания или интервью в текст
- Нейросеть генерации изображений по фотообратная задача: не прочитать фото, а сделать по нему новую картинку