Термин
Мультимодальность
Умение нейросети работать не только с текстом, но и с картинками, звуком или видео.
Мультимодальная модель принимает на вход разные типы данных. Можно приложить скриншот и спросить, что на нём не так, или показать фотографию товара и попросить описание.
Практически это важнее, чем звучит: часто быстрее показать картинку, чем описывать словами, что именно вы хотите поправить.
Пример
Приложили фото полки в магазине и спросили: «составь список товаров и оцени, чего не хватает» — это и есть мультимодальность в работе.