QAQA
QAQA / Библиотека терминов / Мультимодальность
СЛОВАРЬ / Основы ИИ

Мультимодальность

Способность модели работать с несколькими видами данных, например понимать и текст запроса, и приложенное изображение.

Также: мультимодальная модель, мультимодальный


Как это выглядит на практике

Вместо «перепиши чек» уточните, какие поля достать с фото: продавец, дата, итог. Сделайте для каждого поля отдельную строку.

Что проверить

Мелкий или закрытый текст может быть неразличим. Просьба отметить «не видно» полезнее, чем попытка восстановить цифры по контексту.

Практика QAQA

Попробуйте на примере

Я приложу свой чек без личных данных. Найди дату и сумму. Для каждого поля укажи «видно» или «неразборчиво». Если файла нет, попроси приложить его.
Открыть Luna ↗

Вставьте пример в чат и сравните результат со своим вариантом.

Рядом в словаре

Дальше по теме: Google · Machine Learning Glossary