Мультимодальные модели: разбор сканов, фото и таблиц

Мультимодальная модель принимает на вход не только текст, но и изображения. Для бизнеса это чаще всего означает одно: разбор бумаг, которые приходят сканами и фотографиями с телефона.

Чем это отличается от обычного распознавания

Классический OCR извлекает текст, но не понимает, что перед ним. Мультимодальная модель может сразу вернуть смысловые поля: номер документа, дату, сумму, список позиций — без отдельного разбора координат и колонок.

Это меняет экономику задач, где раньше требовался обученный под конкретную форму парсер. Одна инструкция вместо шаблона под каждый тип бланка.

Где модель справляется, а где нет

Печатный текст на ровном скане разбирается уверенно. Таблица с ясной сеткой — тоже, если не разъезжается на несколько страниц. Рукописный текст даёт ошибки, а фотография под углом с бликом может быть прочитана неверно так, что вы этого не заметите.

Последнее опаснее всего: модель не сообщает о неуверенности сама. Она вернёт правдоподобное число, и если это сумма платежа, цена ошибки высока.

Как получить пригодный результат

**Просите строгий формат.** Опишите поля и их типы, потребуйте вернуть только JSON без пояснений. Иначе разбирать ответ придётся вручную.

**Заводите поле для сомнения.** Пусть модель отдельно помечает значения, в которых не уверена. Это не гарантия, но фильтр на проверку человеком.

**Проверяйте арифметику кодом.** Сумма позиций должна сходиться с итогом. Такая сверка ловит больше ошибок, чем любая формулировка промпта.

**Не отправляйте лишнее.** Если нужен только номер и дата, обрежьте изображение до шапки документа. Меньше картинка — дешевле запрос и меньше поводов ошибиться.

Что это стоит

Изображение оплачивается как заметное количество токенов, и цена растёт с разрешением. Сканы в 300 dpi для распознавания шапки избыточны — часто достаточно вдвое меньшего разрешения.

При массовой обработке это первое место, где стоит поискать экономию: снижение разрешения и обрезка полей дают эффект без потери качества.

Прежде чем ставить разбор документов в поток, прогоните полсотни своих сканов и посчитайте долю ошибок вручную. Заявленная точность из обзоров к вашим бумагам отношения не имеет.

Организационная часть

Сканы часто содержат персональные данные: паспортные сведения, адреса, телефоны. Прежде чем отправлять их во внешний сервис, решите этот вопрос отдельно — обрезкой, обезличиванием или отказом от таких документов в автоматическом контуре.

Проверьте у поставщика доступа, хранятся ли отправленные изображения и используются ли они для обучения. Ответ лучше получить письменно до запуска.

Как устроить приёмку результата

Разбор документов почти никогда не работает без проверки. Вопрос только в том, проверяет человек всё подряд или выборочно.

Рабочая схема — три корзины. В первую попадают документы, где все проверки сошлись: арифметика бьётся, обязательные поля заполнены, формат реквизитов правильный. Они уходят дальше автоматически. Во вторую — те, где хотя бы одна проверка не прошла: их смотрит человек. В третью — те, где модель сама пометила значения как сомнительные.

Такая схема окупается, потому что убирает не проверку целиком, а её однообразную часть. Сотрудник смотрит не двести накладных, а тридцать спорных.

Проверки, которые ловят больше всего:

• сумма позиций сходится с итогом;
• дата документа не в будущем и не слишком в прошлом;
• ИНН и номер счёта проходят проверку контрольной суммы;
• контрагент есть в вашем справочнике;
• количество позиций совпадает с числом строк.

Всё это считается обычным кодом и стоит ноль. Каждая такая сверка надёжнее любой формулировки в промпте, потому что не зависит от того, как модель прочитала картинку.

С чего начать

Возьмите один тип документа с наибольшим объёмом — обычно это накладные или счета. Опишите поля, соберите тестовую выборку, замерьте долю ошибок. Если она приемлема с проверкой человеком на сомнительных случаях, задача решается. Если нет, начинать со сложных типов бумаг тем более не стоит.

И заведите отдельный счётчик документов, ушедших на ручную проверку. Если его доля растёт, значит, изменилось качество входящих сканов или поставщик обновил модель. Без этой цифры деградация замечается только тогда, когда ошибка доходит до бухгалтерии.