Задача выглядит решённой лет двадцать. Сканер, программа, текст на выходе. На практике компании по-прежнему держат людей, которые перепечатывают документы в систему, — потому что между «прочитать текст» и «получить готовую запись в базе» лежит работа, о которой в описаниях сервисов почти не пишут. Разберём, что сегодня умеют готовые решения, где они останавливаются и что определяет результат на самом деле.
Три поколения решений
Шаблонное распознавание. Программе показывают, в каком месте листа лежит каждое поле, и она забирает оттуда текст. Работает безупречно, пока документ приходит в той же форме. Любой новый поставщик со своим бланком требует нового шаблона, и обслуживание шаблонов быстро съедает экономию.
Обучаемые сервисы. Система учится на размеченных примерах и узнаёт поля по косвенным признакам: подписи рядом, формату значения, положению относительно других элементов. Новый бланк берёт без настройки, если он похож на то, что уже видела. Основная часть рынка готовых решений живёт здесь.
Языковые модели. Читают документ как текст и понимают содержание: где покупатель, где поставщик, какие позиции, что за сумма внизу. Расположение полей им безразлично, и они справляются с тем, на чём предыдущие поколения останавливались, — с фотографией с телефона, с нестандартным бланком, со сканом, который поставили криво.
Где останавливаются готовые сервисы
Качество чтения у зрелых сервисов высокое, и спорить с ним незачем. Проблемы начинаются после.
Сверка со справочниками. Сервис вернул «ООО Ромашка» и позицию «болт М8 оцинк.». Дальше нужно понять, что это за контрагент в вашей базе и какая это номенклатура. Без такого сопоставления система начинает заводить новые элементы на каждое написание названия, и через полгода справочники становятся хуже, чем были.
Ваши правила. Что делать, если сумма в документе не сходится с заказом. Куда отправлять документ от незнакомого поставщика. Как поступать с позицией, которой в номенклатуре нет. Готовый сервис таких решений не принимает — он отдаёт данные и уходит.
Доведение до записи в системе. Распознанные поля надо превратить в документ учётной системы или в карточку CRM, со всеми обязательными реквизитами, которых в бумаге может и не быть.
Выбирать поэтому стоит так: чем ближе задача к чтению текста, тем лучше готовое решение. Чем больше в ней ваших справочников и ваших правил, тем больше работы остаётся после сервиса.
Когда готового достаточно
- Документы однотипные и приходят от постоянного круга контрагентов.
- Нужен текст или набор полей, а не запись в системе.
- Объём небольшой: до нескольких сотен документов в месяц.
- Есть кому проверять результат — и это нормально, потому что проверка остаётся в любом случае.
В этом случае дешевле всего взять подписку и не затевать проект. Встроенное распознавание учётной системы часто закрывает такую задачу без доплат.
Когда нужна разработка
- Поток большой и разнородный. Сотни документов в месяц от десятков поставщиков, каждый со своим бланком.
- Нужна запись в системе, а не данные. Документ должен появиться в базе готовым к проверке.
- Есть собственные правила обработки. Сверки, пороги, маршруты согласования, особые случаи.
- Данные нельзя отдавать наружу. Персональные сведения, договоры под NDA, медицинские документы. Тогда модель разворачивается в своём контуре — про границы данных есть отдельный разбор.
- Документы приходят в плохом виде. Фотографии, факсовые копии, сканы с артефактами. На них готовые сервисы показывают совсем другое качество, чем в демонстрации.
Что на самом деле определяет результат
Не выбор модели, а три вещи, которые обсуждают в последнюю очередь.
Качество исходников. Разница между аккуратным сканом и фотографией под углом больше, чем разница между двумя приличными сервисами. Иногда дешевле поставить нормальный сканер и договориться с поставщиками о формате, чем улучшать распознавание.
Порог уверенности. У каждого извлечённого поля есть оценка, насколько система в нём уверена. Документы ниже порога уходят человеку, выше — проходят сами. Этот порог и есть главная настройка проекта: он определяет и экономию, и число ошибок, и доверие сотрудников.
Справочники. Если контрагенты и номенклатура в базе в порядке, сопоставление работает. Если там дубли и разнобой, проект начинается с уборки — и это полезная работа, которую стоит сделать в любом случае.
Как считать экономику
Три числа: сколько документов в месяц, сколько минут уходит на один сейчас, сколько стоит час того, кто это делает. Дальше поправка на долю, которую система заберёт, — реалистично от половины до восьмидесяти процентов, потому что часть документов всё равно пойдёт через человека.
Ориентир по опыту: при паре сотен документов в месяц проект обычно не окупается, при тысяче окупается почти всегда. Подробный расчёт с примерами — в разборе про стоимость внедрения.
Как выбирать
- Соберите реальные документы за несколько месяцев, включая самые плохие копии. Демонстрация на чистом бланке не говорит ни о чём.
- Прогоните этот массив через два-три кандидата и посчитайте долю, прошедшую без правок. Это единственная сравнимая цифра.
- Спросите, как решается сопоставление со справочниками: это та часть, где заканчивается готовое решение.
- Выясните, где обрабатываются документы и что происходит с ними после. Для договоров и персональных данных это определяющий вопрос.
- Проверьте, что будет при ошибке: видно ли её, можно ли откатить, попадает ли документ сразу в учёт.
Коротко
- Чтение текста давно решено; работа лежит в сопоставлении со справочниками и в ваших правилах.
- Готовые сервисы хороши на однотипных документах и небольших объёмах.
- Разработка нужна при большом разнородном потоке, своих правилах и запрете выпускать данные наружу.
- Результат определяют качество исходников, порог уверенности и порядок в справочниках, а не выбор модели.
- Сравнивать кандидатов имеет смысл только на своём массиве документов, включая плохие копии.
Как это выглядит на бухгалтерской первичке, с проводкой в учётную систему и сверкой контрагентов, — в описании услуги.
Нужна помощь с этим?
Разберём вашу ситуацию и скажем, что делать дальше, — даже если работать будете сами.
Написать намСтатья была полезна?
Частые вопросы
Чем языковые модели лучше обычного распознавания?
Им не нужно, чтобы поле стояло в определённом месте листа: они разбирают смысл документа. Поэтому берут нестандартные бланки, фотографии с телефона и кривые сканы, на которых шаблонные и обучаемые решения дают заметно худший результат. На однотипных аккуратных документах разница небольшая, и платить за неё незачем.
Можно ли обойтись встроенным распознаванием учётной системы?
Часто да, и начинать стоит с него — за него уже заплачено. Оно справляется с типовыми формами от постоянных поставщиков. Пределы видны быстро: новый бланк, фотография вместо скана, документ со сложной табличной частью. Если такие случаи составляют заметную долю потока, разговор про отдельное решение становится предметным.
Насколько точно распознаются документы?
Цифру из рекламных материалов можно не рассматривать: она получена на чистых сканах типовых форм. Значение имеет только доля документов, прошедших без правок на вашем массиве, с вашим качеством копий и вашими поставщиками. Её меряют до начала проекта, прогнав несколько сотен реальных документов.
Что делать с документами, которых система не знает?
Они должны попадать в отдельную очередь к человеку, а не обрабатываться наугад. Это настраивается порогом уверенности: чем он выше, тем больше документов уходит на проверку и тем меньше ошибок попадает в базу. В начале проекта порог ставят высоким и снижают по мере того, как видна реальная точность.
Нужно ли сначала навести порядок в справочниках?
Если в номенклатуре и контрагентах дубли и разнобой, сопоставление будет ошибаться, а система — плодить новые элементы. Полную уборку делать необязательно, но правила сопоставления придётся писать с учётом беспорядка, и это удорожает проект. Чаще всего выгоднее почистить хотя бы контрагентов по ИНН.