OCR и ИИ: как распознавать сканы тендерной документации

OCR тендерная документация — это не модное словосочетание, а ежедневная боль любого тендерного отдела. Заказчик выкладывает техническое задание в виде PDF-скана: страницы сфотографированы под углом, спецификация уехала в таблицу на двадцать строк, поверх половины текста стоит синяя печать. Скопировать оттуда позиции и характеристики невозможно — текст «нарисован», а не записан. Раньше такие документы перебивали вручную, тратя часы на одну закупку. Сегодня связка OCR и нейросети превращает скан в структурированный текст, а затем в готовый разбор требований за минуты. Разберём практический конвейер: как распознавание сканов и ИИ работают вместе, какими инструментами пользоваться и где у технологии границы.

Зачем тендерному отделу OCR

OCR (optical character recognition, оптическое распознавание символов) превращает скан или PDF-изображение в редактируемый текст. Если документ сохранён как картинка — а большинство тендерных приложений именно такие, — без распознавания вы не сможете ни найти слово поиском, ни скопировать таблицу, ни загрузить характеристики в свою систему.

Старые OCR-движки работали по шаблонам и распознавали в основном ровный печатный текст. Современные решения построены на нейросетях, обученных на больших массивах документов. Они уверенно вытаскивают данные не только из чистого текста, но и из таблиц, форм, счетов, договоров и спецификаций — то есть ровно из тех форматов, в которых приходит тендерная документация. По данным российских вендоров, переход от алгоритмов и шаблонов к нейросетевому распознаванию заметно поднял и скорость, и точность обработки.

Для закупок это критично. В одном тендере может быть несколько десятков позиций с точными характеристиками: размеры, ГОСТы, классы прочности, единицы измерения. Ошибка в одной цифре — и вы либо предлагаете не тот товар, либо вылетаете по несоответствию. Ручной перенос на таких объёмах — гарантированный источник опечаток.

Конвейер: скан → OCR → текст → нейросеть

Логика обработки одинакова почти для любого тендера. Разложим её на четыре шага.

1. Подготовка скана. Соберите все файлы закупки: техническое задание, проект контракта, обоснование цены, приложения со спецификациями. Если документ — фотография, выровняйте страницы, поднимите контраст, при возможности увеличьте разрешение. Чем чище вход, тем меньше ошибок на выходе. Многостраничные PDF лучше не дробить — современные движки держат контекст всего документа.

2. Распознавание (OCR). Прогоните файлы через OCR-движок. На выходе вы получаете текст и — что важнее для закупок — восстановленную структуру таблиц. Хороший инструмент сохранит разбивку спецификации на столбцы «наименование / характеристика / ед. изм. / количество», а не свалит всё в одну строку.

3. Проверка и очистка текста. Это обязательный шаг, а не формальность. Распознавание не бывает стопроцентным: «0» путается с «О», запятая в числе теряется, печать перекрывает символы. Просмотрите ключевые поля — количества, цены, артикулы, единицы измерения — и сверьте их с оригиналом. Особенно внимательно к числам в спецификациях.

4. Промпт-анализ нейросетью. Очищенный текст подаётся в LLM (большую языковую модель) с конкретным запросом: «выдели все позиции и их обязательные характеристики», «проверь, какие требования к участнику», «составь таблицу соответствия нашему товару». Мультимодальные модели способны работать и напрямую с изображением, но для тендеров надёжнее сначала получить выверенный текст, а уже потом отдавать его на разбор.

Связку «OCR без интерфейса плюс LLM» иногда называют headless OCR: распознавание встраивается прямо в ИТ-контур компании — без отдельного приложения и ручной загрузки, — а его вывод автоматически уходит в языковую модель для анализа. Именно по этому принципу работает обработка документов в TenderScan: система сама поднимает текст из вложений и сразу прогоняет его через матчинг с вашим каталогом.

Всегда сверяйте распознанные цифры с оригиналом. Количество, цена и единица измерения — три поля, ошибка в которых стоит дороже всего. Нейросеть уверенно «дорисует» правдоподобное число, и на глаз вы это не поймаете.

Российские OCR-инструменты

После ухода ABBYY с российского рынка ПО в 2022 году образовался спрос на отечественные решения, и сегодня выбор вполне рабочий.

• Smart Engines — движок на нейросетях, распознаёт печатные и рукописные документы, классифицирует их и извлекает атрибуты. Работает без GPU, что упрощает развёртывание внутри контура.
• Beorg (Биорг) — платформа распознавания комплектов документов с собственной облачной верификацией; данные остаются в защищённой среде сервиса. Делает упор на качество и контроль результата.
• EasyDoc (ITFB Group) — OCR/IDP-платформа, которая в автоматическом режиме разбирает в том числе тендерную документацию, чертежи и первичку, извлекая нужные поля. Вендор заявляет экономию до 70% рабочего времени.
• DD Planet — разработка инструментов и сервисов распознавания под задачи заказчика, включая нестандартные модели под конкретный документооборот.

Выбор зависит от объёма и режима работы: для разовых задач хватит облачного сервиса, для потока с чувствительными данными — решение в собственном контуре.

Таблицы спецификаций и Excel

Спецификация — сердце тендера и самое слабое место распознавания. Несколько практических правил.

• Если заказчик приложил спецификацию в Excel или редактируемом PDF — не гоняйте её через OCR вообще. Текст там уже «живой», берите его напрямую: распознавание только добавит ошибок.
• Для таблиц-картинок выбирайте движок, который умеет восстанавливать структуру ячеек, а не просто строку текста. Иначе склеятся соседние столбцы и характеристика уедет не к той позиции.
• После распознавания выгрузите таблицу в Excel и проверьте сходимость: совпадает ли число строк с оригиналом, не слиплись ли единицы измерения с количеством, на месте ли все ГОСТы и артикулы.
• Длинные спецификации проверяйте выборочно по краям и в середине — именно на стыках страниц чаще всего теряются строки.

Ограничения, о которых молчат

Технология сильная, но не магическая. Где она спотыкается:

• Плохие сканы. Размытое фото, тень, перекос, разрешение 72 dpi — здесь падает любой движок. Иногда дешевле запросить у заказчика читаемый файл, чем бороться с артефактами.
• Печати и подписи. Синяя печать поверх текста и рукописная подпись частично перекрывают символы. Распознавание под печатью почти всегда требует ручной проверки.
• Рукописный текст. Современные нейросети читают рукопись лучше прежних, но до уровня печатного текста она не дотягивает. В тендерах это обычно пометки и резолюции — критичные поля лучше не доверять автоматике.
• Галлюцинации LLM. Языковая модель не «не знает» — она выдаёт правдоподобный ответ всегда. Если в скане число стёрлось, модель подставит похожее. Поэтому шаг проверки несокращаем.

Безопасность данных

Тендерная документация часто содержит персональные данные и коммерческую информацию. Базовое правило: не загружайте такие документы в публичные бесплатные онлайн-сервисы распознавания. Вы не контролируете, где осядут файлы и как они будут использованы.

Что делать вместо этого: использовать решения, разворачиваемые в собственном контуре, либо сервисы российских вендоров с прозрачной политикой хранения и обработки данных. Перед внедрением проверьте, кто обрабатывает данные, где они хранятся и что вы сможете показать при проверке. Для потоковой обработки чувствительных документов on-premise-вариант надёжнее облака.

Часто задаваемые вопросы

Чем OCR отличается от обычного PDF-конвертера?

Конвертер просто меняет контейнер файла и работает, только если текст внутри PDF уже «живой». Если документ — это картинка (скан или фото), конвертер выдаст пустую страницу. OCR же распознаёт изображение символов и превращает его в настоящий редактируемый текст.

Можно ли отдать скан сразу нейросети, минуя OCR?

Мультимодальные модели умеют читать изображения напрямую, но для тендеров это рискованно: на плохом скане модель чаще ошибается в числах и не показывает, где именно она «додумала». Связка «сначала OCR с проверкой, потом анализ» даёт контролируемый результат.

Насколько точно распознаются таблицы спецификаций?

Чистая печатная таблица распознаётся хорошо, если движок восстанавливает структуру ячеек. Проблемы начинаются при перекосах, слиянии ячеек и печатях. Поэтому таблицы всегда выгружают в Excel и сверяют число строк и ключевые поля с оригиналом.

Безопасно ли это для персональных данных?

Безопасно при правильном выборе инструмента. Публичные онлайн-сервисы для документов с ПДн использовать нельзя. Подходят решения в собственном ИТ-контуре или сервисы вендоров с понятной политикой обработки данных.

Вывод

Распознавание сканов и ИИ снимают с тендерного отдела самую тупую часть работы — ручной перенос текста и спецификаций из нечитаемых PDF. Рабочий конвейер прост: подготовить скан, прогнать через OCR, проверить ключевые цифры, отдать выверенный текст нейросети на разбор. Главное — не выключать голову на шаге проверки: и OCR, и LLM ошибаются тихо, подставляя правдоподобные значения. Сверяйте числа, выбирайте инструмент под уровень чувствительности данных, а рутину по поиску и первичному анализу закупок отдайте платформе вроде TenderScan, которая делает этот путь автоматически.