Как ИИ проверяет соответствие товара требованиям ТЗ

Когда тендеров десятки в неделю, вопрос «умеет ли ИИ сверять товар с ТЗ» уже неинтересен. Интересен другой: на какой процент машинных вердиктов можно опираться, сколько стоит каждая ошибка и как проверить качество сверки на собственных данных, а не на обещаниях вендора. Ниже разбор конвейера проверки, экономика ручного и автоматического режима, шесть мест, где автоматика ломается, и методика приёмки, которую можно собрать за неделю.

Что происходит внутри автоматической сверки

Проверка соответствия это не один запрос к модели, а конвейер из шести шагов. Понимать его нужно, потому что каждый шаг даёт свой тип брака.

1. Извлечение. Из документации вытаскивается спецификация: PDF, DOCX, XLSX, иногда скан. Здесь теряются позиции, если таблица разорвана между страницами или ТЗ лежит картинкой без текстового слоя.
2. Разбор позиций. Спецификация режется на строки: наименование, количество, единица измерения, требования.
3. Атомизация характеристик. Строка «Смеситель однорычажный, латунь, наружный монтаж, излив аэратор» превращается в четыре пары «характеристика — значение». Если требования лежат сплошным абзацем, качество атомизации определяет качество всего дальнейшего.
4. Нормализация. Единицы приводятся к общей шкале (см → мм, м³/ч → л/мин, Мбит/с → Гбит/с), знаки сравнения парсятся отдельно от чисел, синонимы сводятся к одному значению.
5. Сопоставление. Каждая характеристика ТЗ сверяется с характеристикой карточки товара из вашей номенклатуры. Результат по характеристике: соответствует, не соответствует, нет данных.
6. Агрегация. Из характеристик собирается вердикт по позиции, из позиций по лоту: какую долю строк вы закрываете и на каких строках провал.

Полезное следствие: если система показывает только итоговый процент по лоту и не даёт развернуть его до конкретной характеристики конкретной позиции, проверить её нельзя. Требуйте построчную выкладку.

Две ошибки, и они стоят по-разному

В сверке два принципиально разных типа брака, и путать их дорого.

Ложное «не подходит» тихое: вы никогда не узнаете о лоте, который система отфильтровала. Ложное «подходит» громкое, но именно оно способно кончиться расторжением контракта и включением в РНП на два года.

Посчитаем на средних для товарного поставщика допущениях. Пусть отдел смотрит 20 подходящих по коду лотов в неделю, средняя НМЦК 1,5 млн рублей, маржа 12%, конверсия победы 20%.

• Два ложных «не подходит» в месяц: 2 × 1,5 млн × 12% × 20% = 72 тыс. рублей упущенной маржи.
• Одно ложное «подходит» в месяц: 5 часов работы специалиста плюс замороженное обеспечение заявки. Размер обеспечения по 44-ФЗ устанавливается в диапазоне от 0,5% до 5% НМЦК в зависимости от суммы закупки, то есть от 7,5 до 75 тыс. рублей на месяц-полтора.
• Одна победа с товаром, который вы не сможете поставить: обеспечение контракта, неустойка, расторжение и РНП. Это уже не про месячный P&L.

Вывод для настройки: порог машинной уверенности выставляют асимметрично. Пропустить сомнительный лот в ручную проверку дешевле, чем автоматически объявить его подходящим.

Сколько стоит ручной режим

Считайте по своим цифрам, но структура расчёта одна.

Типовой товарный лот: 40 позиций, в среднем 6 требований на позицию, итого 240 сверок. Специалист, у которого карточки товара под рукой, тратит 1,5–2 минуты на позицию, то есть 60–80 минут на лот. Добавьте поиск позиции в своей номенклатуре, если наименования у заказчика нестандартные, и получится 1,5 часа.

Стоимость часа: оклад тендерного специалиста 90 тыс. рублей, с взносами и налогами около 120 тыс. рублей в месяц, при 165 рабочих часах это примерно 730 рублей в час.

При этом 120 часов составляют две трети месячной нормы одного человека. Отдел из двух специалистов тратит на сверку больше половины ресурса и всё равно смотрит только те лоты, до которых успел дойти.

Автоматическая сверка меняет не столько стоимость часа, сколько охват: разбирается весь входящий поток, а человек работает с короткой очередью спорных позиций. Именно по этому показателю и стоит считать эффект, а не по «экономии ставки».

Шесть мест, где автоматика ломается

Эти сбои воспроизводятся у любой системы сверки, и все они проверяемы.

Единицы измерения. Классика: паспорт в сантиметрах, ТЗ в миллиметрах; расход в м³/ч против л/мин; давление в барах против МПа; скорость в Мбит/с против Гбит/с. Если система не нормализует единицы, она даст ложное «не подходит» на совпадающем товаре.

Знаки сравнения. Требование «не менее 400» и «≥ 400» означают одно и то же, но парсер, который читает «≥» как строгое «>», отбракует товар со значением ровно 400. Проверяйте граничные значения специально.

Слипшиеся характеристики в вашем каталоге. Частая причина ложных «подходит»: в карточке товара одно поле «Характеристики» с абзацем текста. Система видит там нужное слово и засчитывает соответствие, хотя относилось оно к другому узлу. Лечится не настройкой ИИ, а разбором каталога на атомарные атрибуты.

Синонимы и торговые наименования. «Автомат», «выключатель автоматический», «модульный автоматический выключатель» — один товар. Обратная ситуация опаснее: разные товары с похожими названиями, где отличие в одной букве индекса.

«Нет данных» вместо «не соответствует». Если в вашей карточке характеристики просто нет, честный ответ звучит как «нет данных», и позиция должна уйти человеку. Система, которая молча трактует пробел как соответствие, генерирует ложные «подходит» пачками.

Требования не к товару. В ТЗ вперемешку с характеристиками лежат требования к поставке: срок, упаковка, гарантия, шеф-монтаж, наличие сертификата. Машина, которая пытается сверить «гарантия 24 месяца» с карточкой товара, выдаёт мусорный вердикт. Такие строки должны отделяться на этапе атомизации.

Как проверить качество на своих данных

Не верьте демонстрации на подобранных лотах. Соберите собственный эталон, это работа на два-три дня.

1. Возьмите 50 лотов из вашей истории: 25 выигранных или поданных и 25 отклонённых или пропущенных. Нужны и те и другие, иначе метрика перекосится.
2. Разметьте их вручную построчно: по каждой позиции проставьте «подходит», «не подходит», «нет данных». Это эталон.
3. Прогоните тот же набор через систему.
4. Посчитайте две метрики:
   • доля ложных «подходит» среди всех машинных «подходит»;
   • доля пропущенных подходящих позиций от всех реально подходящих.
5. Разберите каждое расхождение и отнесите его к одному из шести типов сбоя выше.

Разумный порог приёмки для товарной сверки: ложных «подходит» не более 5%, ложных «не подходит» не более 10%. Если ложных «подходит» больше, систему нельзя использовать в автоматическом режиме, только как приоритизатор очереди.

И главное: повторяйте прогон после каждого изменения в системе или в вашем каталоге. Эталонный набор работает как регрессионный тест, а не разовая проверка.

Где человек обязателен

Автоматика не решает четыре класса задач.

Юридическая квалификация требования. Заточенное ТЗ, требование, дублирующее товарный знак, характеристика без обоснования сверх позиции КТРУ — это повод для запроса разъяснений или жалобы, а не для вердикта «не подходит». По ст. 42 44-ФЗ участник вправе направить не более трёх запросов о даче разъяснений положений извещения при электронном конкурсе и аукционе, не позднее чем за три дня до окончания срока подачи заявок; заказчик размещает ответ не позднее двух дней со дня, следующего за днём поступления запроса.

Решение о цене. Система показывает, что вы закрываете лот. Идти ли в него при этой НМЦК, обеспечении и логистике — решение коммерческое.

Спорная приёмка. Когда требование допускает два прочтения, ставку делает человек и он же готовит аргументацию.

Ответственность. Заявку подписывает и подаёт человек. Машинный вердикт остаётся подготовленным материалом, а не решением.

Отсюда рабочий регламент: система разбирает поток и раскладывает лоты на три корзины (закрываем полностью, закрываем частично, не наш профиль), специалист смотрит только вторую корзину и выборочно 10% первой для контроля.

Как это выглядит в работе

В TenderScan сверка построена именно так: ТЗ разбирается на позиции и характеристики, значения нормализуются с учётом единиц и знаков сравнения, каждая строка лота сопоставляется с карточками вашей номенклатуры, а результат показывается построчно, с указанием, какая характеристика не сошлась и почему. Это позволяет и работать на потоке, и проверять машину на своём эталонном наборе.

Часто задаваемые вопросы

Можно ли полностью убрать человека из сверки?

Нет. Автоматика закрывает объём и однотипные проверки, но юридическая квалификация требований, цена и подписание заявки остаются за специалистом.

Какая точность считается приемлемой?

Смотрите на два числа отдельно. Для товарной сверки рабочий ориентир: не более 5% ложных «подходит» и не более 10% ложных «не подходит» на вашем эталонном наборе.

Почему система ошибается на моём каталоге чаще, чем на демо?

Чаще всего дело не в модели, а в качестве карточек товара. Если характеристики лежат сплошным текстом в одном поле, сопоставлять нечего. Разбор каталога на атомарные атрибуты обычно даёт больший прирост точности, чем смена модели.

Что делать с позициями, где система написала «нет данных»?

Отправлять человеку. «Нет данных» означает, что характеристики нет в вашей карточке, а не что товар не подходит. Заодно это список пробелов в каталоге, который стоит закрыть.

Как часто пересчитывать эталонный набор?

После каждого обновления системы и после массового изменения каталога. Плюс раз в квартал добавляйте в набор 10 свежих лотов, чтобы он не отставал от реальной структуры ваших закупок.

Что сделать на этой неделе

Возьмите последние 50 лотов, разметьте их вручную и прогоните через свою систему сверки. Посчитайте две доли ошибок и разложите расхождения по шести типам. Если больше половины ошибок приходится на слипшиеся характеристики каталога, начинайте с каталога, а не с настроек. И зафиксируйте регламент: какие корзины лотов человек смотрит всегда, а какие проверяет выборочно.