Полнота поиска тендеров: как найти пропущенные закупки

Полнота поиска тендеров незаметна в ежедневной выдаче. Менеджер видит найденные карточки, но не видит подходящую закупку, которую отрезал фильтр или не охватил источник. Проверить это можно на наборе известных лотов. Результатом станет журнал пропусков с установленными причинами и исправлениями, а не обещание увидеть весь рынок.

Определите, что именно должен находить поиск

До проверки запишите границы: товарные группы, законы, география поставки, период публикации и допустимые виды контрактов. Разделите «товар встречается в спецификации» и «компания способна исполнить лот целиком». Иначе один сотрудник назовет пропуском любую строку с нужным словом, другой исключит ее из-за недоступной комплектации.

Полезно иметь два эталонных признака. Первый означает предметную релевантность: в лоте действительно закупают вашу категорию. Второй означает операционную пригодность: компания могла бы рассматривать участие по заранее определенным ограничениям. Цена и загрузка меняются, поэтому их нужно привязывать к дате оценки. Решение «не пойдем сегодня» не должно задним числом делать поиск идеальным.

Определите единицу учета. Если у извещения несколько лотов, один номер извещения может скрывать несколько разных решений. С другой стороны, новая редакция того же лота не должна искусственно увеличивать число найденных закупок. Для рабочего журнала заведите связку источника, номера процедуры, номера лота и версии документа, которую вы проверяли.

Зафиксируйте и момент доступности. Поиск, запущенный до публикации извещения, не мог его найти. Если в эталон вошел документ, появившийся после контрольного запуска, это ошибка теста, а не системы. Нужны даты публикации и фактического просмотра, а для обновлений дата появления нужной редакции.

Соберите эталон независимо от проверяемого шаблона

Если взять только выдачу своего поиска, пропуски в нее не попадут. Нужен второй путь: ручной обзор выбранных заказчиков, поиск по соседним формулировкам, сведения о состоявшихся закупках, ссылки от менеджеров по продажам. Для закупок, опубликованных в ЕИС, сверяйте карточки и документы в официальном реестре закупок.

Выбирайте ограниченный период, в котором еще можно восстановить документы и настройки. Для первой проверки удобнее несколько товарных направлений, чем весь ассортимент сразу. Число примеров определяется разнообразием потока и доступным временем; обязательного отраслевого размера здесь нет.

Каждый кандидат проходит ручную разметку. Специалист указывает конкретную строку спецификации и причину, по которой лот относится к проверяемой категории. Если информации недостаточно, ставьте «нужно уточнение». Не записывайте спорный лот в положительный эталон, чтобы показать слабый результат конкурирующего инструмента.

История побед конкурентов полезна для обнаружения, но создает смещение: в ней лучше видны успешные и завершенные процедуры. Добавьте несостоявшиеся закупки, смешанные поставки, непривычные названия и лоты с нужным товаром только во вложении. Иначе набор будет измерять способность находить самые очевидные карточки.

Сохраните сам документ или проверяемый фрагмент, ссылку и дату. Когда заказчик заменит файл, проверку можно будет воспроизвести на той версии, которая существовала во время теста. Ограничения доступа и состав публичных сведений зависят от процедуры; отсутствие документа фиксируйте, а не заполняйте догадкой.

Сделайте журнал пропущенных лотов

Для каждого эталонного примера поставьте отметку «найден» либо «не найден» и приложите доказательство результата. Одного воспоминания менеджера недостаточно. Подтверждением может служить сохраненная выдача контрольного запуска с параметрами и временем либо доступная история конкретного результата.

Не смешивайте в одной причине «не показали» и «показали, но менеджер не открыл». Между ними разные действия. В первом случае изучают поиск, охват источника и фильтры. Во втором проверяют сортировку, объем потока и обработку результатов отделом.

Отдельная категория нужна для закупок, которые поиск нашел поздно. Они отличаются от полностью отсутствующих карточек, но могут быть столь же бесполезны после истечения срока подачи. Задайте свой допустимый интервал доставки результата и оценивайте его отдельно от факта нахождения. Не приписывайте инструменту конкретную скорость без проверки.

Журнал должен сохранять и неудобные примеры. Если после исправления фильтра лот оказался слишком сложным для бизнеса, это не основание удалять первоначальный пропуск. Можно поменять операционный признак с объяснением, сохранив исходную предметную разметку и историю решения.

Найдите блокирующий слой последовательным тестом

Возьмите пропущенную закупку и сначала проверьте ее по точному номеру в исходном источнике. Если ее там нет либо доступ ограничен, изменение ключевых слов ничего не исправит. Если оригинал доступен, уточните, входит ли этот источник и нужный раздел в охват проверяемого инструмента.

Дальше воспроизведите шаблон. По одному снимайте ограничения: период, стадию, закон, регион, диапазон цены, коды, ключевые слова, исключения. После каждого изменения записывайте, появился ли лот. Порядок можно адаптировать к интерфейсу, но нельзя одновременно убрать пять фильтров и назвать найденную причину доказанной.

Условный пример: поставщик ищет холодильное оборудование. Лот содержит подходящую позицию, но назван общим словом «Оснащение лаборатории». Поиск по названию не дает результата. После добавления другого названия результат все еще отсутствует. Затем обнаруживается, что поиск конкретного сервиса не читает нужное вложение. Причина находится в границе обрабатываемых данных, а не только в словаре.

Другой пример: подходящий лот появляется после отключения минус-слова «ремонт». Проверка текста показывает, что слово относится к названию учреждения. Исправление состоит в более узком исключении либо отдельном запросе, а не в запрете всех минус-слов. Повторите тест на других эталонных лотах, чтобы не вернуть большую массу нерелевантных карточек.

Если результат меняется при одинаковых настройках, проверьте время запуска, доступность документов и версию данных. Не объясняйте нестабильность работой ИИ без доказательств. В журнале допустима причина «не установлена» с описанием проведенных проверок и следующим шагом.

Посчитайте результат и проверьте цену исправления

Полнота на эталоне равна числу найденных подходящих лотов, деленному на общее число подходящих лотов в этом эталоне. Точность равна доле подходящих среди найденных. Эти определения совпадают с общими метриками recall и precision, описанными в учебном материале Google. Применение к тендерному журналу здесь является рабочей методикой, а не требованием законодательства.

Предположим, в проверочном наборе 30 подтвержденных подходящих лотов. Исходный шаблон нашел 21, то есть 70% на этом наборе. После исправления исключений нашлось 26, примерно 86,7%. Это не означает охват 86,7% рынка: неизвестно, сколько закупок не попало ни в один канал сбора эталона.

Одновременно проверьте контрольную выдачу за тот же период. Если она выросла с 80 до 150 карточек, а полезных стало лишь на пять больше, отделу придется оценить нагрузку. Расчет времени делайте по реальной выборке: сколько занимает открытие, предварительный просмотр и решение. Не назначайте универсальную стоимость пропуска, когда неизвестны вероятность участия и маржа.

Общая статья о ложных срабатываниях помогает работать с шумом. Здесь основной результат другой: для каждого пропущенного лота должна появиться воспроизводимая причина. Только после этого стоит менять фильтр.

В TenderScan сравнивайте результаты после явного ручного запуска пользователя. Зафиксируйте настройки и время запуска, затем проверяйте конкретные найденные закупки. Не планируйте тест так, будто система сама регулярно запускает поиск: это исказит оценку своевременности.

После настройки оставьте часть новых примеров для независимой проверки. Если подгонять запрос под одни и те же 30 закупок, можно получить красивое число и продолжить терять незнакомые формулировки. Результат контрольного набора храните отдельно от результата примеров, на которых меняли настройки.

FAQ

Можно ли доказать стопроцентную полноту поиска?

Только в отношении явно ограниченного и полностью известного набора. Для открытого рынка обычно неизвестно общее число подходящих закупок. Пишите «найдены все лоты проверочного набора» и называйте границы проверки.

Как оценить шаблон, если подходящих примеров пока нет?

Сначала соберите хотя бы небольшой подтвержденный набор из независимого канала. Ноль примеров не означает нулевую или стопроцентную полноту: знаменатель отсутствует. Пока можно оценивать охват источников и качество отдельных результатов.

Когда повторять проверку?

После существенного изменения фильтров, ассортимента, источника данных или формата документов, а также при обнаружении нового пропуска. Начните с одного лота, восстановите причину и добавьте его в контрольный набор с сохранением версии документов.