Как проверять ответы нейросети по тендерной документации

Нейросеть разбирает ТЗ за минуту вместо сорока и на этом экономит тендерному отделу дни. Проблема в другом: она не отличает то, что прочитала в документе, от того, что «знает» о госзакупках вообще. Ответ выглядит одинаково уверенно в обоих случаях. Значит, проверка нужна не как разовая осторожность, а как процедура с понятной стоимостью, зафиксированными правилами и распределённой ответственностью. Ниже — рабочая схема: что проверять всегда, что выборочно, где брать первоисточник и во сколько это обходится.

Классы ответов и разная цена ошибки

Проверять всё подряд дорого и бессмысленно. Разделите ответы модели на три класса по последствиям.

Практический смысл деления в том, что решающие ответы никогда не принимаются «как есть», даже если модель сработала правильно сто раз подряд. Ориентирующие можно оставлять без проверки: там ошибка стоит десять минут работы, а не контракта.

Что проверяется всегда

Пять типов утверждений, которые не берут со слов модели ни при каких настройках.

Первое: номера и содержание норм. Модель уверенно называет статью, часть, пункт постановления, и попадание не гарантировано. Любая ссылка на норму открывается в тексте закона до того, как попадёт в жалобу, запрос или письмо заказчику.

Второе: сроки. Ошибка в сроке необратима. Запрос на разъяснение положений извещения по электронному аукциону подаётся не позднее чем за три дня до окончания срока подачи заявок, ответ размещается в течение двух рабочих дней. Проект контракта победитель подписывает в установленный законом срок после размещения его заказчиком. Жалоба на действия комиссии подаётся в течение пяти дней с даты размещения протокола подведения итогов. Все эти даты считают по документу и по календарю в ЕИС, а не по ответу чата.

Третье: суммы и проценты. Обеспечение заявки заказчик обязан установить при НМЦК свыше 1 млн рублей: от 0,5% до 1% при НМЦК до 20 млн и от 0,5% до 5% при большей сумме. Антидемпинговые меры по ст. 37 44-ФЗ включаются при снижении цены на 25% и более от НМЦК. Каждую такую цифру берут из извещения и из закона, а не из пересказа.

Четвёртое: характеристики товара. Значения из КТРУ и из ТЗ сверяются с карточкой позиции в ЕИС. Модель охотно «нормализует» характеристику: превращает «≥ 65» в «65», теряет единицу измерения, объединяет разрешение по горизонтали и вертикали в одну строку.

Пятое: реквизиты и идентификаторы. Номер извещения, ИКЗ, коды ОКПД2 и КТРУ, номера реестровых записей копируются из системы, а не переписываются из ответа.

Правило первоисточника: где смотреть за минуту

На каждый пункт уходит меньше минуты, если у исполнителя открыты вкладки и он знает, что искать. Основные потери времени возникают, когда ответ модели не содержит указания на источник и приходится заново читать документацию целиком.

Промпты, которые сокращают долю выдумок

Проверка дешевеет, если сам ответ спроектирован как проверяемый.

• Требуйте цитату. «Приведи дословную цитату из документа и укажи раздел или пункт, где она находится» превращает пересказ в подтверждаемый факт.
• Разрешайте отвечать «не найдено». Прямое указание «если сведения отсутствуют в приложенных файлах, напиши: не найдено» снимает половину придуманных ответов.
• Запрещайте внешние знания. «Отвечай только по приложенным документам, не используй общие сведения о законодательстве» отделяет чтение документа от воспоминаний модели.
• Просите таблицу. Формат «характеристика, требование ТЗ, значение нашего товара, вывод» проверяется построчно за секунды, а сплошной текст приходится читать целиком.
• Задавайте один вопрос за раз. Составной вопрос почти всегда даёт частично правильный ответ, и ошибка прячется в середине.
• Фиксируйте версию документа. Прикладывайте файл, а не ссылку на закупку: иначе непонятно, что именно читала модель.

Ответ без цитаты и без указания места в документе считается непроверенным независимо от того, насколько он правдоподобен.

Экономика проверки: считаем на своём объёме

Возьмём отдел, который обрабатывает 60 лотов в месяц.

Экономия составляет 25 часов в месяц, но получить её можно только вместе с проверкой. Если убрать восемь минут верификации, отдел экономит ещё восемь часов и покупает риск отклонения на решающем ответе. Одно отклонение по характеристике на среднем лоте стоит дороже месячной экономии: это потерянная подготовка, потерянная маржа и, при уклонении от контракта, реестр недобросовестных поставщиков на два года.

Считайте порог по своей марже. Если средняя прибыль с контракта 120 000 рублей, а на подготовку заявки уходит 4 часа, то восемь минут проверки на лот окупаются, когда они предотвращают хотя бы одну потерянную заявку в квартал.

Отдельно стоит смотреть, где проверку можно переложить на систему, а не на человека. В TenderScan сверка характеристик товара с требованиями ТЗ по КТРУ выполняется автоматически, с указанием конкретной характеристики, по которой лот не проходит, и со ссылкой на строку документа. Проверять решение по ссылке быстрее, чем перечитывать ТЗ.

Регламент отдела: кто за что отвечает

Роли стоит закрепить письменно, иначе ответственность растворяется между «так сказала нейросеть» и «я думал, это проверили».

1. Исполнитель формулирует запрос, прикладывает документы, получает ответ и проверяет все решающие пункты по первоисточнику.
2. В карточке лота фиксируются три вещи: вопрос, ответ, ссылка на источник проверки. Без этого невозможно разобрать ошибку задним числом.
3. Руководитель раз в неделю выборочно перепроверяет часть лотов, где ответ ИИ повлиял на решение подавать или не подавать заявку. Десяти процентов достаточно, чтобы увидеть системную ошибку.
4. Ошибки заносятся в общий список и превращаются в правила промпта. Модель не учится на ваших ошибках, а отдел учится.
5. Раз в квартал регламент сверяется с изменениями законодательства: то, что модель отвечала правильно в прошлом году, могло устареть.

Где нейросеть не принимает решение

• Подписание контракта и любые действия с электронной подписью.
• Окончательное решение об участии в лоте с обеспечением, которое вы не готовы потерять.
• Оценка риска попадания в РНП и решение об одностороннем отказе.
• Формулировки жалобы в ФАС и запроса на разъяснение уходят только после вычитки человеком.
• Работа с документами ограниченного доступа: перед загрузкой любых данных во внешний сервис проверьте требования к защите информации, действующие в вашей организации.

Чек-лист проверки ответа

• Ответ содержит цитату и указание на раздел или пункт документа.
• Каждая названная норма открыта в тексте закона.
• Каждый срок пересчитан по календарю от даты в извещении.
• Каждая сумма и процент сверены с извещением.
• Характеристики сверены с карточкой позиции КТРУ, единицы измерения совпадают.
• Реквизиты скопированы из ЕИС, а не перепечатаны.
• Проверка зафиксирована в карточке лота со ссылкой на источник.
• Решение о подаче принял человек.

Часто задаваемые вопросы

Можно ли доверять ответу, если модель приложила цитату?

Цитату тоже проверяют. Убедитесь, что такой текст есть в документе и что он относится к нужному разделу. Наличие цитаты снижает вероятность выдумки, но не заменяет сверку.

Как понять, что модель ответила по документу, а не по общим знаниям?

Задайте контрольный вопрос по детали, которой в документе точно нет. Если модель отвечает вместо «не найдено», настройки промпта не работают.

Нужно ли проверять ответы, если задача простая?

Проверяется не сложность вопроса, а последствия ошибки. Простой вопрос о сроке подачи относится к решающим, а развёрнутый обзор рисков документации к ориентирующим.

Что делать, если ответы модели противоречат друг другу в разных сессиях?

Это нормальное поведение генеративной модели. Ориентируйтесь на первоисточник и фиксируйте в регламенте формулировку промпта, которая даёт воспроизводимый результат.

Кто отвечает за ошибку, вызванную ответом нейросети?

Сотрудник и организация. Инструмент не является субъектом ответственности, поэтому в регламенте должно быть явно указано, кто подтверждает решающие пункты.

Начните с малого: заведите в карточке лота три поля под вопрос, ответ и ссылку на проверку. Через месяц вы увидите, на каких типах вопросов модель ошибается именно у вас, и сможете сузить сплошную проверку до реально опасных мест.