Если в доступной инструкции нет срока ремонта, сообщите об этом сотруднику. Если для ответа нужно знать тип прибора, задайте уточняющий вопрос. Отдельно проверьте ещё три ситуации — инструкции расходятся, доступ ограничен или поиск не смог проверить документы из-за сбоя.
В исследовании SQuAD 2.0 использованы правдоподобные вопросы, на которые предоставленный текст не отвечает. Такая постановка проверяет способность распознать отсутствие основания. Для корпоративного пилота мы предлагаем дополнить её практическими случаями доступа, редакций и технических сбоев. Rajpurkar и соавторы, ACL 2018
Один документ — несколько разных исходов
Учебная инструкция описывает передачу прибора в ремонт. В ней названы ответственный и место передачи, но отсутствует срок ремонта. Вопрос о сроке звучит естественно и относится к теме, однако ответить на него по этой инструкции нельзя. Система, которая уверенно подставляет срок из соседней процедуры проверки, ошибается по существу.
| Причина | Вопрос или ситуация | Ожидаемое поведение |
|---|---|---|
| Нет сведений | За сколько дней отремонтируют прибор? | Сообщить, что в проверенных доступных источниках срок не найден |
| Недостаточно условий | Кому передать оборудование? | Уточнить вид оборудования или подразделение |
| Конфликт редакций | В двух применимых инструкциях разные ответственные | Показать неопределённость и основания для разбора |
| Ограниченный доступ | Нужное сведение есть только в закрытом документе | Не раскрывать закрытые название, фрагмент и сам факт наличия, если это ограничено политикой |
| Сбой обработки | Поисковый сервис недоступен | Сообщить о невозможности выполнить поиск сейчас |
Последний случай особенно важен для оценки. Сообщение «ничего не найдено» после технической ошибки создаёт ложное впечатление, что документы были проверены. В журнале испытания такой исход следует относить к сбою выполнения, сохраняя отдельную причину.
Как сформулировать полезный ответ
В учебной ситуации со сроком ремонта подойдёт формулировка «В доступной инструкции о передаче прибора срок ремонта не указан. Уточните его у владельца процедуры». Она сообщает, что проверено и чего не хватает. Ссылку можно дать на доступную инструкцию, если её название и содержание разрешено показывать этому пользователю.
При неоднозначном вопросе задайте одно уточнение, которое действительно меняет выбор источника. Например, «О каком типе прибора идёт речь?». Просьба переписать весь вопрос без объяснения обычно не помогает участнику понять, каких условий не хватает.
Как проверить вопрос без ответа
- Выберите документ, где ответ точно присутствует, и запишите обычный вопрос к нему.
- Измените один существенный параметр — предмет, период или запрашиваемое свойство, которого источник не содержит.
- Попросите владельца материала подтвердить отсутствие ответа в доступном корпусе.
- Зафиксируйте приемлемую формулировку отказа или уточнения и недопустимые утверждения.
- Прогоните рядом положительный и отрицательный вопросы, затем повторите проверку после изменения корпуса.
Задайте оба вопроса. По первому поиск должен найти подтверждённый ответ, по второму — распознать нехватку сведений. Если система отказывается в обоих случаях, отметьте и пропущенный ответ на первый вопрос.
Где заканчивается вывод проверки
Отсутствие сведений устанавливается для конкретного среза корпуса и конкретной роли. После добавления документа прежний отрицательный вопрос может стать положительным. Поэтому вместе с результатом храните дату, версию набора и ожидаемый исход.
Предложенная методика не гарантирует отсутствие ошибок у выбранного решения. Она даёт способ заметить необоснованные утверждения, различить их причины и включить такие случаи в критерии приёмки.
Связанные материалы
Набор контрольных вопросов · Матрица доступа · Оценка результатов
Включите пары вопросов в план проверки поиска. Контрольные вопросы и ожидаемые ответы храните отдельно от документов, по которым система ищет.
