Корпоративный поиск в вашем контуреЗапросить демонстрацию
← Все статьиПроверка пилота

Как составить контрольные вопросы для пилота поиска

Карточка вопроса, типы задач и отдельный итоговый набор, который помогает избежать подгонки демонстрации.

Автор и издатель — ХАРОН3 мин чтения
Наборы контрольных вопросов разделены зелёной перегородкой

Запишите рабочий вопрос так, как его задаёт сотрудник. Рядом укажите его роль, дату, к которой относится вопрос, и что должен содержать верный ответ. Отметьте пункт инструкции, с которым будете сверять результат, и согласуйте его с владельцем документа. Так у вопроса появится эталон для проверки. Часть вопросов отложите для итоговой проверки после настройки.

Состав набора важнее красивой формулировки каждого запроса. Если вопросы повторяют заголовки файлов, они слабо проверяют разговорную лексику и исключения. Если все требуют сложного обобщения, не будет видно качества обычного поиска известного документа.

Карточка, по которой можно повторить проверку

Учебный вопрос Q-07
ПолеЗаполненный пример
СитуацияСотрудник передаёт прибор на первичную проверку после смены
ФормулировкаКуда отнести прибор и кто его примет?
Роль и датаСотрудник эксплуатации, 5 ноября
ЭталонПорядок обслуживания, Б, разделы 3 и 4
Обязательные части результатаМесто передачи и ответственная роль, оба подтверждены источником
Допустимые вариантыКраткий пересказ при сохранении условий
Причина отказа в зачётеУказана архивная роль либо пропущено ограничение по типу прибора

Эталон должен описывать смысл и источник. Требование совпасть с одной заранее написанной фразой может отвергать верный пересказ. Для чисел, единиц и обязательных условий, наоборот, задайте точную проверку. Заранее договоритесь, кто разберёт спорные ответы. Тогда все участники смогут оценивать их по одному правилу.

Какие группы включить

  • Поиск известного объекта по коду или части названия.
  • Рабочая формулировка, отличающаяся от слов документа.
  • Вопрос об исключении или нескольких условиях процедуры.
  • Вопрос на границе двух редакций.
  • Вопрос, на который в доступном корпусе нет ответа.
  • Проверка ограниченного доступа и ранее сохранённой ссылки.

Количество вопросов в каждой группе выбирайте по тому, насколько часто и насколько существенно такие ситуации встречаются в вашей работе. Редкая ошибка с серьёзным последствием заслуживает отдельного критерия. Не компенсируйте её большим количеством лёгких успешных вопросов.

Разделите настройку и итоговую оценку

Первые вопросы можно использовать, чтобы исправлять ошибки извлечения и подбирать параметры. Итоговый набор после этого должен оставаться независимым. В документации scikit-learn объясняется, почему многократный подбор по тестовым данным делает оценку оптимистичной. Применение этого принципа к поисковому пилоту — предлагаемая нами методика. scikit-learn, Cross-validation

Если после итогового прогона вы изменили настройки по его ошибкам, считайте этот набор частью разработки. Для следующей независимой проверки подготовьте новые сопоставимые вопросы. Сохраните старые вопросы и задавайте их после изменений. Так вы заметите, если прежняя ошибка вернётся.

Как сравнить с ручным поиском

Подготовьте два сопоставимых набора и меняйте порядок способов у участников. Человек, который только что нашёл ответ вручную, может помнить нужный раздел. Немедленное повторение того же вопроса в системе исказит измерение времени. Записывайте способ, вопрос, участника в обезличенном виде и найденную редакцию.

Начало и конец измерения должны быть одинаковыми. Например, отсчёт начинается после прочтения задания и заканчивается, когда участник открыл подтверждающий раздел. Время до появления первого текста и время до проверенного результата — разные наблюдения, их полезно хранить раздельно.

Сохраните версию вопросов перед проверкой

Перед началом присвойте версии корпусу и набору вопросов. Изменения эталона во время прогона фиксируйте как исправление методики, затем пересчитайте затронутые результаты. Пустую или спорную строку не включайте в число успешных ответов.

Набор покрывает выбранные рабочие ситуации. Он не позволяет сделать вывод о всех будущих документах или запросах. После пилота его можно пополнять наблюдаемыми ошибками и использовать при обновлениях.

Связанные материалы

Карта задач · Вопросы без ответа · Подсчёт результатов

Версии корпуса, вопросы и критерии можно согласовать в плане пилота.