Запишите рабочий вопрос так, как его задаёт сотрудник. Рядом укажите его роль, дату, к которой относится вопрос, и что должен содержать верный ответ. Отметьте пункт инструкции, с которым будете сверять результат, и согласуйте его с владельцем документа. Так у вопроса появится эталон для проверки. Часть вопросов отложите для итоговой проверки после настройки.
Состав набора важнее красивой формулировки каждого запроса. Если вопросы повторяют заголовки файлов, они слабо проверяют разговорную лексику и исключения. Если все требуют сложного обобщения, не будет видно качества обычного поиска известного документа.
Карточка, по которой можно повторить проверку
| Поле | Заполненный пример |
|---|---|
| Ситуация | Сотрудник передаёт прибор на первичную проверку после смены |
| Формулировка | Куда отнести прибор и кто его примет? |
| Роль и дата | Сотрудник эксплуатации, 5 ноября |
| Эталон | Порядок обслуживания, Б, разделы 3 и 4 |
| Обязательные части результата | Место передачи и ответственная роль, оба подтверждены источником |
| Допустимые варианты | Краткий пересказ при сохранении условий |
| Причина отказа в зачёте | Указана архивная роль либо пропущено ограничение по типу прибора |
Эталон должен описывать смысл и источник. Требование совпасть с одной заранее написанной фразой может отвергать верный пересказ. Для чисел, единиц и обязательных условий, наоборот, задайте точную проверку. Заранее договоритесь, кто разберёт спорные ответы. Тогда все участники смогут оценивать их по одному правилу.
Какие группы включить
- Поиск известного объекта по коду или части названия.
- Рабочая формулировка, отличающаяся от слов документа.
- Вопрос об исключении или нескольких условиях процедуры.
- Вопрос на границе двух редакций.
- Вопрос, на который в доступном корпусе нет ответа.
- Проверка ограниченного доступа и ранее сохранённой ссылки.
Количество вопросов в каждой группе выбирайте по тому, насколько часто и насколько существенно такие ситуации встречаются в вашей работе. Редкая ошибка с серьёзным последствием заслуживает отдельного критерия. Не компенсируйте её большим количеством лёгких успешных вопросов.
Разделите настройку и итоговую оценку
Первые вопросы можно использовать, чтобы исправлять ошибки извлечения и подбирать параметры. Итоговый набор после этого должен оставаться независимым. В документации scikit-learn объясняется, почему многократный подбор по тестовым данным делает оценку оптимистичной. Применение этого принципа к поисковому пилоту — предлагаемая нами методика. scikit-learn, Cross-validation
Если после итогового прогона вы изменили настройки по его ошибкам, считайте этот набор частью разработки. Для следующей независимой проверки подготовьте новые сопоставимые вопросы. Сохраните старые вопросы и задавайте их после изменений. Так вы заметите, если прежняя ошибка вернётся.
Как сравнить с ручным поиском
Подготовьте два сопоставимых набора и меняйте порядок способов у участников. Человек, который только что нашёл ответ вручную, может помнить нужный раздел. Немедленное повторение того же вопроса в системе исказит измерение времени. Записывайте способ, вопрос, участника в обезличенном виде и найденную редакцию.
Начало и конец измерения должны быть одинаковыми. Например, отсчёт начинается после прочтения задания и заканчивается, когда участник открыл подтверждающий раздел. Время до появления первого текста и время до проверенного результата — разные наблюдения, их полезно хранить раздельно.
Сохраните версию вопросов перед проверкой
Перед началом присвойте версии корпусу и набору вопросов. Изменения эталона во время прогона фиксируйте как исправление методики, затем пересчитайте затронутые результаты. Пустую или спорную строку не включайте в число успешных ответов.
Набор покрывает выбранные рабочие ситуации. Он не позволяет сделать вывод о всех будущих документах или запросах. После пилота его можно пополнять наблюдаемыми ошибками и использовать при обновлениях.
Связанные материалы
Карта задач · Вопросы без ответа · Подсчёт результатов
Версии корпуса, вопросы и критерии можно согласовать в плане пилота.
