Корпоративный поиск в вашем контуреЗапросить демонстрацию
← Все статьиПроверка пилота

Как оценить результаты пилота корпоративного поиска

Учебный расчёт качества, времени и ошибок с явными знаменателями и отдельными условиями приёмки.

Автор и издатель — ХАРОН3 мин чтения
Лист проверки с выполненными и открытым пунктами

Оценивайте отдельно найденные документы, правильность ответа, время до проверенного результата и доступ. Для каждой доли запишите оба числа, например «20 из 24», и укажите, какие вопросы вошли в расчёт. Для времени запишите, когда начинали и заканчивали отсчёт. Итоговое решение принимайте по заранее согласованным критериям, сохраняя критические ошибки отдельными строками.

Ниже приведён авторский пример протокола. Все числа учебные и служат для проверки расчёта. Они не описывают результаты ХАРОН или какого-либо внедрения. Для собственного пилота подставьте фактические наблюдения и сохраните версию корпуса.

Сначала определите, что именно оценивается

Поиск может найти подходящий документ, а составленный по нему ответ — потерять условие. Возможен и обратный случай, когда формулировка выглядит правдоподобно, но открываемая ссылка её не подтверждает. Поэтому один общий балл скрывает причину ошибки.

Учебный протокол из 30 вопросов
ГруппаНаблюдениеКак читать результат
24 вопроса с ответом в корпусе20 ответов содержат все обязательные условия20 / 24, около 83%, для этой группы
Те же 24 вопроса19 ссылок открывают нужный пункт и редакцию19 / 24, около 79%, отдельная проверка источника
6 вопросов без ответа5 корректных отказов или уточнений5 / 6, около 83%, для отрицательной группы
Отдельная матрица доступаОдин закрытый фрагмент показан ограниченной ролиКритическая ошибка, требует исправления и повторного теста

По первым двум строкам пока нельзя сказать, сколько вопросов прошли обе проверки. Напротив каждого из 24 вопросов отметьте, верен ли ответ и ведёт ли ссылка к нужному пункту. Посчитайте строки с двумя отметками и разделите их число на 24.

Точность и полнота списка найденных документов

Выберите, сколько первых результатов будете проверять. Это число обозначают k. Точность (precision@k) показывает, какая доля этих результатов подходит к вопросу. Полнота (recall@k) показывает, какую долю всех заранее отмеченных подходящих документов удалось найти в первых k результатах. Для сравнения используйте одинаковое k и один список подходящих документов. Отдельно проверьте, верен ли ответ, составленный по найденным документам. Elastic, Ranking evaluation

Учебный пример — у вопроса есть четыре релевантных документа. В первых пяти результатах найдены три из них. Precision@5 равен 3 / 5, то есть 60%, а Recall@5 равен 3 / 4, то есть 75%. Если полный список релевантных документов не установлен, называйте результат полнотой относительно размеченного эталона.

Сохраните фактический список результатов. Пустая выдача и выдача с неразмеченными документами требуют явного правила подсчёта. Для ручного протокола можно считать долю релевантных среди реально возвращённых позиций и отдельно записывать их количество. Для автоматического инструмента используйте его документированное определение и не смешивайте расчёты между прогонами.

Время и технические ошибки

Отсчитывайте время от начала задания до момента, когда участник открыл источник и может сверить ответ. Запишите число попыток и одновременных участников. Отметьте, шла ли проверка сразу после запуска или система уже обрабатывала запросы. Укажите медиану времени и разброс, чтобы в отчёте были видны и долгие ожидания.

Тайм-ауты, недоступность сервиса и ошибки извлечения сохраняйте в отчёте. Если считать время только по удачным попыткам, итог станет оптимистичным. Если участник прекратил ждать, запишите, сколько он ждал, и отметьте попытку как незавершённую.

Решение по пилоту

  • Можно продолжать выбранный сценарий, если достигнуты согласованные критерии и закрыты критические дефекты.
  • Нужен повторный прогон, если ошибки локализованы и есть проверяемое исправление.
  • Нужно изменить корпус или постановку задачи, если ожидаемый ответ не подтверждён самими документами.
  • Нужно сузить вывод, если группа вопросов слишком мала или условия сравнения различались.

Универсальный проходной процент здесь не задаётся. Для поиска формы и для инструкции с обязательными ограничениями цена ошибки различается. Порог и перечень критических случаев согласуйте до просмотра результатов.

К итоговой таблице приложите версии набора, правила оценки, обезличенные строки ошибок и причины исключений. Улучшение одного прогона относится к этим условиям. Для вывода об устойчивости повторите проверку на независимых вопросах после завершения настройки.

Связанные материалы

Подготовка вопросов · Проверка источника · Матрица доступа

Согласовать показатели и критические случаи можно до начала пилота ХАРОН.