Оценивайте отдельно найденные документы, правильность ответа, время до проверенного результата и доступ. Для каждой доли запишите оба числа, например «20 из 24», и укажите, какие вопросы вошли в расчёт. Для времени запишите, когда начинали и заканчивали отсчёт. Итоговое решение принимайте по заранее согласованным критериям, сохраняя критические ошибки отдельными строками.
Ниже приведён авторский пример протокола. Все числа учебные и служат для проверки расчёта. Они не описывают результаты ХАРОН или какого-либо внедрения. Для собственного пилота подставьте фактические наблюдения и сохраните версию корпуса.
Сначала определите, что именно оценивается
Поиск может найти подходящий документ, а составленный по нему ответ — потерять условие. Возможен и обратный случай, когда формулировка выглядит правдоподобно, но открываемая ссылка её не подтверждает. Поэтому один общий балл скрывает причину ошибки.
| Группа | Наблюдение | Как читать результат |
|---|---|---|
| 24 вопроса с ответом в корпусе | 20 ответов содержат все обязательные условия | 20 / 24, около 83%, для этой группы |
| Те же 24 вопроса | 19 ссылок открывают нужный пункт и редакцию | 19 / 24, около 79%, отдельная проверка источника |
| 6 вопросов без ответа | 5 корректных отказов или уточнений | 5 / 6, около 83%, для отрицательной группы |
| Отдельная матрица доступа | Один закрытый фрагмент показан ограниченной роли | Критическая ошибка, требует исправления и повторного теста |
По первым двум строкам пока нельзя сказать, сколько вопросов прошли обе проверки. Напротив каждого из 24 вопросов отметьте, верен ли ответ и ведёт ли ссылка к нужному пункту. Посчитайте строки с двумя отметками и разделите их число на 24.
Точность и полнота списка найденных документов
Выберите, сколько первых результатов будете проверять. Это число обозначают k. Точность (precision@k) показывает, какая доля этих результатов подходит к вопросу. Полнота (recall@k) показывает, какую долю всех заранее отмеченных подходящих документов удалось найти в первых k результатах. Для сравнения используйте одинаковое k и один список подходящих документов. Отдельно проверьте, верен ли ответ, составленный по найденным документам. Elastic, Ranking evaluation
Учебный пример — у вопроса есть четыре релевантных документа. В первых пяти результатах найдены три из них. Precision@5 равен 3 / 5, то есть 60%, а Recall@5 равен 3 / 4, то есть 75%. Если полный список релевантных документов не установлен, называйте результат полнотой относительно размеченного эталона.
Сохраните фактический список результатов. Пустая выдача и выдача с неразмеченными документами требуют явного правила подсчёта. Для ручного протокола можно считать долю релевантных среди реально возвращённых позиций и отдельно записывать их количество. Для автоматического инструмента используйте его документированное определение и не смешивайте расчёты между прогонами.
Время и технические ошибки
Отсчитывайте время от начала задания до момента, когда участник открыл источник и может сверить ответ. Запишите число попыток и одновременных участников. Отметьте, шла ли проверка сразу после запуска или система уже обрабатывала запросы. Укажите медиану времени и разброс, чтобы в отчёте были видны и долгие ожидания.
Тайм-ауты, недоступность сервиса и ошибки извлечения сохраняйте в отчёте. Если считать время только по удачным попыткам, итог станет оптимистичным. Если участник прекратил ждать, запишите, сколько он ждал, и отметьте попытку как незавершённую.
Решение по пилоту
- Можно продолжать выбранный сценарий, если достигнуты согласованные критерии и закрыты критические дефекты.
- Нужен повторный прогон, если ошибки локализованы и есть проверяемое исправление.
- Нужно изменить корпус или постановку задачи, если ожидаемый ответ не подтверждён самими документами.
- Нужно сузить вывод, если группа вопросов слишком мала или условия сравнения различались.
Универсальный проходной процент здесь не задаётся. Для поиска формы и для инструкции с обязательными ограничениями цена ошибки различается. Порог и перечень критических случаев согласуйте до просмотра результатов.
К итоговой таблице приложите версии набора, правила оценки, обезличенные строки ошибок и причины исключений. Улучшение одного прогона относится к этим условиям. Для вывода об устойчивости повторите проверку на независимых вопросах после завершения настройки.
Связанные материалы
Подготовка вопросов · Проверка источника · Матрица доступа
Согласовать показатели и критические случаи можно до начала пилота ХАРОН.
