Надёжность судей

Надёжность судей (judge reliability) — это то, насколько судья повторяет собственную оценку одной и той же вещи и насколько судьи согласны друг с другом.

Роберт Ходжсон различает две составляющие надёжности: согласованность с собой (consistency) и согласие с другими (concordance). Первую он считает более фундаментальной, потому что она лучше подходит для измерения ошибки эксперимента.

Его данные — конкурс вин California State Fair, 2005–2008 годы, судьи работали панелями по четыре человека. Лишь около 10% судей уложились в пределы одной медали, ещё около 10% хотя бы раз ставили одному вину оценки от бронзы до золота. Судьи были последовательнее в том, что им не нравится, чем в том, что нравится. Из 65 панелей только в 30 итог определяло одно лишь вино. У 26 судей, работавших и в 2005, и в 2006 году, точность в одном году не предсказывала точность в следующем: корреляция составила −0,01. Конкурс был один, и Ходжсон сам об этом предупреждает.

Позже Ходжсон вместе с Цао предложил тест для аккредитации винных судей. На данных крупного конкурса его проходили немногие, а среди не прошедших было много людей с огромным профессиональным опытом. Данные Бодингтона (2017) мягче: около трети судей ставят повторам оценки в пределах одного ранга от идеальной согласованности.

Надёжность судьи измеряют слепым повтором (Слепая оценка): профессиональный опыт её не гарантирует. Поэтому идеал истинного судьи приходится проверять процедурой.