Сначала согласие с собой

Судьи калифорнийского конкурса плохо повторяли собственные оценки (Судьи, которые не узнают своё вино). Первая реакция на такие данные — спросить, согласны ли они хотя бы друг с другом. Так обычно и проверяют экспертов: хорошие судьи, считается, сходятся между собой, в баллах или в местах. То, что винные судьи часто расходятся, было известно давно. А вот согласованность отдельного судьи с самим собой до Ходжсона никто не публиковал.

Роберт Ходжсон различает две составляющие надёжности судей (judge reliability): согласованность с собой (consistency) — способность повторить оценку той же вещи, и согласие с другими (concordance). Первую он считает более фундаментальной, потому что она лучше подходит для измерения ошибки. Если судья ставит одному и тому же вину то серебро, то золото, в его оценке много шума. Совпадение такого судьи с соседом по панели может оказаться случайностью, а расхождение — тоже. Поэтому сначала проверяют согласие с собой и только потом с другими.

В обычной работе порядок чаще обратный. Сомневаясь в макете или формулировке, мы показываем их коллегам и успокаиваемся, если те согласны. Но если завтра тот же человек, увидев ту же вещь без подписи, оценил бы её иначе, его сегодняшнее «да» мало что добавляет. Согласие двух нестабильных оценок легко принять за подтверждение вкуса, хотя за ним может стоять общее настроение, контекст или просто тот, кто заговорил первым.

У Ходжсона нашёлся и второй неудобный результат. Двадцать шесть судей работали на конкурсе и в 2005, и в 2006 году. Самые точные в первый год не оказались самыми точными во второй: корреляция их точности между годами равна −0,01, то есть связи нет. В этих данных надёжность судьи — результат конкретной проверки, и проверку приходится повторять. На той же идее, что эксперт должен ставить одинаковому вину похожие оценки, построен тест для аккредитации винных судей, который Ходжсон вместе с соавтором Цао (J. Cao) предложил в 2014 году. На данных крупного конкурса тест прошли немногие, и среди не прошедших оказалось много людей с огромным профессиональным опытом в винной индустрии.

Отсюда не следует, что судьи оценивают наугад. Дж. К. Бодингтон (J. C. Bodington) в 2017 году разобрал четыре дегустации с тайными повторами и показал, что судьи всё же ставят повторам более близкие оценки, чем дала бы случайность. Около трети судей укладываются в один ранг от идеальной согласованности, около двух третей — в два ранга. Результат зависит от самих судей, от устройства процедуры дегустации и от того, насколько повторяемое вино отличается от остальных. Надёжность не нулевая, но заметно ниже, чем обещает профессиональный статус, и её надо мерить.

Сам Ходжсон заканчивает статью предложением: оценивать будущие конкурсы и по согласованности, и по согласию, чтобы улучшать надёжность и видеть, что дают изменения процедуры. На себе это можно сделать за один вечер: упражнение Слепая повторная дегустация.