Ходжсон: надёжность винных судей

«An Examination of Judge Reliability at a major U.S. Wine Competition» — статья Роберта Ходжсона в Journal of Wine Economics (т. 3, № 2, осень 2008, с. 105–113). Ходжсон — почётный профессор океанографии и статистики Университета Гумбольдта и владелец небольшой винодельни Fieldbrook Winery. С 2005 по 2008 год он подмешивал судьям конкурса California State Fair тайные повторы, по три бокала одного вина из одной бутылки, и смотрел, повторяют ли они собственные оценки. До этой статьи исследований того, насколько отдельный винный судья согласен сам с собой, не публиковали. Её выводы разобраны в карточках Судьи, которые не узнают своё вино и Сначала согласие с собой.

Статья короткая, девять страниц. Начать стоит с введения: в нём четыре вопроса, с которых началось исследование (почему вино берёт золото на одном конкурсе и ничего на другом и виноваты ли в этом бутылки, разногласия в жюри или сами судьи), и главный тезис: согласованность с собой (consistency) фундаментальнее согласия с другими (concordance). Потом — раздел о методе, где описано, как судьям нарочно облегчили задачу, и рисунок 1, по которому видно, как часто они совпадали сами с собой. Последним идёт обсуждение: там автор оговаривает, что данные получены на одном конкурсе, и приводит сводку о тысяче с лишним вин, взявших золото на одних конкурсах и оставшихся без наград на других.

Продолжение — две работы в том же журнале. В 2014 году Ходжсон вместе с Цзин Цао (Jing Cao) предложил тест для аккредитации винных судей: на данных крупного конкурса его прошли немногие, а среди не прошедших было много людей с большим опытом в винной индустрии. В 2017 году Джеффри Бодингтон (Jeffrey C. Bodington) разобрал четыре дегустации с повторами и показал более мягкую картину: около трети судей укладываются в один ранг от идеальной согласованности, около двух третей — в два.