Судьи, которые не узнают своё вино

Атлуру признаёт, что уверенных в своём отличном вкусе больше, чем людей, у которых он действительно есть. Проверить это проще всего там, где вкус судят профессионально и публично, с медалями и последствиями для рынка, — на винных конкурсах. Судят на них профессионалы, и от их решения многое зависит. Если где-то вкус и надёжен, то здесь.

Золото на одном конкурсе, ничего на другом

Роберт Ходжсон — почётный профессор океанографии и статистики Университета Гумбольдта в Калифорнии и владелец небольшой винодельни Fieldbrook Winery. Конкурсы он начал изучать из любопытства: одно и то же его вино получало золото на одном конкурсе и ничего на другом. Весной 2003 года он предложил главному судье конкурса California State Fair в Сакраменто независимо проверить надёжность его судей. Вопросы были простые. Почему вино берёт золото на одном конкурсе и остаётся без награды на другом? Дело в разнице между бутылками, в разногласиях внутри жюри или в том, что отдельный судья не может повторить собственную оценку? Ходжсон приводит слова исследовательниц Маргарет Клифф и Марджори Кинг (1997): винных судей редко, если вообще когда-нибудь, подвергают строгой проверке, а конкурсы не строят как эксперимент с повторами, по которым можно было бы увидеть, воспроизводят ли судьи свои оценки.

California State Fair — старейший коммерческий винный конкурс Северной Америки. На него принимают только калифорнийские вина, а судей набирают из винных профессионалов: виноделов, закупщиков, критиков, преподавателей энологии и виноградарства. Награда здесь не формальность: медаль этого конкурса связана с ценой вина, так что от неё зависят дела винодельни. Судьи работают панелями по четыре человека, серия (flight) — около 30 вин. Оценку ставят буквами: бронза с плюсом, серебро с минусом и так далее; потом буквы переводят в баллы от 80 (без награды) до 100.

С 2005 по 2008 год Ходжсон каждый год проверял от 65 до 70 судей. Во вторую серию дня, среди 30 вин, по возможности подмешивали тайные повторы: четыре вина, каждое налитое трижды, вперемешку с остальными. Все три бокала одного вина наливали из одной бутылки и подавали в одной серии. В расчёт шла только первая оценка, которую судья ставит сам, до обсуждения с панелью. Схему нарочно построили так, чтобы судьям было легче всего повторить свою оценку: ни другая бутылка, ни другой день не могли сбить их с толку. Если бы повторы подавали в разных сериях, пишет Ходжсон, согласованность, скорее всего, оказалась бы ниже.

Что получилось

Лишь около 10% судей удерживали оценку повторов в пределах одной медали: даже самый большой разброс у них не превышал четырёх баллов, например от серебра с минусом до серебра с плюсом. Ещё около 10% хотя бы раз ставили одному и тому же вину то бронзу, то золото, а то и разброс от «без награды» до золота. У типичного судьи самый большой разброс по повторам составлял около восьми баллов, например от бронзы с плюсом до золота с минусом.

Полностью совпадать с собой судьям удавалось примерно в 18% случаев, и чаще всего на винах, которые они отвергали. По формулировке Ходжсона, судьи последовательнее в том, что им не нравится, чем в том, что нравится. На языке статистики: типичное стандартное отклонение оценки одного вина у одного судьи — 3,6 балла, а соответствующий ему 95-процентный интервал — 14 баллов. Это почти вся лестница наград, от «без награды» до золота с минусом.

Ходжсон проверил и панели целиком. В жюри, которое работает как задумано, итог определяет вино, и неважно, кто его судит. Из 65 панелей за четыре года так было только в 30, меньше чем в половине. В остальных на награду заметно влияли сами судьи или ни вино, ни судьи не объясняли оценок. Отсюда его вывод: вино, получившее какую-то медаль, на другом конкурсе может получить любую другую или не получить ничего. Он приводит и внешнюю сводку: в 2003 году из более чем четырёх тысяч вин, прошедших через 14 крупных американских конкурсов, больше тысячи получили золото хотя бы на одном и не попали в призёры на других.

Что из этого следует

Профессиональный статус и опыт не гарантируют, что человек повторит собственную оценку. Вкус от этого не исчезает: исследование показывает, сколько шума в оценке, которую никто не проверяет. Конкурс был один, но схема была устроена в пользу судей, и если так выглядит удобная для судей схема, в обычных условиях рассчитывать на лучшее не стоит. А в обычной работе условия хуже: макет или текст видят с подписью автора, после обсуждения и в разные дни.

Отсюда вопрос, с которого стоит начинать любую проверку вкуса: совпадает ли человек хотя бы сам с собой? Почему этот вопрос важнее, чем согласие экспертов между собой, разбирает следующая карточка, Сначала согласие с собой.