Процедура вместо истинного судьи

Глава собрала неприятные факты: судьи не узнают собственное вино, цена и репутация сдвигают оценку, а уверенность не говорит о точности. Остаётся вопрос, который задал ещё Юм: если вкусы неравноценны, как найти тех, чьему суждению можно верить?

В эссе «О норме вкуса» (1757) Дэвид Юм описал истинного судью: сильный ум, соединённый с тонким чувством, улучшенный практикой, доведённый сравнением и очищенный от всякого предрассудка. Совместный вердикт таких судей, где бы они ни нашлись, и есть, по Юму, стандарт вкуса (Портрет истинного судьи). И сразу за портретом он спрашивает себя: «Но где найти таких критиков? По каким признакам их узнать? Как отличить их от самозванцев?» (Где найти таких критиков?). Юм видит, что эти вопросы грозят вернуть его к прежней неопределённости, и отвечает: это вопросы факта, а не чувства. Обладает ли человек нужными качествами, можно обсуждать и выяснять, как любой спорный вопрос рассудка. Спорящим, пишет он, остаётся приводить лучшие доводы, какие найдутся, признавать, что верный и решающий стандарт где-то существует, а именно в реальности и в факте, и быть снисходительными к тем, кто понимает этот стандарт иначе. Для его цели достаточно показать, что вкусы людей неравноценны.

Вопрос факта требует способа его установить. Самый очевидный способ — довериться экспертам: если истинные судьи где-то есть, то, наверное, среди тех, кто много знает об искусстве.

Знание не сближает оценок само по себе

Эмпирическая эстетика проверила, сходятся ли знающие люди в оценках. Эва Шпекер и соавторы (Specker et al., 2020) сравнили историков искусства с неспециалистами: насколько люди согласны в том, какое впечатление производит картина. В исследовании и его повторении согласие оказалось значительно ниже ожидаемого. По целым картинам участники сходились лишь в трёх измерениях из четырнадцати: тёплое — холодное, тяжёлое — лёгкое, весёлое — грустное. Экспертиза заметной роли не играла, а особенно низким согласие было там, где эстетику обычно интересует больше всего, в шкале «нравится — не нравится». Вывод авторов: у тех, кто больше знает об искусстве или больше им интересуется, согласие не выше, чем у остальных.

Знание при этом меняет многое другое. В работе ван Паасхен, Баччи и Мелчера (2015) 60 человек, 40 новичков и 20 экспертов, оценивали 150 абстрактных работ и портретов в лаборатории и в музее. Эксперты ставили картинам более высокие оценки красоты и желания (wanting), но в эмоциональных оценках, валентности и возбуждения, группы не различались. Половина новичков перед второй сессией прошла короткое обучение, и оно дало лишь слабый эффект: обученные новички не отличались статистически ни от экспертов, ни от необученных. Авторы делают вывод, что эмоциональная часть восприятия искусства мало зависит от экспертизы и у разных людей похожа, а более когнитивные стороны от неё зависят. В другом исследовании (Mullennix, Robinet, 2018) экспертиза была связана с пониманием картин, но не с тем, насколько они нравятся.

С этим сходится работа Эдварда Вессела и соавторов: из пяти областей, от лиц до произведений искусства, у искусства общая часть оценок оказалась самой низкой, около 8% против двух третей у лиц (Где вкусы сходятся, а где нет).

Из этого не следует, что эксперты бесполезны. Следует более узкая вещь: знание делает понимание глубже, но само по себе не сводит оценки разных людей к одной. Поэтому юмовский совместный вердикт в оценке произведений нельзя предполагать заранее. Его приходится собирать.

Четыре шага

Как собирать, подсказывают сами исследования этой главы. Каждое что-то делало со своими участниками, и вместе эти действия складываются в процедуру.

1. Убрать ярлык. Цену, имя, репутацию, мнение соседа. Так работали слепые дегустации Голдстейна и соавторов, где ни наливающий, ни пробующий не знал, что в бокале (Цена, имя и привычка).
2. Повторить образец. Подать ту же вещь несколько раз под разными метками и посмотреть, совпадаешь ли ты с собой. Так Ходжсон проверял судей винного конкурса (Судьи, которые не узнают своё вино).
3. Только потом сверяться с другими. Если человек не повторяет собственную оценку, его согласие с коллегами мало что значит (Сначала согласие с собой).
4. Где есть проверяемый ответ, сначала предсказать результат, потом узнать его. Так устроены опыты Крюгера и Даннинга, где люди оценивали собственный результат (Уверенность не равна умению).

Шаги перекликаются с портретом Юма. Свобода от предрассудков — это первый шаг, сравнение — второй и третий. Практика копится, когда процедуру повторяют. Разница в том, что Юм описывал качества человека, а процедура проверяет суждение: что человек делает с вещью без подписи и с её повтором. Так калибровка (calibration) из ощущения становится измерением, пусть грубым.

Процедура не отменяет законных расхождений, которые оставлял Юм: темперамента отдельного человека и нравов эпохи и страны. Если после слепой оценки с повторами два человека, каждый устойчивый в своём, всё равно расходятся, возможно, это как раз такой случай и никто из них не ошибается. У Вессела, например, оценки архитектуры повторяются у каждого не хуже оценок пейзажей, а сходятся у разных людей слабее: люди расходятся не потому, что оценивают наугад, просто у каждого своё.

Узнаёт ли вкус вкус

Атлуру в конце своего эссе допускает, что вкус узнаёт вкус. Без процедуры это утверждение нельзя ни доказать, ни опровергнуть: данные о судьях показывают, как сильно уверенность расходится с повторяемостью. С процедурой вопрос становится проверяемым: показать работу нескольким людям вслепую, с повтором, и посмотреть, сойдутся ли они сначала каждый с собой, а потом друг с другом.

В команде это выглядит буднично. Варианты макета собирают без подписей, один из них показывают дважды под разными номерами, каждый записывает оценку молча, и только потом начинается обсуждение. Сначала каждый смотрит, совпал ли он сам с собой на повторе, затем группа сравнивает оценки между собой. Это дольше обычного обсуждения, зато спор идёт о самой вещи, и громкий голос весит в нём меньше. Часть такой процедуры легко поручить машине. Можно ли поручить ей и само суждение, разбирает последняя карточка главы, Машина ведёт слепую проверку и сбивается там же, где люди.