Слепая оценка

Слепая оценка (blind evaluation) убирает из суждения всё, что сообщает о вещи что-то помимо неё самой: цену, бренд, автора, мнение соседа.

Самый известный пример — исследование Робина Голдстейна и соавторов о ценах на вино: 17 слепых дегустаций, 506 участников, 6 175 оценок, вина стоимостью от 1,65 до 150 долларов за бутылку. Дегустации были двойными слепыми: ни тот, кто наливал, ни тот, кто пробовал, не знал, что в бокале. У людей без винного образования связь цены и оценки оказалась слабой и отрицательной: дорогие вина им в среднем нравились чуть меньше. У людей с винным образованием связь была неотрицательной, на грани статистической значимости.

Слепота нужна и экспертам. В исследовании Роберта Ходжсона в анализ шла только первая, независимая оценка судьи, поставленная до обсуждения с панелью. А в работе Цинь Ли 2024 года репутация картины сильнее влияла на оценки экспертов, чем на оценки новичков.

Слепую оценку применяют там, где спорят о качестве: при сравнении вариантов дизайна, отборе работ, выборе между своей версией и версией машины. Процедура простая: спрятать подписи, оценить каждую вещь отдельно, записать оценку и только потом раскрыть.

Слепая оценка показывает, что именно оценивает человек: саму вещь или знание о ней. А слепой повтор лежит в основе измерения надёжности судей.