Машина ведёт слепую проверку и сбивается там же, где люди

Процедура проверки вкуса из прошлой карточки трудоёмка. Нужно перемешать образцы, спрятать подписи, подставить повторы, свести оценки в таблицу и посчитать, кто совпал с собой и с группой. Сегодня первая мысль — отдать это машине. Вопрос в том, какую часть.

Что машине отдать стоит

Механическую часть процедуры отдать можно и полезно. Перемешать варианты, присвоить им случайные коды, вставить повтор, сохранить первые оценки до обсуждения, посчитать разброс у каждого и согласие между людьми — это работа для таблицы или короткого скрипта. Машина хорошо служит разливающим: она ничего не ждёт от результата и не выдаст ни словом, ни взглядом, какая чашка дорогая. Недаром дегустации Голдстейна были двойными слепыми: коды не знал и тот, кто наливал.

Что отдавать рано

С ролью судьи сложнее. В исследовании Artificial Hivemind (Цзян и соавторы, NeurIPS 2025) собрали Infinity-Chat — 26 тысяч открытых запросов от реальных пользователей, на которые нет одного правильного ответа, и 31 250 человеческих оценок, по 25 независимых оценок на каждый пример. Затем проверили, насколько языковые модели, модели вознаграждения (reward models) и модели-оценщики (LM judges) совпадают с людьми. Оказалось, что они хуже откалиброваны относительно человеческих оценок как раз на тех ответах, где у людей расходятся личные предпочтения, хотя общее качество таких ответов сопоставимо. Авторы объясняют это тем, что нынешние способы обучать и оценивать модели «склонны исходить из единого, консенсусного понятия качества» (tend to assume a single, consensus notion of quality) и поэтому не замечают разнообразия предпочтений, которое возникает в открытых ответах.

Исследование касалось ответов моделей на открытые вопросы. С картинами и макетами ловушка устроена так же: машинный судья исходит из одного понятия качества как раз там, где общего вкуса у людей меньше всего. Среди пяти областей, от лиц до произведений искусства, общая часть оценок ниже всего у искусства (Где вкусы сходятся, а где нет).

Ловушка со стороны человека

Карри Сааринен, сооснователь и генеральный директор Linear, описывает ту же ловушку с другой стороны (Карри Сааринен). ИИ кажется самым впечатляющим там, где вы знаете меньше всего. В знакомой области вы видите пробелы: ответ почти правильный, но упускает контекст, выдумывает детали, выбирает очевидный путь. В незнакомой тот же ответ кажется чудом, потому что вам не хватает суждения, чтобы увидеть, чего в нём нет. «Это своего рода амнезия Гелл-Манна и эффект Даннинга — Крюгера в масштабе» (This is a kind of Gell-Mann Amnesia and Dunning-Kruger effect at scale), — пишет он. Парадокс, по Сааринену, в том, что экспертиза делает ИИ труднее в использовании, но и ценнее, если умеешь с ним обращаться: эксперт видит слоп, но знает и то, как направить модель, ограничить её и оценить результат. Его вывод: ИИ не отменяет ценность экспертизы, а делает её вопросом направления, суждения и знания того, как выглядит хорошее.

Два наблюдения складываются в одно правило. Модель плохо знает, где люди законно расходятся, а человек плохо знает, где он сам слаб (Уверенность не равна умению). Если вы не совпадаете сами с собой, вы не сможете понять и то, ошибается ли машина. Поэтому сначала проверяют собственную калибровку, а уже потом решают, чьей оценке верить — своей, коллеги или модели. Машина может провести слепую проверку, а результат этой проверки читает человек. Самый частый случай в работе — выбор между своей версией и версией модели. Их перемешивают без подписей, одну из версий подают дважды и оценивают молча. Если оценки одной и той же версии разошлись, спорить с моделью о качестве пока рано.

На этом глава о проверке вкуса заканчивается, а с ней и разговор о том, как вкус растёт у одного человека: различение тренируют, разрыв между глазом и рукой проходят работой, а надёжность собственного суждения проверяют процедурой.