Исследователи Мыжек и Саймонс (Myczek & Simons) в 2008-ом году создали вычислительную модель, которая выбирает несколько предметов из какой-либо группы с высокой точностью, тем самым показав, что данный подход дает результаты ничуть не худшие, чем модель, основывающаяся на статистической репрезентации группы.
Хотя подобный метод очень привлекателен, следует быть очень осторожным в его применении к человеческому поведению. В частности, подобное, основанное на моделировании исследование должно учитывать более широкий круг явлений, и в нем должны быть более точно отражены ошибки в суждениях.
Мыжек и Саймонс предположили, что когда люди смотрят на группу схожих объектов (вроде кругов, деревьев, машин, книг или бананов), они не выделяют общее свойство всех предметов группы. По их мнению люди делают это, основываясь на нескольких объектах из группы, и выносят свои суждения только относительно этой подгруппы.
Для подтверждения своей теории Мыжек и Саймонс сравнили результаты реальных экспериментов с людьми с результатами созданной ими вычислительной модели, тем самым дав толчок интересной дискуссии.
Какие данные должны быть приняты в расчет в основанном на моделировании исследовании?
Одной из проблем подобных исследований является сверхточность. Конкретная модель разрабатывается для конкретной ситуации, и она описывает не столько общий процесс, сколько структуру явлений.
Например, в своей статье Дэн Ариэли (Dan Ariely), профессор психологии и поведенческой экономики Университета Дьюка (Duke University) от 2001 года включил в рассмотрение не только данные о средней точности суждения испытуемых, но также информацию о способности людей сказать, была ли окружность конкретного размера представлена в группе окружностей или же нет.
Он назвал подобную задачу задачей членства, и ему показалось очень интересным, что несмотря на то что способность различить объект как часть группы была близка к случайной, способность выделить общее свойство предметов группы как целого, была относительно высока. На самом деле, точность суждений членства была одинакова, независимо от количества объектов (членов) в группе. На его взгляд, именно этот контраст между малым знанием об отдельных предметах и довольно высокой точностью утверждений относительно их общего свойства сделал эту загадку столь любопытной.
В методе, предложенном Мыжеком и Саймонсом, есть четкий прогноз по задаче членства. Если люди выделяют определенное число объектов из группы и имеют совершенно четкое представление о них — их точность должна быть пропорциональна числу объектов, которые они могут выбрать из группы.
Например, если человек может выбрать два объекта, а в задаче содержится четыре объекта, он будет прав в 75% случаев (точно идентифицируя два члена и случайно угадывая остальные два). Тот факт, что результаты экспериментов Ариэли показывают, что люди очень близки к точности, равной 50%, дает основания предполагать, что подход Мыжека и Саймонса не применим к этому типу задач.
Конечно, если ослабить их допущение о том, что люди выносят совершенно правильные суждения об объектах в выделенной ими подгруппе, прогноз по точности в их модели будет ниже, но вряд ли он достигнет 50%. Таким образом, вероятно преждевременно рассматривать их модель в качестве общего механизма в этой области.
Желательно, чтобы в рамках моделей вроде той, которую создали Мыжек и Саймонс, можно было бы делать прогнозы в отношении других аспектов задач, которые они моделируют. В частности, исследователи, которые работали в области статистической репрезентации, использовали различное время демонстрации объектов испытуемым (в диапазоне от 50 до 1.000 миллисекунды) и получили относительно одинаковые результаты. Не исключено, что подход Мыжека и Саймонса предполагает различные результаты в зависимости от времени демонстрации объектов: более короткое время приведет к меньшему числу выбранных объектов, а более длительное время — к большему числу выбранных объектов и большей точности. В рамках подхода Мыжека и Саймосна вполне допустимо рассуждать о том, почему время демонстрации имеет относительно малый эффект на точность статистической репрезентации, однако было бы неплохо расширить их модель, чтобы она лучше учитывала ее результаты.
Возможно, общая цель основанных на моделировании исследований заключается в том, чтобы решать другие, не связанные с данным конкретным случаем задачи.
Например, было бы неплохо, если бы механизм, предложенный Мыжеком и Саймонсом, мог быть легко применим к получению средних величин в восприятии движения группы объектов и к оценке способности фиксировать среднее значение ориентации в пространстве нескольких объектов.
Конечно же, можно рассуждать о том, для какой цели предназначен любой исследовательский проект, и не слишком ли высоки подобные требования от подхода Мыжека и Саймонса. Ведь вполне допустимо рассматривать их метод просто как доказательство концепции, утверждающей, что такой-то тип системы может давать такие-то результаты. Однако чтобы подобный метод был действительно полезным, одного доказательства концепции недостаточно, и что сила доказательства у такого моделирования должна быть выше, чем в обычных эмпирических исследованиях.
Как правило, результаты хорошего, основанного на моделировании, исследования должны объяснять не только те случаи, на базе которых и строилась его модель. Они должны служить толчком к построению новых верифицируемых теорий. В противной ситуации существует риск того, что мы будем строить модели отдельных проблемных случаев, а не создавать реальную психологическую теорию.
Роль ошибки в человеческих суждениях и в научной модели
Второй проблемой метода Мыжека и Саймонса является то, какое место они уделяют ошибке в своей модели. В их подходе вероятность ошибки уже определена и включена в модель (назовем такую ошибку процессуальной). Таким образом, их модель имеют дело с идеальным испытуемым, а не с реальным. У последнего есть свой собственным метод вынесения решения, в котором может возникнуть как процессуальная ошибка, так и непредвиденная ошибка (назовем ее ошибкой в суждении). Таким образом, модель Мыжека и Саймонса выдает результаты, ограниченные процессуальной ошибкой, тогда как результаты испытания реальных людей ограничены как процессуальной ошибкой, так и ошибкой в суждении.
Каким образом мы можем сравнить эти два результата — основанные на модели и реальные? Допустим, в обоих случаях мы получили одинаковый результат, при этом согласившись, что в мышлении реальных испытуемых есть дополнительный компонент в виде ошибки в суждении. Не будет ли это означать, что реальное изучение людей лучше модели? На самом деле, что Мыжек и Саймонс вероятно просто подменили один тип ошибки другим, и поэтому сравнивать результаты двух исследований невозможно. Чтобы такое сравнение было возможным, в модели должен быть компонент ошибки суждения. Вычисление этой ошибки — дело непростое, но в случае с заявленной задачей (вычислить среднюю свойство в группе объектов) можно было бы начать с использования очень маленькой группы (например, один или два предмета в группе).
Вычислив значение ошибки суждения в этом простом случае, в дальнейшем его можно было бы включить в основную модель интересующего нас процесса (в нашем случае — подвыборки) в качестве константы.
Резюмируя все сказанное, метод Мыжека и Саймонса можно назвать интересным и вызывающим, способным помочь понять, как люди оценивают группы из схожих объектов. В то же время, остается надеяться, что в будущем подобные модели будут применимы к более широкому кругу явлений, а также в них найдется место ошибке суждения.
Высоких вам конверсий!
По материалам: Perception & Psychophysics, image source Guilherme Marconi
