В конце 1970-х группа маркетологов компании по производству газировки отправилась в торговые центры. Они предлагали покупателям два немаркированных стаканчика: один — с Coca-Cola, другой — с Pepsi, а затем спрашивали, которому из них они отдают предпочтение.
Это был рекламный трюк компании Pepsi, основанный на классическом научном инструменте — слепом методе. Если человек не знает, что есть что, его предубеждения имеют меньше шансов оказать влияние на то, как он интерпретирует информацию. Данный метод используется для избежания необъективности в экспериментах вот уже более 200 лет и является одним из наиболее важных инструментов в научном подходе.
Испытуемые в ранней версии исследования Pepsi в 1935 году
Тем не менее, несмотря на свою эффективность слепой метод используется далеко не всегда. Недавно Мелисса Кардиш (Melissa Kardish) и другие исследователи Техасского университета в Остине изучили 492 работы в области экологии, эволюции и поведения. Проанализировав 13 журналов, начиная c таких «тяжеловесов», как Science and Nature, и заканчивая скромными изданиями типа American Naturalist, они установили: среди экспериментов, на которые определенно могла бы повлиять предвзятость, только чуть больше 13% проводились с применением слепого метода.
Области применения слепого метода
Обычно люди склонны думать об исследованиях с использованием слепого метода в контексте медицины. Пациент в клиническом испытании часто не знает, принимает ли он плацебо или экспериментальное лекарство. В этом случае ученые могут определить, какие эффекты обусловлены препаратом, а какие — верой пациента в то, что данное лечение будет работать (так называемый «эффект плацебо»). При применении двойного слепого метода, исследователь также находится в неведении, кто из пациентов получает плацебо, а кто — экспериментальные препараты.
В таких областях, как экология, этот метод не является необходимым, потому что изучаемые здесь объекты вряд ли имеют встроенные предубеждения. Однако слепой метод безусловно важен, когда ожидается конкретный результат, а измеряемые переменные субъективны. Тем не менее, это часто игнорируется во многих отраслях науки.
Данный муравей раскрывает свои мандибулы для демонстрации своей агрессивности, или он просто просит пищу? (Социальные насекомые часто кормят друг друга — этот процесс называется трофаллаксис). Если энтомолог ожидает от насекомого дружелюбного поведения (например, при работе с другим муравьем из колонии), то он может склоняться в сторону второй версии. А если, наоборот, исследователь не знает об отношениях между муравьями, то он оценит этот жест объективно.
Когда стоит и не стоит использовать слепой метод?
Во многих случаях слепой метод применять несложно. Так, ученые могут идентифицировать образцы, используя произвольные коды, а не открыто маркировать их. В приведенном выше примере, один участник может отслеживать идентичность муравьев, а другой — оценивать поведение. Последнее задание должно выполнятся исследователем, который не в курсе условий эксперимента.
Но слепой метод подходит не всегда. К примеру, если нужен кто-то со специализированной подготовкой для сбора данных, то привлечение экспериментатора, не знающего особенностей исследования, может быть опрометчивым. Также применение слепого метода иногда невозможно с точки зрения логистики. А в некоторых случаях изучаемую переменную трудно замаскировать. Так, например, если экспериментатор поймет, что исследование посвящено проверке того, напиток какой марки покупатели выбирают чаще, то он может бессознательно сформировать свою собственную гипотезу, и в этом случае возникнет угроза необъективности.
Проблема игнорирования слепого метода
Может быть, некоторые ученые используют слепой метод, но не сообщают об этом? Ограничение по количеству слов, которое часто накладывают журналы на исследователей, является одной из причин того, что ученые могут не отчитываться о результатах применения слепого метода.
Однако едва ли это объясняет, почему так много работ не упоминают этот метод. Люк Холман (Luke Holman), эволюционный биолог Австралийского национального университета, который также изучал этот вопрос, говорит, что у исследователей есть веский стимул заявлять, что они использовали слепой метод — их материалы в таком случае скорее будут положительно восприняты редакторами журналов и читателями.
Игнорирование слепого метода привело к некоторым тревожным тенденциям. Анализ исследований 2013 года о поведении муравьев обнаружил, что когда исследователи ожидали определенный результат и не могли оградить эксперимент от субъективности, видимо, их ожидания оказали влияние на данные. И хотя проблемы, созданные предвзятостью, не достаточно серьезны для аннулирования большинства исследований, Холмен отмечает, что это не всегда так:
«Необъективность наблюдателя может иметь огромное влияние, часто даже большее, чем реальная разница в показателях, — заявляет он. — Существуют очень убедительные доказательства, что другие методы исследования чаще выдают результаты, которые ожидали получить их авторы, в сравнении со слепым методом».
В течение долгого времени считалось, что игнорирование слепого метода может исказить итоги эксперимента. Исследователи изучали данную проблему, по крайней мере, с 1960-х годов. И, как сообщил Филип Болл (Philip Ball) в недавнем материале для журнала Nautilus, наука полна искажающих влияний, и субъективность наблюдателя является лишь одной из них. Но также он отмечает, что есть движение в сторону прозрачности. Повышенное внимание к слепому методу — одна из составляющих, которая позволит навести порядок в научном мире.
Как изменить ситуацию c применением слепого метода?
Многие исследователи говорят, что ответственность за решение этой проблемы возлагается на журналы. «При публикации в рецензируемом журнале должен быть стандарт: либо у вас есть данные слепого метода, либо обоснование, почему его нельзя было применить», — комментирует Кардиш.
Но редакторы журналов говорят, что только их силами эту проблему решить не так и легко. Мишель Скотт (Michelle Scott), исполнительный редактор Animal Behavior, соглашается, что исследования без применения слепого метода имеют серьезный потенциал к искажению результатов, тем не менее она не хочет потерять хорошие материалы из-за требования использовать слепой метод везде.
В заключение
Как оценивать результаты исследований, которые не применяли слепой метод? «С осторожностью», — говорит Холман. «Лично я считаю, что результаты многих работ могут быть под подозрением. Тем не менее, мы обычно сходимся на истине», — добавляет он.
Высоких вам конверсий!
По материалам: nautil.us
