Цитируемый пост с сайта Lifehacker, помимо прочего, демонстрирует, что существует серьезная проблема с тем, как сейчас проводятся исследования, какие выводы из них делаются и какие рекомендации по самопомощи дают на основе этих исследований. В качестве примера вспомним недавнее псевдонаучное исследование, на основе которого сделали вывод, что употребление шоколада ускоряет процесс потери веса. В исследовании участвовали реальные испытуемые (только пятнадцать человек), применялись стандартные методы (с большой вероятностью получения ошибочно-позитивных результатов) и были получены статистически значимые результаты (правда, достигаемый эффект был мизерным). Отчет об исследовании был опубликован в престижном журнале, где в качестве рецензентов выступали видные ученые (по утверждению издателя)[131]. Объективно говоря, это было слабое исследование, не достойное какого бы то ни было внимания, но многие новостные сайты преподнесли выводы исследования как научный факт, что явно показывает, что они не позаботились о научной строгости и перед публикацией не провели журналистскую экспертизу на предмет соответствия информации реальности.

Чтобы оценить масштаб проблемы, была предпринята попытка повторить хорошо известные, ставшие классикой исследования в рамках проекта с говорящим названием «Проект воспроизводимости». В рамках проекта около трехсот ученых воспроизвели сто исследований согласно отчетам, которые до этого были опубликованы лучшими журналами по психологии. Всего тридцать пять исследований из ста дали те же результаты, что и оригинальные исследования. Существует еще один метод проверки результатов – выведение так называемого «индекса реплицируемости». В основе подхода лежит метаанализ, то есть объединение результатов нескольких исследований методами статистики, что позволяет выявить те из них, которые являются ложными. В частности, метаанализ показал несостоятельность нашумевшей теории мотивации Роя Баумейстера об истощении эго, хотя сам Баумейстер по-прежнему убежден, что его методы и выводы относительно уровня сахара в крови правильны[132].

Инициаторы проверок старых исследований считают, что ранее ученые «допускали вольности», чтобы показать статистически значимые результаты. В науке говорят о p-значении, то есть о наименьшей величине уровня значимости, ниже которой велика вероятность того, что результаты получены случайно. Типичный верхний порог значимости – 5 %. Однако p-значение можно применять только в контексте проверки одной гипотезы, а не при попытке вывести результат, имея много переменных. Например, в исследовании о влиянии шоколада на снижение веса, у пятнадцати человек делали замеры по восемнадцати параметрам: уровень белка в крови, холестерин, качество сна, вес, самочувствие и т. д. Анализ показателей по восемнадцати параметрам дает 60-процентную вероятность найти что-то, а это значительно выше уровня в 5 %. При этом исследователи могут непреднамеренно обманывать себя или преднамеренно обманывать других ученых, учитывая только те параметры, которые отвечают заранее выбранной гипотезе. Такую практику вполне обоснованно называют «взлом p-значения» или «p-хакинг».

Проблема p-хакинга усугубляется тем, что журналы публикуют отчеты только о тех исследованиях, результаты которых кажутся свежими и оригинальными. На каждое такое «открытие» типа «шоколад ускоряет потерю веса» приходится множество исследований, доказывающих обратное, но отчеты о них не публикуются. Такая предвзятость научных журналов искажает наше понимание мира и способствует появлению необоснованных советов по самопомощи.

Противостоять этой тенденции можно, если ввести практику регистрации гипотез и методов сбора данных до начала любого исследования. Это ограничит свободу исследователей при интерпретации анализа. Кроме того, следует публиковать даже отрицательные результаты, чтобы избежать предвзятости в публикациях.

Пока не введут эти новые нормы, ученые останутся в двусмысленном положении, особенно когда дают советы широкому кругу читателей. Например, авторов вышеупомянутых книг «Переосмысление позитивного мышления: изнутри новой науки о мотивации» и «Твердость характера. Сила страсти и настойчивости» критиковали за то, что они опубликовали ничем не подтвержденные «околонаучные» заявления в расчете увеличить число читателей, интересующихся вопросами саморазвития и самопомощи[133].

Бывали случаи, когда разные подходы к методологии проведения и интерпретации результатов исследования приводили к расколу даже между соавторами. Одним из самых популярных выступлений на платформе TED за всю историю стала презентация «Язык тела формирует вашу личность» (Your Body Language Shapes Who You Are). Профессор Гарвардской школы бизнеса Эми Кадди рассказывала об исследовании, которая она проводила совместно с еще двумя учеными. В начале выступления Эми Кадди рассказывает о «лайфхаке, который не требует затрат или использования технологий. Все, что вам нужно, просто в течение двух минут держать тело в определенном положении». Кадди и ее соавторы Дана Карни и Энди Яп открыли «силу поз». Они утверждали, что, когда человек в течение двух минут удерживает себя в позе, выражающей уверенность, это реально повышает его ощущение уверенности в себе, готовность пойти на риск, уровень тестостерона, снижает уровень кортизола и улучшает восприятие в «стрессовых оценочных ситуациях», например, во время собеседования для получения новой работы. Это показывает, что «наши тела меняют наше сознание, наше сознание меняет наше поведение, а наше поведение меняет результат». Суть этого «лайфхака без технологий» – не просто «притворяться пока не добьешься результата, а притворяться пока не станешь тем, кем притворялся». В своем выступлении Эми Кадди просила аудиторию рассказать об открытии всем, особенно, людям, имеющим меньше ресурсов, власти и привилегий, «потому что это может значительно изменить их жизненные результаты»[134].