Влияние обучения и командной работы на повышение точности прогнозов

Good Judgment Project отслеживал точность прогнозов участников в отношении экономических и геополитических событий. В контрольную группу вошли заинтересованные добровольцы, не проходившие какого бы то ни было обучения по поводу когнитивных искажений, подстерегающих прогнозистов. Ее участники показали примерно такой же уровень, как и большинство сотрудников первоклассных компаний (возможно, даже более высокий, поскольку они участвовали в состязании по своей инициативе и были настроены на борьбу). Вторая группа прошла тренинг, посвященный борьбе с когнитивными искажениями. Команды из подготовленных участников, которые обсуждали свои прогнозы – как правило, виртуально, – показали еще более высокие результаты. А элитная группа, которую составили из лучших прогнозистов по итогам нескольких раундов, оказалась в своих прогнозах почти вдвое точнее, чем участники, не проходившие обучения. Это открывает широчайшие возможности для компаний.

Также очень важно, чтобы команды, которые занимаются прогнозами, были интеллектуально разносторонними. По крайней мере один из ее участников должен быть специалистом в своей области (например, финансист в команде бюджетного прогнозирования), но при этом важно присутствие и неспециалистов, особенно тех, кто не стесняется оспаривать мнение предполагаемых экспертов. Не стоит недооценивать таких универсалов. В ходе конкурсов Good Judgment Project гражданские прогнозисты-непрофессионалы не раз одерживали победу над подготовленными аналитиками-разведчиками на их собственном поле.

Ретроспекция, диагноз и проспекция

Команда может прогнозировать одно событие (например, вероятность рецессии в США через два года) или серию событий (например, риск рецессии в течение каждого года в отдельных странах), но в любом случае для конечного успеха ей необходимо грамотно пройти через три этапа: этап ретроспекции, когда задача, предпосылки и подходы к поиску ответа изучаются под разными углами; этап диагноза, на котором еще возможны продуктивные разногласия; и этап проспекции, в ходе которого команда составляет свой прогноз. На каждом из этих этапов работа идет быстрее и успешней, если вопросы сосредоточены на проблеме и обеспечивается регулярная обратная связь.

Этапы ретроспекции и диагноза очень важны: если ими пренебречь или подойти к ним чересчур поверхностно, команда столкнется с эффектом туннельного зрения. В этом случае область поиска сужается, что довольно быстро приводит к неверному ответу и снижению качества прогноза. Можно это предотвратить, следуя соответствующим правилам, таким как нацеленность на сбор новой информации и проверка предположений, связанных с поставленной задачей. Кроме того, командам следует всячески избегать распространенной ошибки прогнозирования – так называемого эффекта якоря, при котором первоначальная (и, возможно, не самая обдуманная) оценка искажает дальнейшие суждения. Зачастую это происходит неосознанно, поскольку легкодоступные данные служат удобной отправной точкой (а эффект якоря могут создать даже случайные числа, использованные в первоначальной оценке).

Кто же эти суперпрогнозисты?

GOOD JUDGMENT PROJECT помог определить черты, присущие лучшим прогнозистам турнира Агентства передовых исследований в сфере разведки. Открытый турнир проходит на gjopen.com – присоединяйтесь и проверьте, обладаете ли вы нужными качествами.

Философский подход и мировоззрение

Осторожность: они понимают, что мало в чем можно быть полностью уверенным.

Скромность: они осознают границы своих возможностей.

Неверие в предопределенность: они не считают, что все происходящее заранее предрешено.

Способности и стиль мышления

Незашоренность: они воспринимают любое мнение как гипотезу, которую нужно проверить.

Любознательность: они обладают пытливым умом и любят решать интеллектуальные задачки.

Вдумчивость: они склонны к самоанализу и самокритике.

Способности к математике: они прекрасно умеют обращаться с цифрами.

Методы прогнозирования

Прагматичность: они не привязаны к каким бы то ни было идеям или системе взглядов.

Аналитика: они рассматривают другие мнения.

Синтез: они совмещают различные взгляды со своими собственными.

Сосредоточенность на вероятности: они рассматривают события не как закономерные и непредсказуемые, а как более и менее вероятные.

Осмысленность корректировок: они меняют свое мнение, когда того требуют новые факты.

Недоверие к интуиции: они знают о своих когнитивных искажениях и эмоциональных пристрастиях.

Трудовая дисциплина

Самосовершенствование: они стремятся стать лучше.

Настойчивость: они тратят на решение задачи столько времени, сколько необходимо.

Один из нас, Пол, провел эксперимент со студентами MBA Чикагского университета, в ходе которого было продемонстрировано, как разнообразные исследования на этапе ретроспекции определяют итоговый прогноз. В одном из заданий участники из контрольной группы должны были оценить, сколько золотых медалей США выиграют по сравнению с другой лидирующей страной на следующих летних Олимпийских играх, и указать диапазоны, в которых их уверенность составляет 90 %. Вторую группу попросили сначала обрисовать различные причины, по которым соотношение медалей может быть ниже или выше, чем в прошлые годы, а затем произвести оценку. Разумеется, эта группа вспомнила о террористических актах и бойкотах, а также рассмотрела другие факторы, которые могут повлиять на результат, – от болезней до более качественных тренировок и применения допинга. В результате такого разностороннего подхода диапазоны этой группы были значительно шире диапазонов контрольной группы, часто более чем в полтора раза. Как правило, более широкие диапазоны соответствуют более взвешенным прогнозам, а узкие диапазоны обычно указывают на излишне уверенные (и зачастую менее точные) прогнозы.

Доверие

Наконец, для достижения хороших результатов необходимо доверие внутри команды. Для групп прогнозирования, учитывая характер их работы, это имеет особое значение. Если команда предрекла, что новое приобретение будет успешным (неудачным), или невысоко оценила шансы на успешную продажу части бизнеса, эти выводы могут затрагивать проблемные области или угрожать чьему-нибудь самолюбию и репутации. Кроме того, может оказаться, что отдельные подразделения компании и, возможно, конкретные сотрудники не сильны в прогнозировании. Для того чтобы прогнозисты смело делились своими суждениями, они должны доверять друг другу и не сомневаться в поддержке со стороны руководства, зная, что они не потеряют ни рабочие места, ни репутацию. Мало что способно остудить энтузиазм быстрее, чем чувство незащищенности, когда выводы прогнозистов могут угрожать им же самим.

Отслеживайте результативность и давайте свои комментарии

Как показывает наша работа в рамках Good Judgment Project, а также сотрудничество с отдельными компаниями, для повышения точности прогнозирования крайне важно отслеживать результаты прогнозов и своевременно давать обратную связь. Вот, например, американские синоптики: как бы их ни критиковали, они демонстрируют отличные результаты. Если они говорят, что вероятность дождя составляет 30 %, то в предсказанные дни дождь идет в среднем примерно в 30 % случаев. Основная причина их успеха – в том, что они получают своевременную, постоянную и непротиворечивую обратную связь по поводу точности своих прогнозов, и это часто