В качестве противоядия от этой проблемы аналитики должны четко определить те релевантные переменные, по которым отсутствует информация, рассмотреть альтернативные гипотезы относительно состояния этих переменных, а затем соответствующим образом изменить свои суждения и особенно уверенность в своих суждениях. Они также должны рассмотреть вопрос о том, является ли отсутствие информации нормальным или само по себе является показателем необычной активности или бездеятельности.

Чрезмерная чувствительность к последовательности

Внутренняя согласованность доказательств помогает определить нашу уверенность в суждениях, основанных на этих доказательствах.98 С одной стороны, согласованность, безусловно, является подходящим руководством для оценки доказательств.

Люди формулируют альтернативные объяснения или оценки и выбирают то, которое охватывает наибольшее количество доказательств в рамках логически непротиворечивого сценария. Однако при некоторых обстоятельствах последовательность может быть обманчивой. Информация может быть последовательной только потому, что она сильно связана или избыточна, и в этом случае многие связанные отчеты могут быть не более информативными, чем один отчет. Или же информация может быть непротиворечивой только потому, что она взята из очень маленькой или необъективной выборки.

Такие проблемы чаще всего возникают при анализе разведданных, когда у аналитиков мало информации, например, о политических взглядах российских офицеров или некоторых африканских этнических групп. Если имеющиеся данные непротиворечивы, аналитики часто не обращают внимания на то, что они представляют собой очень маленькую и, следовательно, ненадежную выборку из большой и неоднородной группы. Это не просто вопрос необходимости работать с имеющейся информацией, какой бы несовершенной она ни была. Скорее, существует иллюзия достоверности, вызванная постоянством информации.

Тенденцию слишком полагаться на небольшие выборки окрестили "законом малых чисел". Это пародия на закон больших чисел - основной статистический принцип, согласно которому очень большие выборки будут в высшей степени репрезентативны для той популяции, из которой они взяты. Именно этот принцип лежит в основе опросов общественного мнения, но большинство людей не являются хорошими интуитивными статистиками. Люди не очень хорошо чувствуют, насколько большой должна быть выборка, чтобы на ее основе можно было делать обоснованные выводы. Так называемый закон малых чисел означает, что интуитивно мы совершаем ошибку, рассматривая малые выборки так, как если бы они были большими.

Оказалось, что это справедливо даже для математических психологов, имеющих обширную подготовку в области статистики. Психологи, проводящие эксперименты, имеют крайне неверные представления о количестве ошибок и нереалистичности, присущих небольшим выборкам данных, необоснованно доверяют ранним тенденциям, полученным на основе первых нескольких точек данных, и неоправданно высоко оценивают возможность повторить тот же самый эксперимент и получить те же самые результаты с другим набором испытуемых.

Не слишком ли самоуверенно аналитики разведки делают выводы на основе очень небольшого количества данных - особенно если эти данные кажутся согласованными? При работе с небольшим, но последовательным массивом доказательств аналитикам необходимо учитывать, насколько эти доказательства репрезентативны по отношению к общему массиву

доступной информации. Если бы было доступно больше информации, насколько вероятно, что и она будет соответствовать уже имеющимся данным? Если аналитик располагает лишь небольшим количеством доказательств и не может определить, насколько они репрезентативны, доверие к суждениям, основанным на этих доказательствах, должно быть низким, независимо от согласованности информации.

Работа со свидетельствами неопределенной точности

Существует множество причин, по которым информация часто оказывается не совсем точной: недопонимание, неправильное восприятие или наличие только части информации; предвзятость конечного источника; искажение в цепочке передачи информации от субисточника через источник, сотрудника по делу, сотрудника по отчетам к аналитику; или недопонимание и неправильное восприятие аналитиком. Кроме того, большая часть доказательств, которые аналитики используют при проведении анализа, извлекается из памяти, но аналитики часто не могут вспомнить даже источник информации, которая хранится у них в памяти, не говоря уже о степени уверенности в точности этой информации, когда она была впервые получена.

Человеческий разум с трудом справляется со сложными вероятностными зависимостями, поэтому люди склонны использовать простые правила, которые уменьшают бремя обработки такой информации. При обработке информации с неопределенной точностью или надежностью аналитики склонны принимать простое решение "да" или "нет". Если они отвергают доказательства, то, как правило, отвергают их полностью, так что они не играют никакой роли в их мысленных расчетах. Если они принимают доказательство, то, как правило, принимают его полностью, игнорируя вероятностную природу суждения о точности или надежности. Это называется стратегией "наилучшего предположения". Такая стратегия упрощает интеграцию вероятностной информации, но за счет игнорирования части неопределенности. Если у аналитиков есть информация, в которой они уверены на 70 или 80 процентов, но они относятся к ней так, как будто уверены на 100 процентов, то суждения, основанные на этой информации, будут излишне самоуверенными.

Затем уменьшите уверенность в этом суждении на коэффициент, определяемый оценкой достоверности информации. Например, имеющиеся данные могут указывать на то, что событие, вероятно, произойдет (75 %), но аналитик не может быть уверен, что данные, на которых основано это суждение, полностью точны или надежны. Поэтому аналитик снижает оценочную вероятность события (скажем, до 60 %), чтобы учесть неопределенность в отношении доказательств. Это является улучшением по сравнению со стратегией наилучшей догадки, но, как правило, все равно приводит к излишней самоуверенности суждений по сравнению с математической формулой расчета вероятностей.

Говоря математическим языком, совместная вероятность двух событий равна произведению их индивидуальных вероятностей. Представьте себе ситуацию, в которой вы получаете сообщение о событии X, которое, вероятно (75 процентов), является правдой. Если сообщение о событии X верно, вы считаете, что событие Y, вероятно (75 процентов), произойдет. Фактическая вероятность Y составляет всего 56 процентов, которая получается путем умножения 75 процентов на 75 процентов.

На практике все оказывается не так просто. Аналитикам приходится рассматривать множество доказательств с разной степенью точности и надежности, которые сложным образом и с разной степенью вероятности связаны с несколькими потенциальными исходами. Очевидно, что невозможно произвести аккуратные математические расчеты, учитывающие все эти вероятностные взаимосвязи. Вынося интуитивные суждения, мы бессознательно ищем кратчайшие пути, чтобы разобраться в этом лабиринте, и эти кратчайшие пути подразумевают определенную степень игнорирования неопределенности, присущей менее чем идеально надежной информации. Кажется, что аналитик мало что может с этим поделать, если только не разбить аналитическую проблему на части, что позволит назначить вероятности для отдельных элементов информации, а затем использовать математическую формулу для интеграции этих отдельных вероятностных суждений.

Те же процессы могут влиять на нашу реакцию на информацию, которая правдоподобна, но с самого начала известно, что ее подлинность сомнительна. По каналам разведки часто передаются якобы частные заявления иностранных чиновников. Во многих случаях неясно, является