Независимо от того, сколько информации согласуется с той или иной гипотезой, доказать ее истинность невозможно, потому что та же самая информация может соответствовать одной или нескольким другим гипотезам. С другой стороны, одно доказательство, не согласующееся с гипотезой, может стать достаточным основанием для ее отклонения. Это подробно обсуждалось в главе 4, "Стратегии аналитического суждения".

У людей есть естественная тенденция концентрироваться на подтверждении гипотез, которые они уже считают истинными, и они обычно придают большее значение информации, подтверждающей гипотезу, чем информации, ослабляющей ее. Это неправильно; мы должны поступать как раз наоборот. Шаг 5 снова требует делать противоположное тому, что естественно.

Изучая матрицу, обратите внимание на минусы, или любые другие обозначения, которые вы использовали для обозначения доказательств, не соответствующих гипотезе. Гипотеза с наименьшим количеством минусов, вероятно, является наиболее вероятной. Гипотеза с наибольшим количеством минусов, вероятно, является наименее вероятной. Тот факт, что гипотеза не согласуется с доказательствами, является веским основанием для ее отклонения. Плюсы, указывающие на свидетельства, которые согласуются с гипотезой, гораздо менее значимы. Из этого не следует, что гипотеза с наибольшим количеством плюсов является наиболее вероятной, поскольку можно легко составить длинный список доказательств, согласующихся практически с любой обоснованной гипотезой. Что трудно найти, и что наиболее значимо, когда найдено, так это убедительные доказательства, которые явно не согласуются с разумной гипотезой.

Однако это первоначальное ранжирование по количеству минусов является лишь приблизительным, поскольку некоторые доказательства, очевидно, важнее других, а степень противоречивости не может быть отражена одним обозначением, таким как плюс или минус. Пересмотрев точный характер связи между доказательствами и гипотезами, вы сможете определить, какой вес им следует придать.

Аналитики, которые следуют этой процедуре, часто понимают, что их суждения на самом деле основаны на очень небольшом количестве факторов, а не на большой массе информации, которая, как они думали, влияла на их взгляды. В главе 5, "Действительно ли вам нужно больше информации?", приводится тот же аргумент, основанный на экспериментальных данных.

Матрица не должна диктовать вам выводы. Скорее, она должна точно отражать ваши суждения о том, что важно и как эти важные факторы связаны с вероятностью каждой гипотезы. Решение должны принимать вы, а не матрица. Матрица служит лишь помощником в размышлениях и анализе, обеспечивая рассмотрение всех возможных взаимосвязей между доказательствами и гипотезами и выявление тех немногих элементов, которые действительно влияют на ваше суждение по данному вопросу.

Когда матрица показывает, что та или иная гипотеза вероятна или маловероятна, вы можете с ней не согласиться. Если это так, то это потому, что вы упустили из матрицы один или несколько факторов, которые оказывают важное влияние на ваше мышление. Вернитесь и внесите их, чтобы анализ отражал ваши лучшие суждения. Если выполнение этой процедуры заставило вас задуматься о том, что в противном случае вы могли бы упустить из виду, или заставило вас пересмотреть свою прежнюю оценку относительных вероятностей гипотез, значит, процедура была полезной. Когда вы закончите работу, матрица послужит кратким отчетом о ваших размышлениях и аудиторским следом, показывающим, как вы пришли к своему заключению.

Эта процедура заставляет вас тратить больше аналитического времени, чем в противном случае, на то, что вы считали менее вероятными гипотезами. Это желательно. Кажущиеся менее вероятными гипотезы, как правило, требуют расчистки новой почвы и, следовательно, требуют большей работы. То, что в начале вы считали наиболее вероятной гипотезой, как правило, основывается на продолжении ваших собственных размышлений. Главное преимущество анализа конкурирующих гипотез заключается в том, что он заставляет вас дать более справедливую оценку всем альтернативам.

Шаг 6

Проанализируйте, насколько чувствительны ваши выводы к нескольким важнейшим доказательствам. Подумайте о последствиях для вашего анализа, если эти доказательства окажутся неверными, вводящими в заблуждение или подлежащими иной интерпретации.

На этапе 3 вы определили доказательства и аргументы, которые были наиболее диагностичными, а на этапе 5 использовали эти выводы для предварительных суждений о гипотезах. Теперь вернитесь назад и задайтесь вопросом о тех нескольких основных предположениях или доказательствах, которые действительно определяют результат вашего анализа в ту или иную сторону. Есть ли сомнительные предположения, которые лежат в основе вашего понимания и интерпретации? Существуют ли альтернативные объяснения или интерпретации? Может ли доказательство быть неполным и, следовательно, вводить в заблуждение?

Если вас беспокоит вопрос об отрицании и обмане, это подходящее место для рассмотрения такой возможности. Посмотрите на источники ваших ключевых доказательств. Известны ли эти источники властям иностранного государства? Могла ли информация быть подделана? Поставьте себя на место иностранного специалиста по планированию обмана, чтобы оценить мотивы, возможности, средства, затраты и выгоды обмана применительно к иностранному государству.

Когда анализ оказывается неверным, это часто связано с ключевыми предположениями, которые остались неоспоренными и оказались несостоятельными. Это трюизм, что аналитики должны выявлять и подвергать сомнению предположения, но это гораздо легче сказать, чем сделать. Проблема заключается в том, чтобы определить, какие предположения заслуживают сомнений. Одно из преимуществ процедуры ACH заключается в том, что она подсказывает, что нужно перепроверить.

На этапе 6 вы можете решить, что для проверки ключевых суждений необходимо провести дополнительное исследование. Например, может быть целесообразно вернуться к проверке первоисточников, а не полагаться на чужую интерпретацию. При написании отчета желательно указать критические допущения, которые были положены в основу вашей интерпретации, и отметить, что ваши выводы зависят от обоснованности этих допущений.

Шаг 7

Сообщите о выводах. Обсудите относительную вероятность всех гипотез, а не только наиболее вероятной.

Если ваш отчет будет использоваться в качестве основы для принятия решений, ему будет полезно знать относительную вероятность всех альтернативных возможностей. Аналитические суждения никогда не бывают однозначными. Всегда существует большая вероятность того, что они ошибочны. Лицам, принимающим решения, необходимо принимать решения на основе полного набора альтернативных возможностей, а не только одна наиболее вероятная альтернатива. На случай, если одна из менее вероятных альтернатив окажется верной, могут потребоваться запасные планы.

Если вы говорите, что определенная гипотеза, скорее всего, верна, это может означать от 55 до 85 процентов вероятности того, что будущие события подтвердят ее правильность. Это оставляет от 15 до 45 процентов вероятности того, что решение, основанное на ваших суждениях, будет основано на ошибочных предположениях и окажется неверным. Можете ли вы уточнить, насколько вы уверены в своих суждениях? В главе 12, "Ошибки при оценке вероятностей", обсуждается разница между такими суждениями "субъективной вероятности" и статистическими вероятностями, основанными на данных об относительных частотах.

Если осознать важность исключения, а не подтверждения