Полиграф (детектор лжи) - насколько точен? Можно ли ему доверять?
СРАВНИТЕЛЬНЫЙ АНАЛИЗ ПОЛИГРАФА С ДРУГИМИ МЕТОДАМИ СКРИНИНГА И ДИАГНОСТИКИ
(A Comparative Analysis of Polygraph with other Screening and Diagnostic Tools)
Филип Крюсон (Philip E. Crewson)
Polygraph, 2003, 32(2), 57-85
(Исследование проведено в 2001 г. по заданию Института Полиграфа Министерства обороны США – DoDPI)
Резюме
Целью настоящего исследования являлось проведение анализа научных работ, опубликованных в период с января 1986 г. по май 2001 г. и посвященных оценке точности и надежности методов скрининга и диагностики, применяемых в медицине, психологии и при обследованиях с использованием полиграфа. Из 5189 публикаций было сначала отобрано 1158 статей, из которых, в свою очередь, только 145 было признано удовлетворяющими необходимым критериям научности. Анализ показал, что чувствительность (т.е. способность обнаруживать интересующий признак – прим.перевод.) скрининговых процедур в медицине, психологии и при обследованиях на полиграфе составляет 0.79, 0.74 и 0.59, соответственно. Специфичность (селективность, избирательность, т.е. способность фиксировать отсутствие интересующего признака - прим.перевод.) этих же скрининговых процедур составляет 0.94, 0.78 и 0.90, соответственно. При проведении целенаправленных диагностических обследований чувствительность полиграфных, медицинских и психологических методов в среднем равна 0.92, 0.83 и 0.72. Специфичность целенаправленных диагностических полиграфных, медицинских и психологических обследований составляет 0.83, 0.88 и 0.67, соответственно. В то же время отмечается огромный разброс в значениях точности и надежности (т.е. повторяемости результатов - прим.перевод.) не только для полиграфных, но и медицинских и психологических обследований. Хотя количество исследований скрининговых полиграфных процедур крайне незначительно, все же оценка их точности оказывается более низкой чем аналогичных методов в медицине и психологии.
Введение
Целью настоящего исследования являлась оценка точности и надежности скрининговых и диагностических процедур, используемых в медицине, психологии и при полиграфных обследованиях. Применяемые для этих целей критерии являются достаточно строгими и позволяют осуществлять сравнительную оценку эффективности различных методов. В то же время использование этих критериев часто приводит к разочарованию, поскольку реальные диагностические процедуры практически никогда не достигают 100-процентрой точности и надежности. Поэтому целью настоящего исследования являлось не стремление обнаружить идеальные методы диагностики, а оценить опубликованные в литературе данные о точности и надежности полиграфа в сравнении с эффективностью медицинских и психологических методов диагностики. Важно понимать, что сравнение эффективности методов из различных областей не дает ответа на вопрос о достаточности имеющейся точности и надежности обследований на полиграфе для того, чтобы использовать их в целях выявления лжи. Однако оно позволяет выяснить как использование полиграфа соотносится с другими диагностическими методами, которые считаются общепризнанными и не вызывают массовой общественной критики и неприятия.
Проведенный анализ публикаций фокусировал внимание на вопросах валидность (точности) обследований на полиграфе в сравнении с другими диагностическими процедурами, не имеющими отношения к детекции лжи. В области медицины в первую очередь рассматривались такие процедуры, как ультразвуковая диагностика, рентгеновские исследования, компьютерная и магниторезонансная томография. В психологии были выбраны Многофакторный минесотсткий личностный опросник (MMPI) и Руководство по статистике и диагностике психических заболеваний (DSM-III & IV). При этом важно отметить, что в отличие от медицинских и многих психологических обследований, где в большинстве случаев отсутствует личное взаимодействие исследователя и исследуемого лица, а сами процедуры исследования опосредованы узкофункциональной апаратурой или бланковыми методиками, в обследованиях на полиграфе непосредственное взаимодействие эксперта-полиграфолога и обследуемого лица имеет важное значение для получения точных и надежных результатов.
Метод
Для отбора публикаций, использованных при проведении сравнительного анализа, использовались архивы Института полиграфа министерства обороны США, а также информационный системы Национальной медицинской библиотеки и Американской психологической ассоциации. Рассматривались только исследования, выполненные в течение последних 15 лет, хотя в отдельных случаях использовались и более ранние работы. Детально анализировались только те публикации, в которых использовались количественные критерии оценки эффективности диагностических процедур. В тех случаях, когда использовались разные критерии, для проведения сравнительно анализа они преобразовывались к единому виду. В Таблице 1 перечислены критерии, которые присутствовали в анализировавшихся публикациях, а также критерии, использовавшиеся в настоящем исследовании.
Таблица 1
Перечень критериев использовавшихся и не
использовавшихся в данном исследовании
В настоящей работе основное внимание уделялось показателям чувствительности, специфичности и коэффициенту согласия Каппа. Чувствительность характеризует долю правильно выявленных заболеваний с помощью данного диагностического метода. При полиграфических обследованиях эквивалентом заболеваний является ложь. Чувствительность равная 1.0 означает, что данная диагностическая процедура правильно определяет заболевание в 100% случаев. Специфичность характеризует долю правильного определения случаев отсутствия заболеваний (доказательства искренности с помощью полиграфа) при использовании данного диагностического метода. Специфичность равная 1.0 означает, что данная диагностическая процедура в 100% случаев правильно определяет отсутствие искомого заболевания. Объединение чувствительности и специфичности в одном показателе дает оценку точности метода диагностики, например, по формуле Ликкена. Четвертый показатель – коэффициент Каппа, который отражает степень согласия между двумя экспертами, использующими один и тот же диагностический метод. Значение коэффициента Каппа равное 1.0 означает полное совпадение заключений экспертов, а значение равное 0.0 – полное отсутствие согласия между ними. Теоретически возможно значение коэффициента Каппа равное –1.0 (абсолютно противоположные выводы экспертов по всем случаям диагностики), однако в данном исследовании оно не встречалось.
В процессе анализа все ситуации диагностики разделались на лабораторные (или аналоговые) и полевые (то есть, выполненные в условиях реальной жизни), а также на скрининговые и конкретные диагностические. К скрининговым относились обследования больших групп людей, направленные на выявление интересующего признака (заболевания, лжи) в условиях, когда его наличие у конкретных людей исходно не было очевидным. Например, скрининговая маммография используется как рутинная процедура для обнаружения у женщин заболеваний молочной железы на ранних стадиях. В свою очередь, конкретно диагностическая процедура применяется для выявления заболевания в тех случаях, когда у обследуемого лица уже имеются определенные признаки. Так о диагностической маммографии мы говорим, когда у женщины, например, появилось уплотнение в области молочной железы. Применительно к полиграфу понятия скрининговых обследований в отношении одной или нескольких интересующих тем и целенаправленных (диагностических) расследований конкретных фактов (преступлений) ясны без дополнительных комментариев.
Анализировались только те исследования, в которых использовались общепринятые процедуры диагностики. Не рассматривались различного рода предварительные исследования и работы, не содержавшие достаточной информации для проведения сравнений, а также исследования, в которых для диагностики одновременно использовалось несколько дополняющих друг друга процедур. Анализировавшиеся медицинские исследования в основном относились к области радиологии и, в частности, не включали кардиологию. В случае обследований с использованием полиграфа при оценке точности не учитывалась часто используемая на практике зона неопределенности результатов (inconclusive), поскольку в медицине и психологии эта диагностическая категория используется очень редко.
Данные о точности и степени согласия экспертов были сведены в специальную таблицу в формате Excel, с помощью которой они сортировались, обобщались, усреднялись и сравнивались между собой. Вычислялись медианы, минимальные и максимальные значения параметров точности для скрининговых и диагностических процедур. Никакой другой статистический анализ полученных материалов не был рекомендован и не проводился.
Слабые стороны исследования
Прежде, чем продолжать изложение, необходимо отметить несколько слабых сторон настоящего сравнительного анализа как с точки зрения его построения, так и возможного приложения его результатов. Данное исследование охватывает только 15-ти летний период и весьма ограниченное число диагностических процедур. Поэтому наибольшую озабоченность вызывает проблема обобщения его результатов на медицину, психологию и прикладную психофизиологию в целом. Кроме того, знакомясь с результатами данного анализа, необходимо иметь в виду следующие моменты.
1. Это не систематический и всесторонний анализ публикаций в области медицины, психологии и прикладной психофизиологии. Отбор источников осуществлялся по определенным критериям и только применительно к задаче оценки точности и надежности известных диагностических процедур.
2. Приводимые статистические данные относятся только к тем методам, которые подвергались анализу, и не должны интерполироваться на другие диагностические процедуры. В работе использовались только самые простые статистики, отражавшие тенденцию центрирования данных, имеющихся в анализируемой литературе, и их разброс. Эти оценки не должны использоваться как характеристики точности конкретных методов диагностики. Для получения более качественных результатов было бы необходимо провести более глубокую статистическую обработку, например, с использованием таких аналитических методов, как мета-анализ, весовое ранжирование, исключение крайних значений и т.д. Все это предполагает огромную вычислительную работу, которая выходит за рамки данного исследования.
3. В настоящей работе также не проводился глубокий анализ качества исследований, результаты которых использовались для пополнения основного банка данных.
Наконец, важно понимать, что рассматриваемые конкретные медицинские, психологические и психофизиологические процедуры на самом деле не являются вполне сравнимыми с точки зрения их технологии, применения, качественного и количественного состава обследуемых лиц.
Результаты
Результаты проведенного анализа научных публикаций для удобства изложены в нескольких разделах. После описания собственно процедуры поиска интересующих источников приводятся общие данные о точности и надежности скрининговых и диагностических методов. После этого описываются результаты ранжирования точности медицинских, психологических и психофизиологических методов. Наконец, последний раздел посвящен проблеме согласия оценок экспертов.
Поиск источников
Отбор публикаций по вопросам использования полиграфа проводился в апреле 2001 г. с помощью базы данных Национальной ассоциации консультантов по полиграфу. Исходно было отобрано 152 статьи, из которых первичному анализу подверглись 42 работы, в свою очередь, из которых было взято для последующего анализа только 16 статей, обобщавших результаты 51 исследования (см. таблицу 2). Отбор медицинских источников осуществлялся с помощью информационной системы PubMed. Первоначально система выдала несколько десятков тысяч ссылок, поэтому поиск был сужен только по определенной группе диагностических методов, таких как маммография, рентгенография, компьютерная и магниторезонансная томография. В итоге было отобрано для первичного изучения 933 статьи, из которых для анализа было использовано 90 работ, описывавших результаты 90 исследований точности и надежности. Поиск публикаций по психологии с использованием информационной системы PsychInfo Direct предоставил вначале 3975 источников, из них было просмотрено 183 статью и в итоге для анализа было взято 39 публикаций, описывающих 57 исследований.
Таблица 2
Результаты поиска источников
Хотя аналоговые (лабораторные) исследования с использованием полиграфа являются очень распространенными в прикладной психофизиологии, ни одной подобной работы не было найдено в психологической литературе и было обнаружено только две публикации по медицине. Поэтому большинство сравнений проводилось в отношении результатов так называемых полевых исследований с использованием полиграфа, то есть проводимых в реальных условиях. В таблицах они выделены жирным шрифтом. Кроме того, в таблицах приведены результаты аналоговых исследований точности полиграфных методов и совместные обобщенные данные для аналоговых и полевых исследований.
Полный перечень данных, использованных для проведения сравнительного анализа, приведен в Приложении к настоящей статье.
Точность скрининговых методов
В Таблице 3 приведены результаты оценки точности скрининговых исследований. В отношении полиграфа было найдено только 5 исследований – 3 аналоговых и 2 полевых. Точность метода в лабораторных условиях была выше (0.76), чем в реальных полевых условиях (0.59). Специфичность аналогового (лабораторного) скрининга с использованием полиграфа, наоборот, была меньше (0.82), чем полевого (0.90). Десять медицинских исследований в среднем показали большую чувствительность (0.79) и специфичность (0.94), чем обследования на полиграфе. Психологический скрининг характеризуется большей чувствительностью (0.74), чем психофизиологический (полиграфный) скрининг, но меньшей специфичностью (0.78).
В целом усредненная точность скрининговых обследований с использованием полиграфа (0.74) совпадает с точностью психологических скринингов (0.76), но оказывается ниже точности медицинских диагностических методов. Диапазоны колебаний значений точности в разных исследованиях сильно различаются: от 0,69 до 0.80 для полиграфа, от 0.76 до 0.99 для медицины и от 0.42 до 0.98 для психологии.
Таблица 3
Точность процедуры скрининга в медицине, психологии и при
обследованиях с использованием полиграфа
Точность конкретной диагностики
Результаты 37 полевых исследований применения полиграфа, 94 медицинских и 51 психологического исследования приведены в Таблице 4. В среднем чувствительность и специфичность обследований с использованием полиграфа в полевых условиях выше, чем в лаборатории. Средняя чувствительность медицинской (0.83) и психологической (0.72) диагностики ниже, чем при обследованиях на полиграфе (0.92). Специфичность диагностики с помощью полиграфа в полевых условиях (0.83) выше, чем в случае психологических обследованиий (0.67), но хуже, чем при медицинских исследованиях (0.88). В целом общая суммарная точность обследований на полиграфе (0.88) и медицинской диагностики (0.86) почти одинаковы. Разброс значений точности, полученных в разных исследованиях, также очень близок в случае полиграфной (от0.64 до 1.0), медицинской (0.6 до 1.0) и психологической (от 0.5 до 0.93) диагностики.
Таблица 4
Точность конкретной диагностики в медицине, психологии и при
обследованиях с использованием полиграфа
В Таблице 5 приведена точность скрининга и конкретной диагностики нескольких исследовавшихся диагностических процедур. Список методов отранжирован по степени убывания их общей точности. Наибольшей точностью (0,96) обладает определение острого аппендицита с помощью компьютерной томографии. Исследования показывают, что чувствительность этого метода составляет 0,95, а специфичность – 0,98, В то же время диагностика депрессий с помощью психологической методики MMPI характеризуется наименьшей общей точностью (0.67). Точность обследований на полиграфе в полевых условиях равна 0.88 и близка точности диагностики дефектов каротидной артерии (0,91), острого аппендицита (0,91) и рака груди (0,90). Точность скрининга с использованием полиграфа (0,74), к сожалению, оказалась в ряду наименьших.
Таблица 5
Общая точность (в порядке убывания) обнаружения
различных диагностируемых признаков
Точность конкретных методов диагностики
В Таблице 6 отранжированы различные методы диагностики в зависимости от их точности в порядке убывания. Оказалось, что общая точность конкретных обследований с использованием полиграфа в полевых условиях является наивысшей (0,88), хотя и близкой к общей диагностической точности магниторезонансной (ЯМР) и компьютерной томографии, а также ультразвуковой диагностики (УЗИ). Широко распространенный метод психологической диагностики MMPI имеет наихудшую точность при скрининговых (0,61) и целенаправленных (0,67) обследованиях и, соответственно, самую низкую общую точность.
Таблица 6
Общая точность (в порядке убывания) некоторых
медицинских и психологических процедур
Согласие между экспертами
Согласие между экспертами измеряется как процент случаев, когда их заключения полностью совпадают, или с помощью специального коэффициента Каппа, отражающего степень согласия между двумя экспертами на уровне выше случайного совпадения. Хотя оба эти показателя являются достаточно простыми, они не часто встречаются в научной литературе. Например, всего только в одной публикации по психологии проводилась оценка степени согласия экспертов между собой. Все исследования проблемы согласия экспертов, приведенные в Таблице 7, выполнены в полевых условиях. Только в трех исследованиях изучалась степень согласия между экспертами в условиях скрининга, и все три относятся к обследованиям с использованием полиграфа. Не было обнаружено ни одного лабораторного исследования этого вопроса. Результаты восьми исследований использования полиграфа показали в среднем согласие экспертов-полиграфологов в 91%, что несколько превышает уровень согласия врачей (81%), оцененный по пяти исследованиям. Использование коэффициента Каппа можно было обнаружить во всех трех рассматриваемых дисциплинах. Оказалось, что у психологов этот коэффициент составляет 0.79, у специалистов-полиграфологов 0.77, а у врачей всего 0.56.
Важно подчеркнуть, что коэффициент Каппа отражает степень согласия с учетом возможных случайных совпадений. Это означает, что данный коэффициент зависит как от совпадения заключений экспертов, так и от распределения диагностируемых случаев в исследовании. Два исследования с совершенно одинаковым процентом совпадений выводов экспертов могут иметь значительно различающиеся величины коэффициента Каппа. Если распределения диагностируемых признаков в исследовании различны (например, разные пропорции испытуемых с диагностируемым признаком по отношению к общему количеству обследуемых лиц). По этой причине очень трудно сравнивать коэффициенты Каппа для разных исследований как внутри одной дисциплины, так и между разными областями диагностики.
Таблица 7
Данные о согласии между экспертами-полиграфологами,
врачами и психологами
Выводы
Целью настоящего исследования являлся сравнительный анализ научных публикаций по вопросу точности и надежности скрининговых и диагностических процедур в сфере применения полиграфа, медицины и психологии. Из 5189 публикаций было сначала отобрано 1158 статей, из которых, в свою очередь, только 145 было признано удовлетворяющими необходимым критериям научности. Эти 145 публикаций освещали 198 исследований. Проведенный анализ показал, что огромный разброс в оценке точности и надежности диагностических процедур характерен не только для прикладной психофизиологии, прежде всего, обследований с использованием полиграфа, но и для медицины (в частности, для диагностической радиологии) и психологии. В целом использование полиграфа для расследования конкретных преступлений и других событий характеризуется примерно такой же точностью, как медицинская диагностика. В противоположность этому скрининговые обследования с помощью полиграфа обладают меньшей точностью, чем медицинские скрининговые процедуры, и сходны по этому критерию с методами психологического тестирования.
Для того чтобы оценить перспективы использования полученных результатов, необходимо рассмотреть несколько методологических аспектов, выделенных два десятилетия назад в аналитическом обзоре, подготовленном Бюро Оценок Технологий (БОТ) (Office of Technology Assessment – OTA) при Правительстве США и названном "Научное подтверждение валидности обследований с использованием полиграфа". В частности, в разделе "Выводы" указывалось:
- точность заключений, получаемых по результатам обследований с использованием полиграфа, зависит от таких факторов, как уровень подготовки специалиста-полиграфолога, его опыта, личностных данных, а также психофизиологических особенностей обследуемых лиц;
- в исследованиях оценки точности авторы часто отбирают материал не по принципу случайного выбора, а селективно, что может искажать истинную картину;
- в ряде исследований точности критерии оценки достоверности результатов не всегда адекватны;
- отмечается большой разброс результатов, получаемых в различных исследованиях.
Проведенный анализ научных публикаций показал, что те же самые методологические недостатки характерны и для исследований точности в медицине и психологии. Очень часто критики полиграфа правильно выделяют характерные для него проблемы, однако либо обычно преувеличивают их, либо забывают упомянуть, что эти же самые проблемы являются типичными для всех научных областей, изучающих разные аспекты человека, в частности, для медицины и психологии.
В Таблице 8 проведено сравнение точности обследований с использованием полиграфа в полевых условиях, выявленной в процессе настоящего анализа научной литературы и опубликованной ранее в отчете БОТ в 1983 году. Поскольку исследование БОТ принимало во внимание неопределенные заключения (inconclusive) экспертов, а в настоящем анализе они не рассматривались, не удивительно, что он в целом показал более высокий уровень точности обследований с использованием полиграфа.
Таблица 8
Результаты оценки точности, полученные БОТ, в сравнения с
результатами настоящего исследования
Приведенные в Таблице 9 данные согласуются с выводом БОТ о том, что использование полиграфа в полевых условиях при проведении конкретных расследований обладает определенной валидностью. Того же самого, к сожалению, пока нельзя сказать в отношении использования полиграфа в скрининговых обследованиях. Если сравнивать их с медицинским или психологическим скринингом, то картина получается следующая. Наибольшей общей точностью характеризуется медицинский скрининг (0,86), на втором месте оказывается скрининг с использованием полиграфа (0,79), и совсем рядом с ним оказывается психологический скрининг (0,74).
Приложение
(Содержит полный перечень проанализированных публикаций с указанием конкретных значений точности и надежности, описанных в них методов)
Комментарий переводчика
Конечно, приятно узнать, что по критериям точности и надежности заключений обследования с использованием полиграфа оказываются не хуже методов медицинской и психологической диагностики. Это вселяет уверенность и оптимизм. Однако необходимо обратить внимание на большой разброс показателей точности и надежности, выявленный в разных исследованиях. Это означает, что в одних ситуациях полиграфолог получает практически достоверные результаты, а в других работает на уровне, лишь незначительно отличающемся от случайного угадывания. Факторы, являющиеся причинами разброса точности и надежности обследований с использованием полиграфа, весьма многочисленны и частично обозначены в переведенной статье. В связи с сравнительным характером обсуждаемого исследования хотелось бы обратить внимание лишь на один их, а именно, на качество подготовки и профессионализм специалистов-полиграфологов. Для того чтобы иметь право ставить медицинские диагнозы будущий врач учится 8 лет (включая интернатуру) в медицинском институте и получает диплом врача с указанием конкретной специализации. Для того чтобы получить право работать профессиональным психологом человек учится 5 лет и получает диплом психолога. А сколько времени и где учат профессии полиграфолога? Каким документом может быть подтверждена его профессиональная квалификация и достаточное ли доверие этому документу? К сожалению, эти и подобные им вопросы не имеют однозначных ответов. Это, в принципе, нормальная ситуация для вновь возникшей и развивающейся области знания. Однако если эта новая область действительно хочет занять достойное место и закрепиться в обществе, она, прежде всего, должна позаботиться о создании качественной школы подготовки профессионалов. В этой связи можно только поприветствовать инициативу группы известных российских специалистов в области использования полиграфа, которые решили объединить усилия и учредить "Национальную школу детекции лжи" – негосударственное учебное заведение с очень высокими стандартами подготовки. Более подробно об этой школе можно будет вскоре узнать в соответствующем разделе настоящего сайта.
А. Пеленицын