ОПРОС ЭКСПЕРТНЫЙ
Опрос экспертный
от лат. expertus–опытный)–опрос экспертов компетентных, хорошо информированных в к.-л. области лиц. Данный вид опроса, напр., применяется для повышения валидности прикладного социологического исследования (см. Исследование социологическое прикладное).
Опрос экспертный
метод получения первичной социологической информации путем опроса экспертов высококвалифицированных специалистов по исследуемой проблеме. О. э. является эффективным, а иногда единственным методом решения широкого круга не полностью формализуемых задач в различных областях общественной жизни, в первую очередь в сфере наук о человеке. В итоге О. э. получают экспертные оценки (в виде советов, мнений, рекомендаций, проектов решений), используемые как основание для принятия решений. Основными этапами О. э. являются разработка концептуальной схемы и программы, постановка задачи, снабжение экспертов необходимой первичной и дополнительной информацией, выработка оценок, их согласование при необходимости выработки группового решения, фиксировние результатов и их обработка. В процессе опроса эксперт выступает полноправным его участником, осведомленным о целях и задачах исследования. Его информированность, сочетание творческой активности и самостоятельности являются важными сторонами успешной экспертизы. Суждения экспертов это обычно результат интуитивно-логического анализа с широким использованием профессионального и всего жизненного опыта, включая систему установок и ценностных ориентации. О. э. осуществляется в различных формах, выбор которых определяется в первую очередь целью социологического исследования, наличными ресурсами, возможностями обработки полученных данных и т. п. Можно предложить следующие принципы классификации форм О. э.: 1) по форме общения (очный, заочный), по способу общения (устный, письменный), по итерационности (разовый, повторяющийся); 2) по форме организации труда (индивидуальная, коллективная), по форме общения (непосредственная, опосредованная), по форме обратной информационной связи (информация обобщенная, дополнительная, мотивационная); 3) по процедуре принятия результатов (консенсус, большинство); по виду экспертной оценки (мнение, рекомендация, решение) и др. С практической точки зрения достаточным оказывается сочетание двух признаков (итерацнонность опроса и организация труда экспертов) для получения четырех основных форм опроса: 1) разовый индивидуальный опрос (анкетирование или интервью): 2) однократный коллективный опрос (дискуссия, совещание, мозговой штурм); 3) индивидуальный опрос в несколько туров (дельфийский метод); 4) коллективный опрос в несколько турив (дискуссия, совещание, многоступенчатый экспертный опрос). Специфика О. э. в разной степени проявляется в его основных формах. К числу процедур О. э. можно отнести классифицирование (группировка объектов или признаков, выделение определяющих признаков или индикаторов), шкалирование (использование готовых шкал и построение шкал в результате обобщения данных экспертного опроса) и оценивание при измерении предпочтений (ранжирование, задание весовых коэффициентов, балльная оценка, парные, множественные и последовательные сравнения). О. э. в современном виде базируется на комплексном использовании идей, методов, приемов и процедур не только социологии, но и целого ряда других наук.
Источник: Социологический справочник
ОПРОС ЭКСПЕРТНЫЙ
разновидность опроса , в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности. Особенность метода состоит в том, что он предполагает компетентное участие экспертов при анализе и решении исследуемых проблем. Эксперт - компетентное лицо, имеющее специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Эксперт может выступать в качестве генератора, источника идей, гипотез и предложений; арбитра по оценке имеющихся данных, характеристик и показателей объекта; источника не известной исследователю информации, которая служит основой для дальнейшего анализа. Экспертные оценки - суждения экспертов о различных сферах человеческой жизнедеятельности, которые предполагают процедуру сравнения объектов, их свойств по выбранным критериям.
Надежность оценок и решений, принимаемых на основе суждений экспертов достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.
Суждения групп экспертов существенным образом отличаются от решений, которые формируются в результате дискуссий на заседаниях комиссий, где мнение авторитетных или "напористых" участников оказывает значительное влияние на суждения остальных. Это не значит, что индивидуальными мнениями специалистов и решениями комиссий следует пренебречь. Однако информация, полученная от группы экспертов, и соответствующим образом обработанная, как правило, оказывается более достоверной и надежной.
Центральной проблемой метода является подбор экспертов. Экспертная группа, с которой работают социологи в ходе опроса, представляет собой группу компетентных лиц, имеющих специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Количество членов этой группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Итак, эксперт компетентен в изучаемой проблеме, он активный участник исследования, часто осведомленный о его задачах и целях. Главная задача социолога - поиск и отбор экспертов, формирование экспертных групп.
Работа по подбору специалистов, участвующих в О.Э., обычно начинается с определения научных, технических и административных проблем, решение которых влияет на осуществление данной задачи. Затем составляется список компетентных лиц (в необходимых областях), который служит основой для выбора экспертов.
Изначально группа потенциальных экспертов формируется методом снежного кома. Установив число потенциально возможных кандидатов в эксперты, необходимо решить вопрос о численности экспертной группы. Здесь вряд ли возможно рассчитать оптимум, но очевидно, что при малом числе экспертов на групповую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время при слишком большом числе экспертов трудно выявить их согласованное мнение и при этом может снизиться достоверность групповой оценки вследствие уменьшения роли нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Количество экспертов зависит от возможности обеспечения "равноправия" ученых-специалистов различных направлений и от уровня их компетентности, от специфики проблемы исследования.
Тем не менее, подбирая экспертов, необходимо руководствоваться определенными требованиями, предъявляемыми к их персонам. Прежде всего необходимо обращать внимание на компетентность потенциального эксперта в исследуемой области, его эрудированность в смежных областях, ученую степень, звание, стаж научной или практической работы в определенной сфере, должностное положение, а также принципиальность, объективность, способность творчески мыслить, интуицию. Можно представить реестр качеств, которыми должен обладать "идеальный" эксперт, т.е. тот, который может являться эталоном респондента-эксперта, с которым предпочтительно работать: 1) креативность, т.е. способность творчески решать задачи, метод решения которых полностью или частично не известен; 2) эвристичность, т.е. способность видеть или создавать неочевидные проблемы; 3) интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению; 4) предикаторность, т.е. способность предсказывать, предчувствовать будущее состояние исследуемого объекта; 5) независимость, т.е. способность противопоставлять предубеждениям и массовому мнению свою точку зрения; 6) всесторонность, т.е. способность видеть проблему с различных точек зрения.
После того как сформирована предварительная группа экспертов, начинают формировать рабочую группу. В качестве критериев отбора используют некоторые простые статистические способы и приемы, а также их комбинацию. Так, подбор экспертов может быть: 1) экспериментальным (на основе тестирования, проверки эффективности их прежней экспертной деятельности); 2) документальным (на основе социально-демографических данных); 3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами); 4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом). Кроме указанных способов возможен расчет достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как "прибор", дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (т.е. количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надежности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.
Работа социолога, организующего О.Э., сводится не только к подбору экспертов и формированию экспертных групп. Она включает в себя еще и подготовку экспертов к работе (к опросу), т.е. предоставление им максимум объективных данных, имеющих отношение к анализируемой проблеме, заботиться о том, чтобы эксперты были достаточно информированы об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом. В работу социолога по подготовке О.Э. входит составление специальных опросных листов для экспертов (специфика их при использовании данного метода состоит в том, что не используются вопросы-ловушки, т.к. эксперт является осведомленным лицом, а кроме того, есть тенденция преобладания вопросов открытого типа); разработка способа и процедуры опроса экспертов; проведение опроса; анализ полученных данных.
Особые требования предъявляются к условиям проведения О.Э. Необходимо, чтобы они создавали возможность получения наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово "простым" участникам, а потом наиболее известным и авторитетным).
Виды опроса экспертов также могут быть разными. Их можно представить в виде двух основных форм: 1) очного и 2) заочного опроса экспертов.
Наиболее распространенными и универсальными являются разнообразные формы очного опроса экспертов, к которым относятся:
1) Свободное интервью экспертов (имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, четче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное - чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.).
2) Анкетный опрос экспертов (проводится по всем правилам анкетного опроса - Опрос анкетный).
3) "Мозговая атака" во всех ее разновидностях - прямая "мозговая атака", обмен мнениями, стимулирование наблюдения. Главная цель "мозговой атаки" - найти решение или пути решения какой-либо научно или практической проблемы.
К заочным формам опроса экспертов относятся:
1) Почтовый анкетный опрос экспертов (проводится по всем правилам анкетного опроса и почтового анкетного опроса в частности).
2) Дельфийская техника - многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов - сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода - в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится "эффект интеративных циклов", т.е. пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.
Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп не оперативной.
Сама процедура О.Э. предполагает анализ исследуемой ситуации; выбор группы экспертов; выбор способа замера экспертных оценок; процедуру непосредственной оценки работы экспертов с анализом полученных данных. При этом необходима проверка данных экспертных оценок; изменение состава экспертных групп; повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.
В практике социологических исследований О.Э. используется: 1) для прогноза развития того или иного явления; 2) для оценки степени достоверности массового опроса; 3) для сбора предварительной информации о проблеме исследования (зондаж); 4) в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.
Е.Е. Кучко
Надежность оценок и решений, принимаемых на основе суждений экспертов достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.
Суждения групп экспертов существенным образом отличаются от решений, которые формируются в результате дискуссий на заседаниях комиссий, где мнение авторитетных или "напористых" участников оказывает значительное влияние на суждения остальных. Это не значит, что индивидуальными мнениями специалистов и решениями комиссий следует пренебречь. Однако информация, полученная от группы экспертов, и соответствующим образом обработанная, как правило, оказывается более достоверной и надежной.
Центральной проблемой метода является подбор экспертов. Экспертная группа, с которой работают социологи в ходе опроса, представляет собой группу компетентных лиц, имеющих специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Количество членов этой группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Итак, эксперт компетентен в изучаемой проблеме, он активный участник исследования, часто осведомленный о его задачах и целях. Главная задача социолога - поиск и отбор экспертов, формирование экспертных групп.
Работа по подбору специалистов, участвующих в О.Э., обычно начинается с определения научных, технических и административных проблем, решение которых влияет на осуществление данной задачи. Затем составляется список компетентных лиц (в необходимых областях), который служит основой для выбора экспертов.
Изначально группа потенциальных экспертов формируется методом снежного кома. Установив число потенциально возможных кандидатов в эксперты, необходимо решить вопрос о численности экспертной группы. Здесь вряд ли возможно рассчитать оптимум, но очевидно, что при малом числе экспертов на групповую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время при слишком большом числе экспертов трудно выявить их согласованное мнение и при этом может снизиться достоверность групповой оценки вследствие уменьшения роли нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Количество экспертов зависит от возможности обеспечения "равноправия" ученых-специалистов различных направлений и от уровня их компетентности, от специфики проблемы исследования.
Тем не менее, подбирая экспертов, необходимо руководствоваться определенными требованиями, предъявляемыми к их персонам. Прежде всего необходимо обращать внимание на компетентность потенциального эксперта в исследуемой области, его эрудированность в смежных областях, ученую степень, звание, стаж научной или практической работы в определенной сфере, должностное положение, а также принципиальность, объективность, способность творчески мыслить, интуицию. Можно представить реестр качеств, которыми должен обладать "идеальный" эксперт, т.е. тот, который может являться эталоном респондента-эксперта, с которым предпочтительно работать: 1) креативность, т.е. способность творчески решать задачи, метод решения которых полностью или частично не известен; 2) эвристичность, т.е. способность видеть или создавать неочевидные проблемы; 3) интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению; 4) предикаторность, т.е. способность предсказывать, предчувствовать будущее состояние исследуемого объекта; 5) независимость, т.е. способность противопоставлять предубеждениям и массовому мнению свою точку зрения; 6) всесторонность, т.е. способность видеть проблему с различных точек зрения.
После того как сформирована предварительная группа экспертов, начинают формировать рабочую группу. В качестве критериев отбора используют некоторые простые статистические способы и приемы, а также их комбинацию. Так, подбор экспертов может быть: 1) экспериментальным (на основе тестирования, проверки эффективности их прежней экспертной деятельности); 2) документальным (на основе социально-демографических данных); 3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами); 4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом). Кроме указанных способов возможен расчет достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как "прибор", дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (т.е. количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надежности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.
Работа социолога, организующего О.Э., сводится не только к подбору экспертов и формированию экспертных групп. Она включает в себя еще и подготовку экспертов к работе (к опросу), т.е. предоставление им максимум объективных данных, имеющих отношение к анализируемой проблеме, заботиться о том, чтобы эксперты были достаточно информированы об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом. В работу социолога по подготовке О.Э. входит составление специальных опросных листов для экспертов (специфика их при использовании данного метода состоит в том, что не используются вопросы-ловушки, т.к. эксперт является осведомленным лицом, а кроме того, есть тенденция преобладания вопросов открытого типа); разработка способа и процедуры опроса экспертов; проведение опроса; анализ полученных данных.
Особые требования предъявляются к условиям проведения О.Э. Необходимо, чтобы они создавали возможность получения наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово "простым" участникам, а потом наиболее известным и авторитетным).
Виды опроса экспертов также могут быть разными. Их можно представить в виде двух основных форм: 1) очного и 2) заочного опроса экспертов.
Наиболее распространенными и универсальными являются разнообразные формы очного опроса экспертов, к которым относятся:
1) Свободное интервью экспертов (имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, четче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное - чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.).
2) Анкетный опрос экспертов (проводится по всем правилам анкетного опроса - Опрос анкетный).
3) "Мозговая атака" во всех ее разновидностях - прямая "мозговая атака", обмен мнениями, стимулирование наблюдения. Главная цель "мозговой атаки" - найти решение или пути решения какой-либо научно или практической проблемы.
К заочным формам опроса экспертов относятся:
1) Почтовый анкетный опрос экспертов (проводится по всем правилам анкетного опроса и почтового анкетного опроса в частности).
2) Дельфийская техника - многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов - сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода - в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится "эффект интеративных циклов", т.е. пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.
Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп не оперативной.
Сама процедура О.Э. предполагает анализ исследуемой ситуации; выбор группы экспертов; выбор способа замера экспертных оценок; процедуру непосредственной оценки работы экспертов с анализом полученных данных. При этом необходима проверка данных экспертных оценок; изменение состава экспертных групп; повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.
В практике социологических исследований О.Э. используется: 1) для прогноза развития того или иного явления; 2) для оценки степени достоверности массового опроса; 3) для сбора предварительной информации о проблеме исследования (зондаж); 4) в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.
Е.Е. Кучко
Источник: Социология: энциклопедия