Подходы к экспертным оценкам
Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:
- прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;
- интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.
Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.
Подбор экспертов
Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.
Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:
- уяснение решаемой проблемы;
- определение перечня областей деятельности, связанных с решаемой проблемой;
- определение долевого состава экспертов по каждой области деятельности;
- определение количества и предварительного состава экспертов в группе;
- анализ квалификации экспертов и уточнение списка экспертов в группе;
- получение согласия экспертов на участие в работе;
- составление окончательного списка состава экспертов.
При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.
Компетентность — степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.
Креативность — это способность решать творческие задачи.
Конформизм — это подверженность влиянию авторитетов.
Конструктивность мышления — это способность формировать решения, обладающие свойством практичности (прагматизм).
Коллективизм — этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.
Самокритичность эксперта проявляется при самооценке своей компетентности.
Отношение к экспертизе — негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа.
Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.
Достоинства и недостатки экспертных методов управления качеством
Экспертные методы получили широкую популярность в управлении качеством, поскольку они обладают рядом существенных достоинств. В частности, они позволяют быстро получить необходимые результаты. При этом отсутствие достаточно большой нормативной базы в системе управления и невозможность присвоения тем или иным объектам управления количественной оценки не являются препятствиями для использования этих методов.
В то же время экспертным методам управления качеством присущ субъективный характер оценок. В связи с этим полученные результаты экспертизы могут иметь определенные погрешности.
Для того чтобы привлечь опытных экспертов для участия в экспертных работах, нужно осуществить, как правило, значительные затраты. При этом авторитетные члены экспертной группы способны оказывать сильное влияние на мнение отдельных экспертов, что приводит к искажению итоговых результатов. Таким же образом влияют корпоративные интересы, которые могут иметься у некоторых экспертов.
Таким образом, несмотря на наличие у экспертных методов конкретных недостатков, они до сих пор активно применяются хозяйствующими субъектами в процессе управления качеством. Считается, что наибольшая польза от их использования будет в случае их сочетания с иными объективными методами, основанными на формализации результатов, математической оценке и т. п.
Экспертные ошибки
В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.
Систематические
Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.
Случайные
Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.
Виды экспертных методов управления качеством
В управлении качеством используется множество различных экспертных методов. Основные из них — органолептический и социологический методы управления качеством.
В основе органолептического метода лежит использование органов чувств эксперта. Речь идет про органы вкуса, слуха, зрения, обоняния, тактильности. Наибольшее распространение данный метод нашел в сфере измерения значений показателей качества продукции пищевой промышленности.
Социологический метод управления качеством заключается в сборе и анализе мнений респондентов. Обычно сбор мнений производится путем опроса, интервью (т. е. в устной форме) или заполнения анкет (т. е. в письменной форме). Применение социологического метода в настоящее время предполагает использование научно обоснованных способов опроса, математических принципов сбора и обработки информации.
Более того, экспертные методы управления качеством могут отличаться друг от друга способом получения экспертных оценок, необходимых для принятия управленческих решений. По этому критерию выделяют:
Метод рангов (метод ранжирования) — эксперт упорядочивает объекты управления в зависимости от их относительной значимости (предпочтительности).
Балльный метод (метод непосредственного оценивания) — эксперт приписывает каждому из объектов управления определенное количество баллов, которые отражают степень их важности.
Метод сопоставлений (включает метод парного сравнения и метод последовательного сопоставления) — эксперты сравнивают друг с другом два или более объектов управления, выбирая их них наиболее важный.
Несмотря на наличие отмеченных различий, все экспертные методы имеют общность в последовательности проведения процедур их применения. Сначала инициаторы решают организационные вопросы экспертного оценивания. Затем выполняют работы, направленные на сбор экспертных мнений. В конце результаты полученных экспертных методов подлежат обработке. От соблюдения правил проведения этих процедур зависит уровень объективности результатов экспертной оценки и эффективности их использования.
Сущность экспертных методов и необходимость их применения
В управлении качеством применяют множество разнообразных методов. Так, большую их группу составляют экспертные методы управления качеством.
Экспертными методами называют приемы и способы, которые предполагают использование мнений экспертов. Экспертами, в свою очередь, называют людей, которые обладают достаточными знаниями, умениями, навыками, опытом в интересуемой сфере, что позволяет доверять их мнениям как высказываниям, обладающим высоким уровнем обоснованности.
Суть экспертных методов сводится к тому, чтобы различными способами усреднить мнения (суждения), которые были высказаны специалистами-экспертами по поводу рассматриваемых вопросов. В общем виде значение искомого параметра определяется как функция среднеарифметической оценки экспертных мнений.
Необходимость применения в управлении качеством экспертных методов обусловлена следующими обстоятельствами:
- при управлении качеством возникает большое число противоречий, которые зачастую нельзя разрешить путем применения объективных методов;
- многие объекты управления качеством не могут быть смоделированы или описаны в результате применения формализованных математических способов;
- в некоторых ситуациях субъекты управления качеством могут испытывать недостаток достоверной информации;
- управляемые объекты могут находиться в информационной неопределенности;
- необходимость определения того, как законы и закономерности будут оказывать влияние на управление качеством в средне- и долгосрочной перспективах;
- в управлении качеством могут иметь место экстремальные ситуации.
Таким образом, применение экспертных методов объясняется, в первую очередь, невозможностью результативного применения объективных методов для решения поставленных задач.
Краткое представление о методах
-
Метод применения круглого стола
Метод применения круглого стола — является одним из наиболее распространенных методов, поскольку не требует существенных усилий и дополнительных сверхзадач.
Сущность метода состоит в проведении небольшого рода встречи, на которую приглашаются представители различных групп и практических методов для проведения экспертной оценки проблемы, заявленной руководителем предприятия. Достаточно эффективен и прост в использовании
-
Использование «Мозгового штурма»
Использование «Мозгового штурма» — распространенный метод, который берет свою основу в иностранных предприятиях. Имеет схожий формат с предыдущим методом, но проводится силами руководителя и сотрудниками предприятия.
Сущность метода заключается в предложении большого числа альтернатив в сжатые промежутки времени, которые фиксируются и затем анализируются. Достаточно эффективен и используется в основном представителями рекламных отделов, практически не требует вложений и затрат со стороны руководителями
-
Разработка перспективных сценариев
Разработка перспективных сценариев — достаточно известный метод, схожий с предыдущими, иногда включает их в себя в качестве функциональной части. Более длительный чем мозговой штурм.
Сущность метода состоит в выявлении альтернатив либо использовании ранее разработанных концепции, их доработка в сценарии развития. Проходит с назначением ответственных лиц, постановкой задач, методов и оценкой результатов.
-
Средневзвешанный метод оценки
Средневзвешанный метод оценки — включает в себя формирование большого числа альтернатив и методов, а также оценок с их последующей концентрацией и выявление среднеучитывающего метода, эффективного по мнению руководителя. Метод достаточно сложен и чаще всего приводит к не эффективному результату.
-
Применение деловой игры
Деловая игра — достаточно интересный метод экспертной оценки, распространенный на предприятиях различного рода и вида.
Он интересен тем, что есть возможность моделирования различных ситуации, их проигрывание в режиме реального времени с последующий оценкой результатов.Метод показал себя как один из наиболее эффективных, доступных для реализации в рамках одного или группы предприятий.
-
Метод Дельфи
Метод Дельфи — сочетает в себе методы экспертного прогнозирования и выбор из большого числа альтернатив, доступен в процессе принятия решения группой. Обобщается и представляется в табличной форме, удобной для восприятия
Замечание 2
Какой бы метод экспертной оценки не выбрал руководитель, любой из них будет эффективен, поскольку демонстрирует большое число альтернативных вариантов с различными сценариями.
Представление об экспертах
Любой руководитель испытывает рано или поздно необходимость в качественной консультации. Для этого нужны эксперты — специалисты в своем направлении.
Экспертные методы — это эффективные механизмы помощи менеджеру и сторудникам, которые нуждаются в ней.
Замечание 1
В качестве экспертных методов управленческих решений можно рассматривать методы, которые основаны на проведении анализа и управления альтернатив различными способами, за сет рассмотрения экспертов и консультантов по интересующим вопросам. Экспертные методы чаще всего сопровождаются формированием научно — практических групп, представленных в форме экспертной комиссии.
Группы экспертов представлены, в большинстве случаев, авторитетными специалистами определенного, узкого профиля в задачу которых входит консультирование руководителя предприятия по интересующему вопросу. Какими бывают эти методы. Рассмотрим подробнее
Сущность метода экспертных оценок
Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.
В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п
и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений)
Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному.
В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.
Применение методов осреднения, допустимых для «хороших измерителей», в данном случае может привести к значительным ошибкам, так как мнение одного эксперта, существенно отличающееся от мнения других экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка результатов экспертного оценивания.
Виды экспертных оценок
Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.
Индивидуальные
Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.
Коллективные
Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.
ЭКСПЕРТНЫЙ МЕТОД
13.1. Сущность и область применения экспертного метода
Экспертный метод — это решение задач на основе суждения (мнения)
высококвалифицированных специалистов в соответствующей области знаний (наука,
техника, экономика и т.д.). При экспертной оценке событий (явлений) необходимо:
четко сформулировать цель исследования; правильно определить время свершения
событий; разработать организацию опроса (интервью) и анкетирования; сформировать
группу экспертов; обеспечить взаимную независимость их суждений, отсутствие
авторитета должности или личности, влияющих на выбор альтернатив, и обобщить
полученные результаты.
Сущность метода экспертных оценок заключается в индивидуальном и логическом
анализе суждения экспертов и количественной их оценке по решаемой проблеме. Этот
метод применяется при неопределенности значимости факторов.
Область применения экспертных оценок:
для составления перечня возможных событий и определение временного
промежутка наступления событий;
для определения целей и задач управления с упорядочением их по степени
важности;
определение альтернативных вариантов решения задачи с оценкой их
предпочтительности;
альтернативное распределение ресурсов для решения задач с оценкой их
предпочтительности;
альтернативные варианты применения решения в определенной ситуации с
оценкой их предпочтительности.
Экспертирование строится на субъективных суждениях специалистов на основе их
интуиции и опыта. Решение задачи формулируется (вырабатывается) в результате
коллективного экспертного суждения на основе обобщения индивидуальных мнений
экспертов.
Использование достоверной фактической информации об экономических процессах
позволяет обоснованно оценить их развитие и принять правильное решение. В
практике широко применяется экспертный метод при оценке качества товаров и
научных достижений.
По характеру организации проведения экспертные опросы делятся на следующие
способы: эксперты высказывают свое суждение без коллективного обсуждения или
коллективом. Кроме того, обсуждение вопроса может проводиться с дискуссией или
без дискуссии. Оно может заканчиваться открытым или закрытым вынесением
экспертного суждения. Опрос может проводиться сразу с группой экспертов или
непосредственно с каждым экспертом в отдельности. Во втором случае используются
интервью, интервью — анкета, анкетирование и другие.
Для математической обработки экспертной информации применяются следующие
методы: усредненная оценка всех членов экспертной комиссии, определение
результирующего экспертного мнения, которое наиболее близко к суждению каждого
члена экспертной комиссии, статистические модели ранжирования альтернатив. Они
располагаются в порядке возрастания. Затем из альтернатив отбирается более
предпочтительная.
Этапы экспертного оценивания
Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.
Постановка цели исследования
Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить
В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.
Выбор формы исследования, определение бюджета проекта
Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.
Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.
После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.
Подготовка информационных материалов
Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.
Подбор экспертов
Эксперты должны быть не только компетентные и опытные
Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса
Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.
Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.
Проведение экспертизы
Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.
Анализ результатов
На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.
Методы экспертных оценок
Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:
- Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.
- Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.
- Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.
- Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.
Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.