Основна ідея прогнозування на основі експертних оцінок полягає у побудові раціональної процедури інтуїтивно-логічного мислення людини у поєднанні з кількісними методами оцінки та обробки одержуваних результатів.

Сутність методів експертних оцінок у тому, що основою прогнозу закладається думкаспеціаліста або колективу фахівців, заснований на професійний, науковий та практичний досвід.

Індивідуальні експертні оцінки- ґрунтуються на використанні думок експертів-фахівців відповідного профілю.

1. Метод "інтерв'ю"передбачає бесіду прогнозиста з експертом за схемою "питання-відповідь", у процесі якої прогнозист відповідно до заздалегідь розробленої програми ставить перед експертом питання щодо перспектив розвитку прогнозованого об'єкта. Успіх такої оцінки значною мірою залежить від здатності експерта експромтом давати висновок з різних питань.

2. Метод анкетного опитування полягає в тому, що експерту пропонується для заповнення анкета (опитувальний лист), що містить перелік питань, кожен з яких логічно пов'язаний із завданням дослідження.

В анкеті можуть використовуватись такі типи питань:

· Відкриті - відповіді на ці питання можуть бути сформульовані в будь-якій формі;

· Закритого типу - пропонуються варіанти відповідей, один з яких повинен вибрати експерт.

Використання в анкеті питань закритого типу краще, оскільки спрощує статистичну обробку результатів відповіді та полегшує роботу експерта при заповненні анкети. З іншого боку, перелік відповідей на запитання може і не містити думки експерта. Тому при формуванні переліку варіантів відповідей на деякі питання слід передбачати можливість висунення експертом свого варіанта відповіді або ухилення від відповіді

3. Аналітичний метод(аналітичних записок) передбачає ретельну самостійну роботу експерта над аналізом тенденцій, оцінкою стану та шляхів розвитку прогнозованого об'єкта. Експерт може використати всю необхідну йому інформацію про об'єкт прогнозу. Свої висновки він оформляє як доповідної записки. Основна перевага цього методу – можливість максимального використання індивідуальних здібностей експерта. Однак він мало придатний для прогнозування складних систем та вироблення стратегії через обмеженість знань одного фахівця-експерта у суміжних галузях знань.

Основна перевага методів індивідуальних експертних оцінок полягає у можливості максимального використання індивідуальних здібностей експертів. Однак ці методи мало придатні для прогнозування найбільш загальних стратегій через обмеженість знань одного експерта про розвиток суміжних галузей науки та практики.

Прикладом використання експертних оцінок під час планування розвитку соціально-економічних систем може бути багатокритеріальна завдання вибору варіанта рішення, яка сьогодні актуальна у багатьох сферах діяльності.

Процедура багатокритеріального вибору включає наступні етапи:

1. Виявлення найбільш суттєвих показників (критеріїв), що характеризують досліджуваний об'єкт;

2. Визначення способу кількісної оцінки показників;

3. Визначення допустимих меж зміни показників;

4. Вибір способу пошуку найкращого варіанта;

5. Розв'язання задачі та аналіз результатів.

Як цільову функцію для оцінки варіантів рішень найчастіше використовується адитивна згортка критеріїв:

Або , (2.18)

де - вагові коефіцієнти, що характеризують значущість критерію. Чисельні значення визначаються експертами, при цьому бажано дотримання наступної умови:

Якщо критерії мають різні одиниці виміру, їх необхідно призвести до єдиного безрозмірного масштабу те щоб виконувались такі нерівності:

приклад . На думку експертів, основними показниками економічного та соціального розвитку регіону є:

Валовий внутрішній (регіональний) продукт;

рівень зайнятості населення;

Середньомісячна заробітна плата.

Експертну оцінку значущості критеріїв за десятибальною шкалою представлено в табл. 2.2.

Керівництву регіону запропоновано чотири цільові програми розвитку регіону, спрямовані на першочергове фінансування:

1. Агропромисловий комплекс;

2. Підприємств харчової промисловості;

3. Галузі соціально-культурної сфери;

4. Житлове будівництво.

Очікувані значення основних показників, одержувані при реалізації цільових програм, що розглядаються, наведені в табл. 2.3.

Таблиця 2.2

Результати експертної оцінки

Таблиця 2.3

Очікувані значення основних соціально-економічних показників розвитку регіону

Необхідно визначити найдоцільнішу програму розвитку регіону.

Рішення:

Визначимо значення вагових коефіцієнтів:

; ; .

Таким чином, в результаті обробки експертних оцінок цільова функція має такий вигляд:

Враховуючи, що цільова програма №3 явно неефективна порівняно з програмою №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Оскільки значення показників мають різну розмірність, їх необхідно призвести до єдиного безрозмірного масштабу. Це досягається розподілом елементів кожного стовпця на максимальну величину в стовпці:

На заключному етапі визначимо значення цільової функції для запропонованих програм:

Максимальне значення цільової функції відповідає програмі №1. Отже, реалізація цієї програми найбільш доцільна.

Найбільш достовірними є колективні експертні оцінки -передбачають визначення ступеня узгодженості думок експертів щодо перспективних напрямів розвитку об'єкта прогнозування, сформульованих окремими фахівцями.

Для організації проведення експертних оцінок створюються робочі групи, функції яких входять проведення опитування, обробка матеріалів та аналіз результатів колективної експертної оцінки. Робоча група призначає експертів, які дають відповіді на поставлені питання щодо перспектив розвитку даного об'єкта.

1. Суть методу колективної генерації ідей (мозкової атаки) полягає у використанні творчого потенціалу фахівців при мозковій атаці проблемної ситуації, що реалізує спочатку генерацію ідей, а потім їх структурування, аналіз та критику з висуванням контридей та виробленням узгодженої точки зору.

Метод колективної генерації ідей передбачає реалізацію наступних етапів:

1. формування групи учасників "мозкової атаки" щодо вирішення певної проблеми. Оптимальна чисельність групи є емпіричним шляхом. Найбільш продуктивними визнано групи, що складаються з 10-15 осіб.

2. Група аналізу складає проблемну записку, в якій формулюється проблемна ситуація та міститься опис методу та проблемної ситуації.

3. Етап генерації ідей. Кожен учасник має право виступати багато разів. Критика попередніх виступів та скептичні зауваження не допускаються. Ведучий коригує процес, вітає удосконалення чи комбінацію ідей, надає підтримку, звільняючи учасників від скутості. Тривалість "мозкової атаки" - щонайменше 20 хв і трохи більше 1 год залежно від активності учасників.

4. Систематизація ідей, висловлених етапі генерації. Формується перелік ідей, виділяються ознаки, за якими ідеї можуть бути об'єднані, ідеї об'єднуються до груп відповідно до виділених ознак.

5. На п'ятому етапі здійснюється деструктурування (руйнування) систематизованих ідей. Кожна ідея зазнає всебічної критики з боку групи висококваліфікованих фахівців у складі 20-25 осіб.

6. На шостому етапі дається оцінка критичних зауважень і складається список ідей, що практично реалізуються.

Метод "635"- один з різновидів "мозкової атаки". Цифри б, 3, 5 позначають 6 учасників, кожен із яких повинен записати 3 ідеї протягом 5 хв. Аркуш ходить по колу. Таким чином, за півгодини кожен запише до свого активу 18 ідей, а всі разом – 108. Структура ідей чітко визначена. Можливі модифікації методу. Цей метод широко використовується в зарубіжних країнах (особливо в Японії) для відбору з багатьох ідей найбільш оригінальних і прогресивних у вирішенні певних проблем.

2. Метод "Дельфі". Мета методу – розробка програми послідовних багатотурових індивідуальних опитувань. Індивідуальне опитування експертів зазвичай проводиться у формі анкет-запитань. Потім здійснюється їх статистична обробка на ЕОМ і формується колективна думка групи, виявляються та узагальнюються аргументи на користь різних суджень. Оброблена на ЕОМ інформація повідомляється експертам, які можуть коригувати оцінки, пояснюючи у своїй причини своєї незгоди з колективним судженням. Ця процедура може повторюватися до 3-4 разів. В результаті відбувається звуження діапазону оцінок та виробляється узгоджене судження щодо перспектив розвитку об'єкта.

Особливості методу "Дельфі":

а) анонімність експертів - взаємодія членів групи під час заповнення анкет повністю виключається;
б) можливість використання результатів попереднього туру опитування;

в) статистична характеристика групової думки.

3. Метод "комісій"- ґрунтується на роботі спеціальних комісій. Групи експертів за "круглим столом" обговорюють ту чи іншу проблему з метою узгодження точок зору та вироблення єдиної думки. Недолік цього методу полягає в тому, що група експертів у своїх судженнях керується здебільшого логікою компромісу.

Метод експертних комісій може бути організований в одній із таких форм:

Як показала практика, метод «комісій» має суттєві недоліки:

Великий вплив такого психологічного чинника як думка авторитетних експертів, якого приєднуються інші експерти, не висловлюючи своєї погляду;

Небажання експертів публічно відмовлятися від раніше висловлених ними думок;

При роботі комісій найчастіше відбувається суперечка двох чи трьох найавторитетніших експертів, внаслідок чого інші експерти у дискусії участь або не беруть або не враховуються висловлені ними думки.

4. Метод суду – ґрунтується на організації роботи колективу експертів у формі ведення судового процесу. Використання цього доцільно за наявності кількох груп експертів, кожна з яких відстоює свою точку зору. У разі як «підсудного» виступає об'єкт прогнозування. Лідери груп, які висловлюють альтернативні точки зору, виступають як звинувачення та захист (прокурор, адвокат). Окремі експерти відіграють роль свідків, надаючи суду необхідну для ухвалення рішення інформацію. Роль судді відіграє зацікавлена ​​особа (група осіб). Так, наприклад, у телевізійній передачі «Процес», заснованої на використанні методу суду для аналізу та прогнозування розвитку різних соціально-економічних процесів, роль судді грали глядачі, голосуючи у процесі передачі телефонними дзвінками за ту точку зору, яку вони підтримували.

Метод морфологічного аналізупередбачає вибір найбільш прийнятного вирішення проблеми з-поміж можливих. Його доцільно використовувати під час прогнозування фундаментальних досліджень. Метод включає ряд прийомів, що передбачають систематизований розгляд показників об'єкта. Дослідження проводиться за методом "морфологічного ящика", який будується у вигляді дерева цілей або матриці, клітини якої вписані відповідні параметри. Послідовне з'єднання параметра першого рівня з одним із параметрів наступних рівнів є можливим вирішенням проблеми. Загальна кількість можливих рішень дорівнює добутку числа всіх параметрів, представлених у "скринці", взятих по рядках. Шляхом перестановок та різних поєднань можна виробити імовірнісні характеристики об'єктів.

Метод написання сценарію- заснований на визначенні логіки процесу чи явища у часі за різних умов. Він передбачає встановлення послідовності подій, що розвиваються при переході від ситуації до майбутнього стану об'єкта. Прогнозний сценарій визначає стратегію розвитку прогнозованого об'єкта. Він повинен відображати генеральну мету розвитку об'єкта, критерії оцінки верхніх рівнів «дерева цілей», пріоритети проблем та ресурси для досягнення основних цілей. У сценарії відображаються послідовне вирішення завдання, можливі перешкоди. При цьому використовуються необхідні матеріали щодо розвитку об'єкта прогнозування.

Прогнозний граф - це постать, що складається з точок-вершин, з'єднаних відрізками-ребрами. "Дерево цілей" - це граф-дерево, що виражає відношення між вершинами-етапами чи проблемами досягнення мети. Кожна вершина є метою для всіх гілок, що виходять з неї. "Дерево цілей" передбачає виділення кількох структурних чи ієрархічних рівнів.

Побудова "дерева цілей" потребує вирішення багатьох завдань: прогнозу розвитку об'єкта загалом; формулювання сценарію прогнозованої мети, визначення рівнів та вершин "дерева", критеріїв та їх ваг у ранжируванні вершин. Ці завдання можуть вирішуватися за необхідності методами експертних оцінок. Слід зазначити, що цієї мети як об'єкту прогнозу може відповідати безліч різноманітних сценаріїв.

Сценарій зазвичай носить багатоваріантний характер і висвітлює три лінії поведінки: оптимістичну – розвиток системи у найбільш сприятливій ситуації; песимістичну - розвиток системи у найменш сприятливій ситуації; робочу - розвиток системи з урахуванням протидії негативним факторам, поява яких є найбільш ймовірною. У рамках прогнозного сценарію доцільно опрацьовувати резервну стратегію у разі непередбачених ситуацій.

Сценарій у готовому вигляді має бути підданий аналізу. З аналізу інформації, визнаної придатної майбутнього прогнозу, формулюються мети, визначаються критерії, розглядаються альтернативні рішення.

Експертизою називається оцінка, одержувана шляхом з'ясування думок фахівців. Експерт (від латинського e x p e r t u s - досвідчений) - обізнана у певній галузі діяльності особа, що запрошується для вирішення питання, що вимагає спеціальних знань. Експертиза буває індивідуальною (коли до вирішення завдання залучається один фахівець) чи груповий. Експерти можуть усно висловлювати свою думку чи заповнювати спеціальний бланк. На думку фахівців звертаються щоразу, коли здійснити вимірювання більш точними методами неможливо або дуже важко (В.М. Заціорський, 1982; Б.Г. Литвак, 1996; В.С. Рубін, 2006; Є.Р. Яхонтов, 2006) .

Наприклад, до експертизи вдаються у таких випадках: а) при прогнозуванні будь-якої ситуації; б) при аналізі подій, котрим немає інших способів виміру; в) при обґрунтуванні ухвалення того чи іншого управлінського рішення в умовах невизначеності (В.В. Музиченко, 2003; М.М. Пилипенко, Є.Л. Татарський, 2007).

Проведення експертизи включає такі основні етапи: формування її мети, підбір експертів, вибір методики, проведення опитування експертів, опрацювання отриманої інформації, зокрема оцінку узгодженості індивідуальних експертних оцінок. Експертні оцінки поділяються на кількісні та якісні (Б.Г. Литвак, 2002).

Підбір експертів – найважливіший етап експертизи. Основними вимогами до експертів є: компетентність, зацікавленість у роботі експертної комісії, діяльність, широта поглядів, об'єктивність і незалежність суджень. Точність експертної оцінки багато в чому залежить кількості експертів. Як свідчить практика, оптимальна кількість експертів – 7-12 осіб (Е.М. Коротков, 2003). Експертне оцінювання може здійснюватися шляхом використання таких підходів: а) закритого обговорення з наступним закритим голосуванням або заповненням спеціальних експертних бланків; б) вільних висловлювань без обговорення та голосування; в) відкритого обговорення поставлених питань із наступним відкритим чи закритим голосуванням.

Способи проведення якісної експертизи різноманітні. Найпростіший їх називається методом переваги (чи ранжування альтернативних варіантів). Користуючись цим методом, експерти розставляють об'єкти, що оцінюються, в порядку погіршення їх якості (табл. 1).

Таблиця 1. Форма експертного бланка, що складається під час проведення експертизи методом переваги

ТИП ТУРИЗМУ	Результати ранжирування
Номер експерта	Суммабалів
Сільський
Оздоровчий
Паломницький
Пізнавальний
Пригодницька
Розважальний
Рекреаційний
Спортивний
Екзотичний
Екологічний

Місце, зайняте кожним об'єктом, визначається кількістю набраних балів: що менше сума балів, то вище зайняте місце. Наприклад у таблиці 1 представлені результати ранжирування десяти типів туризму шістьма фахівцями (експертами) за рівнем їхньої привабливості жителям Росії.

Часто використовується й інший спосіб проведення експертизи – метод парного порівняння. У цьому випадку експерт заповнює таблицю, в якій і по горизонталі, і по вертикалі позначені всі об'єкти, що порівнюються (табл. 2).

Таблиця 2. Приклад експертного бланку, що заповнюється кожним експертом під час проведення експертизи методом парного порівняння

									Сума балів
Болгарія
Німеччина

Наприклад, необхідно визначити найбільш популярну країну з восьми представлених, до якої росіяни хотіли б здійснити туристичну подорож. У таблиці 2 кожна клітина відноситься до двох порівнюваних об'єктів, і в ній проставляється одиниця тому з них, який, на думку експерта, має більш високу якість або важливіший. Іншому з цих об'єктів, що порівнюються, проставляється нуль. Потім підраховується загальна кількість набраних балів та визначається місце (ранг) об'єкта експертизи.

Оцінка результатів експертизи може мати і складнішу форму. Далі, як приклад, наведемо поетапну експертизу, спрямовану на «Підбір керівника туристичної фірми».

Етап №1. Заповнення експертного бланка. Як ми вже встановили, кожен із експертів повинен заповнити експертний бланк, який, по суті, є матрицею переваг, причому стовпці та рядки цієї матриці іменуються обраними якостями (табл. 3). Сенс такого заповнення полягає у порівнянні всіх якостей почергово один з одним. При цьому (тобто при взаємному порівнянні) кращій якості дається 2 бали, а менш кращому - 0 балів. При неможливості віддати перевагу комусь із двох порівнюваних якостей, кожному з них дається по 1 балу.

Таблиця 3. Матриця переваг

Отже, у прикладі першому кроці починаємо порівнювати якості по першому рядку, тобто. насамперед, порівнюємо «товариськість» 1-го рядка і «обов'язковість» 2-го рядка. Нехай, на думку одного з експертів, для директора туристської фірми, якості якого порівнюються між собою, «товариська» краще «обов'язковості». Тоді в «комірці 1.2» проставляється значення 2, відповідно до «обов'язковості» присвоюється 0 балів і це значення заноситься в «комірку 2.1». Таким чином, на першому кроці відбувається заповнення тільки першого рядка і, відповідно, першого стовпця, причому «автоматично» в залежності від обраних переваг по першому рядку. Далі експерт порівнює якості з другого рядка, тобто. порівнює «обов'язковість» з усіма іншими якостями. Причому порівнювати «товариськість» і «обов'язковість» вже не треба, оскільки це порівняння вже було здійснено на першому кроці. Аналогічним чином відбувається порівняння всіх якостей, що залишилися. У нашому прикладі заповнена матриця переваг матиме наступний вигляд (табл. 3).

Для перевірки правильності заповнення матриці переваг слід звернути увагу на те, щоб усі елементи щодо головної діагоналі мали взаємну відповідність, тобто, якщо в «комірці 1.2» записано значення 2, то в «комірці 2.1» відповідно, має бути записано значення 0, якщо в «комірці 1.3» записано значення 1, то в «комірці 3.1» відповідно, має бути записано значення 1 і т.п.

Етап № 2. Обробка матриці переваг. На цьому етапі кожен експерт приступає до обробки матриці переваг. Насамперед, підсумовуються всі значення осередків матриці по рядках. Отже можна обчислити суму балів, отриманих кожним альтернативним якістю, тобто. по суті дізнатися абсолютну вагу кожної окремої якості (V). Зауважимо, що максимальна абсолютна вага кожної якості () дорівнює:

де N - число порівнюваних якостей.

У нашому прикладі ця величина дорівнює 14. Після обробки матриці переваг видно, що така якість, як «товариськість», має абсолютну вагу, що дорівнює 5, «обов'язковість» - 9, «пунктуальність» - 4 і т.д.

Потім необхідно визначити загальну абсолютну вагу всіх якостей матриці переваг за формулою:

У прикладі = 8 (8 - 1) = 56.

Якщо в експертизі беруть участь кілька експертів, слід обчислити середню вагу кожної якості за формулою:

де? =? +? + … +?; k – кількість експертів; а 1, 2 … n – поточний номер рядка (порядковий номер якості).

І, нарешті, легко обчислити відносну вагу кожної якості за формулою:

= [/N(N - 1)] ?100%, якщо в експертизі беруть участь кілька експертів, та

100%, якщо у експертизі бере участь один експерт.

У разі маємо лише одного експерта і, отже, значення k=1. Звідси, відносна вага, що відповідає якості «товариськість», дорівнює (5/56)? 100% = 8,9%; якості «обов'язковість» – (9/56)? 100% = 16,2%; якості «пунктуальність» - (4/56)? 100% = 7,1%; якості «врівноваженість» - (8/56)? 100% = 14,3%; якості «стаж роботи» - (5/56)? 100% = 8,9%; якості «справедливість» - (11/56)? 100% = 19,6%; якості «компетентність» - (14/56)? 100% = 25%.

Етап № 3. Аналіз результатів експертизи. Знаючи відносну вагу кожної якості, можна проранжувати їх, розставивши в порядку зростання значущості. Інше важливе питання, на яке також слід дати відповідь, використовуючи отримані результати, які ж ті якості, без яких кандидат не може обійняти запропоновану посаду за жодних умов? Для знаходження кордону між необхідними та достатніми якостями рекомендується використовувати коефіцієнт кордону, що дорівнює 4/3n (В.В. Музиченко, 2003). Отже, якщо n якостей, то кордон проходитиме за вагою, що дорівнює (4/3) n. У нашому випадку це значення дорівнює 11 і, отже, такі якості, як компетентність і справедливість, є необхідними для керівника туристичної фірми.

З більш складних методів проведення експертизи набув поширення «Метод Дельфи», «Метод мозкової атаки», «Метод 6.3.5.» та деякі інші методики.

Метод Дельфи.Його назва походить від давньогрецького міста Дельфи, де, за переказами, при храмі Аполлона в період з ІХ ст. до н.е. за IVв. н.е. існувала рада мудреців («дельфійський оракул»), що славилася своїми пророкуваннями. Сутність методу полягає у виробленні узгоджених думок шляхом багаторазового повторення індивідуального письмового опитування тих самих експертів. Після першого туру опитування усі відповіді аналізуються та у зведеному вигляді доводяться до кожного експерта. Потім після кожного туру дані опитування знову обробляються, і отримані результати повідомляються експертам із зазначенням розташування оцінок. Перший тур опитування проводиться без аргументації. У другому відповіді, що відрізняються від інших, підлягають аргументації або ж експерт може змінити оцінку. Після стабілізації оцінок опитування припиняється та приймається запропоноване експертами рішення (А. Дурович, Л. Анастасова, 2002).

«Мозкова атака» є одним з основних в організації та проведенні експертизи (Б.Г. Литвак, 1996; Е.М. Коротков, 2003; Є.Р. Яхонтов, 2006). "Мозкова атака", як правило, складається з двох турів. У першому турі відбувається генерування ідей, а у другому - обговорення виявлених ідей, їх оцінка та вироблення колективної точки зору.

Перший тур проводиться так, щоб кожен із експертів міг вільно висловлювати свою думку. Будь-яка висловлена ​​думка чи ідея має бути обговорена і не може оголошуватися хибною. Основне завдання першого туру полягає в тому, щоб отримати, можливо, повнішу картину про фактори, які можуть впливати на розвиток ситуації. У другому турі з виявлених у першому турі факторів необхідно залишити лише найістотніші. Для цього їх треба критично оцінити, тому експерти, що беруть участь у проведенні другого етапу, діляться на прихильників і противників висловленої думки. Прихильники намагаються навести необхідні докази на користь висловленої точки зору, а противники їх спростувати. Потім, ґрунтуючись на результатах обговорення, приймається остаточне рішення.

Метод якісних експертних оцінок, як бачимо, має безліч варіантів, однією з є метод «6. 3. 5». Суть його полягає в тому, що 6 експертів за 5 хвилин пропонують 3 варіанти вирішення досліджуваної проблеми. Свою відповідь експерти пишуть на спеціальних бланках (табл. 4). За п'ять хвилин для цієї процедури запрошуються наступні шість експертів. Таким чином, за півгодини можна отримати 108 нових пропозицій.

Таблиця 4. Приклад експертного бланку, що заповнюється під час проведення експертизи методом «6. 3. 5»

Досліджувана проблема
№ варіанта	Пропозиції щодо вирішення проблеми експертною групою
Перший експерт групи	Другий експерт		Четвертий		експерт групи
Другий варіант
Третій варіант

Накопичені за короткий час численні пропозиції потім ретельно аналізуються, і експерти-фахівці роблять висновки та дають конкретні пропозиції щодо порушеної проблеми.

Іноді специфіка об'єктів експертного оцінювання є такою, що експерти можуть дати кількісну оцінку окремих показників. У цих випадках виправданішим є використання методів кількісної оцінки об'єктів експертизи. Серед методів отримання кількісних експертних оцінок найчастіше застосовується «Безпосередня кількісна оцінка», «Метод середньої точки» та «Метод Черчмена-Акофа».

Безпосередня кількісна оцінка використовується у тому випадку, коли необхідно визначити значення показника, що вимірюється кількісно. У цьому випадку кожен з експертів безпосередньо вказує значення показника для об'єкта, що оцінюється. Наприклад, оцінюється передбачувана ємність туристичного ринку; ціна одиниці виробленої продукції, коли він матиме конкурентоспроможний попит; оптимальний обсяг виробництва; вартість фірми тощо.

Спосіб середньої точки. Метод використовується, коли альтернативних варіантів, які можна оцінити кількісно, ​​досить багато. У цьому випадку, якщо через f() позначимо оцінку першого альтернативного варіанта, а через f() - оцінку другого альтернативного варіанту, то далі експерту пропонується визначити третій альтернативний варіант, оцінка якого f() розташовується в середині між значеннями f() і f () і дорівнює f() + f()/2. Далі експерт вказує альтернативний варіант, значення якого розташоване посередині між f() і f(), потім варіант, значення якого f() розташовано посередині між значеннями f(і f().) Процедура завершується, коли визначається порівняльна перевага всіх альтернативних альтернативних варіантів.

Метод Черчмена-Акофа. Даний метод використовується при кількісній оцінці порівняльної переваги альтернативних варіантів та допускає коригування оцінок, які дають експерти. Усі альтернативні варіанти ранжуються за перевагою, і кожному їх експерт надає кількісні оцінки, зазвичай, у частках одиниці, у своїй загальна сума оцінок альтернативних варіантів має дорівнювати 1 (чи 100 %). Далі експерт зіставляє за перевагою оцінку першого альтернативного варіанту f() і суму інших альтернативних варіантів. Якщо перший варіант кращий, ніж сума інших альтернативних варіантів, з подальших розглядів виключається. Коли менш кращий, ніж сума інших альтернативних варіантів, він порівнюється із сумою альтернативних варіантів, крім останнього. Якщо альтернативний варіант на якомусь кроці виявляється краще суми інших альтернативних варіантів, то з подальших розглядів виключається. Цей процес триває доти, доки послідовно не буде переглянуто всі альтернативні варіанти, при цьому оцінки можуть бути відповідним чином скориговані.

Як бачимо, туризм охоплює багато сфер життєдіяльності людини, і тому вивчення туризму тісно пов'язані з психологією людини. Найбільш повно, з погляду, необхідність застосування методів психодіагностики у туризмі обгрунтував у роботі М.Б. Біржаков (1999, С. 181): «Який напрямок для подорожей вибере турист, яка країна буде кращою цього сезону, який вид туризму буде найпопулярнішим? Що вигідно запропонувати на туристичному ринку, куди направити активність у просуванні свого туристичного продукту? Як правильно побудувати тур для найкращого задоволення побажань клієнта? На багато з цих питань неможливо відповісти, не вивчаючи психологію людини та передумови мотивації вчинків та прийняття рішень».

Методи експертних оцінок- це спосіб прогнозування та оцінки майбутніх результатів дій на основі прогнозів фахівців.

При застосуванні методу експертних оцінок проводиться опитування спеціальної групи експертів (5-7 осіб) з визначення певних змінних величин, необхідні оцінки досліджуваного питання. До складу експертів слід включати людей з різними типами мислення – образне та словесно-логічне, що сприяє успішному вирішенню проблеми.

Залучені експерти можуть висловити свою думку щодо кращих способів мобілізації резервів, залучення інвестицій, термінів досягнення поставлених завдань, критеріїв відбору оптимальних варіантів вирішення тощо.

Необхідною умовою ефективного застосування методів експертної оцінки є достатнє знання експерта з досліджуваної проблеми, високий рівень ерудиції, здатність його давати чіткі відповіді, до того ж експромтом. Крім того, експерт не повинен бути зацікавлений у тому чи іншому варіанті вирішення поставленої перед ним проблеми. Експерти підбираються за ознакою їх формального професійного статусу - посади, наукового ступеня, стажу роботи та ін. Такий підбір сприяє тому, що до експертів потрапляють високопрофесійні, з великим практичним досвідом у цій галузі фахівці.

Таким чином, методи експертної оцінки вимагають ретельної підготовки експертів, робота яких містить:

1) чітке визначення цілей та завдань, а в деяких випадках об'єднання та систематизація висновків;

2) набір достатньо компетентних незалежних експертів у галузі відповідних об'єктів;

3) обговорення питання групи експертів чи виключення безпосереднього спілкування з-поміж них;

4) надання учасникам експертизи на кожному наступному етапі результатів та висновків попереднього етапу. Це дозволяє зробити певні висновки, які поділяють більшість експертів;

5) вибір оптимальної відповідних методів обробки висновків експертів;

6) точне формулювання підсумкових висновків у експертній роботі.

p align="justify"> Метод експертних оцінок - це фактично метод прогнозування, основним критерієм якого є досягнення згоди всіх членів експертної групи. Організаційно це так. Експерти, знайомі у взаємопов'язаних сферах діяльності, докладно відповідають на питання анкети, пов'язаної з проблемою, що вивчається. Кожен із них фіксує свою думку щодо проблеми, а потім повідомляє про відповідь своїм колегам. У разі розходження його прогнозу з думкою інших експерт зобов'язаний пояснити причину такої невідповідності. Далі процедура повторюється доти, доки думки експертів не співпадуть. При цьому потрібно дотримуватись анонімності, що допомагає уникнути можливості групових роздумів над проблемною ситуацією.

Завдяки застосуванню експертних оцінок отримують два види інформації, на підставі якої вирішуються два види завдань різної значущості та на різних рівнях управління:

1. Інформація про поодинокі причинно-наслідкові зв'язки в конкретних умовах місця та часу. Здебільшого цю інформацію одержують у результаті опитування керівників виробничих підрозділів підприємства (бригадири, керівник відділення, начальник цеху) та робітників. Вона призначена для пошуку напрямів підвищення ефективності виробництва та реалізації продукції шляхом встановлення причин непродуктивного використання ресурсів та формування дієвих заходів щодо їх усунення.

2. Інформація про типові взаємозв'язки досліджуваних економічних явищ та процесів. Таку інформацію здатні надати лише експерти високого класу, професіонали, які глибоко знають суті та закономірності прояву зазначених явищ у різних умовах господарювання.

Основними завданнями, які найчастіше вирішуються на практиці на основі отриманої від експертів інформації, є:

Ранжування (упорядкування, розміщені в порядку зростання чи спадання) факторів та відповідних показників, які характеризують, за їх значущістю у розвитку досліджуваного явища, процесу;

Ранжування підприємств або їх структурних виробничих підрозділів (бригад, цехів, ділянок) за рейтингом, в основу якого покладено сукупність різних показників, що характеризують результати фінансово-господарської діяльності або окремих її видів (фінансовий стан, рентабельність, платоспроможність тощо);

Попередня оцінка виконання плану за певним показником.

Цільовий аналіз, заснований на результатах експертних оцінок, здійснюється у кілька етапів:

1. Визначення мети дослідження.

2. Визначення необхідного кількісного та якісного складу групи.

3. Створення групи.

4. Визначення способу опитування.

5. Складання програми обстеження та анкети (аркуша) опитування.

6. Проведення опитування.

7. Відомості, угруповання та аналіз отриманої від експертів інформації.

8. Узагальнення результатів експертизи та розробка можливих варіантів рішень для досягнення поставленої мети.

Усі експертні методи поділяються на дві групи - індивідуальні та колективні - та підгрупи (рис. 14.3).

Індивідуальні експертні методи- це використання думок експертів, які сформульовані особисто кожним із них самостійно без урахування думок інших експертів. До індивідуальних експертних методів належать: інтерв'ю та анкетування.

Сутність методу інтерв'ю полягає в організації співбесіди аналітика з експертом, у ході якої експерт дає відповіді на питання аналітика про фактори впливу на досліджуваний об'єкт, очікувані результати господарювання, невикористані резерви, шляхи виходу з кризи, напрями підвищення ефективності виробництва тощо.

Метод анкетування (аналітичного експертного оцінювання) полягає у наданні експертом письмових відповідей на питання анкети. Однак цей метод має певні недоліки, зокрема експерт може не зрозуміти питання анкети, виявити суб'єктивізм, небажання критикувати керівництво та залишати свою письмову відповідь тощо.

Мал. 14.3. Основи видів методів експертних оцінок

Основними перевагами індивідуальних методів експертних оцінок є простота організації обстеження, зрозумілість, облік та використання набутих знань та досвіду кожного експерта. Обмеженням застосування цих методів виступає обмеженість знань, інформації експертів із суміжних сфер діяльності. Виходячи з цього, більшого поширення на практиці набули колективні експертні методи.

Колективні експертні методи- це методи, які забезпечують формування єдиної спільної думки внаслідок взаємодії залучених фахівців-експертів.

Серед колективних методів експертної оцінки виділяють: метод комісії (у тому числі проведення виробничих нарад, конференцій, семінарів, дискусій за "круглим столом"), методи Дельфі, відстороненої оцінки, конференція ідей та ін.

Метод комісії полягає у виробленні експертами найкращого варіанта досягнення поставленої мети з урахуванням усіх висловлених на нараді пропозицій, ідей.

Позитивною особливістю цього методу є можливість залучення для експертизи фахівців із широким діапазоном знань із суміжних галузей науки та практики. Негативним можливий суб'єктивізм, стереотипи мислення, які склалися в експертів, їх схильність до компромісу.

Метод відстороненої оцінки полягає у виборі оптимального незалежного рішення у складі висловлених експертами на нараді. Робота наради поділена на дві частини: висування ідей та їхній критичний аналіз.

Метод Дельфі- один із методів колективної експертної оцінки, який передбачає проведення експертного опитування серед групи фахівців у кілька турів (частіше у 3-4 тури) для вибору найкращого з рішень. Метод Дельфі, або як його ще називають дельфійський метод, метод дельфійського оракула, отримав свою назву з назви містечка Дельфі в Стародавній Греції, в якому мешкали оракули-провидці при храмі бога Аполлона. Слово головного оракула не підлягало сумніву і бралося за істину.

Метою застосування методу Дельфі є вдосконалення групового підходу до вирішення завдання розробки прогнозу, оцінки за рахунок взаємної критики поглядів окремих фахівців, які висловлюються без безпосередніх контактів між ними та за збереження анонімності думок чи аргументів на їх захист.

В одному з варіантів цього методу пряме обговорення замінюється обміном інформацією з використанням спеціально розроблених запитальників. Можливе також застосування спеціальних прийомів опитування через ЕОМ.

Згідно з методом Дельфі учасників просять висловити свої думки, обґрунтувати їх, а в кожному наступному турі опитування їм видається нова, уточнена інформація про висловлені думки, яку отримують в результаті розрахунку збігу думок за раніше виконаними етапами роботи. Цей процес продовжується до практично повного збігу думок. Після цього фіксуються думки, які збігаються.

Цей метод успішно застосовується у маркетингу. Його використовують для того, щоб зробити експертне прогнозування шляхом організації системи збору та математичної обробки експертних оцінок.

Конференція ідей подібна до мозкового штурму, але відрізняється від нього темпом проведення нарад і дозволеною короткою доброзичливою критикою ідей у ​​формі реплік та коментарів. При цьому стимулюється поєднання кількох пропозицій, фантазування, що сприяє підвищенню якості ідей.

Усі висунуті ідеї записуються у протоколі без вказівки їхніх авторів. До складу учасників конференції ідей включаються не лише висококваліфіковані фахівці, а й новачки, нефахівці – незаангажовані та здатні висувати свіжі, нові, неординарні підходи.

Таким чином, методи експертних оцінок відіграють важливу роль в економічних дослідженнях, особливо у проведенні стратегічного та функціонально-вартісного аналізу. Застосування цих методів дозволяє визначити, наприклад, обсяг та структуру споживання продуктів харчування, товарів чи послуг населенням за значним колом показників, тоді як застосування інших методів аналізу утруднено через відсутність необхідної інформації.

У практичних маркетингових дослідженнях метод експертних оцінок можна використовуватиме розробки середньо- і довгострокових прогнозів структури попиту товари широкого споживання; прогнозування зазначеної структури наступного року; визначення груп потенційних споживачів; а також для оцінки обсягу незадоволеного попиту за групами та видами товарів. Наприклад, метод експертної оцінки споживчої вартості товару та ціни на нього – метод із групи нормативно-параметричних методів ціноутворення. Він базується на результатах опитування або результатах суджень колективу експертів про можливу цінність товару на ринку, попиту на нього та висування пропозицій щодо його ціни.

Є також багато методів експертної оцінки, пов'язаних із прогнозуванням економічних та суспільних явищ та процесів.

3. МЕТОДИ ПРИЙНЯТТЯ РІШЕНЬ

3.4. ЕКСПЕРТНІ МЕТОДИ ПРИЙНЯТТЯ РІШЕНЬ

3.4.1. Основні ідеї методів експертних оцінок

Приклад методів експертних оцінок.Як змінюватиметься економічна ситуація з часом? Що буде з навколишнім середовищем через десять років? Як зміниться екологічна ситуація? Чи буде забезпечена екологічна безпека промислових виробництв або навколо буде простягатися рукотворна пустеля? Достатньо вдуматися в ці постановки природних питань, проаналізувати, як десять або більше двадцять років тому ми уявляли сьогодні, щоб зрозуміти, що стовідсотково надійних прогнозів просто не може бути. Замість тверджень з конкретними числами очікується лише якісних оцінок. Проте ми, менеджери, економісти, інженери повинні приймати рішення, наприклад, про екологічні та інші проекти та інвестиції, наслідки яких позначаться через десять, двадцять і т.д. років. Як бути? Залишається звернутися до методів експертних оцінок. Що це за методи?

Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після Другої світової війни в рамках кібернетики, теорії управління, менеджменту та дослідження операцій стала розвиватися самостійна дисципліна – теорія та практика експертних оцінок.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів. Ці думки зазвичай виражені частково у кількісній, частково у якісній формі. Експертні дослідження проводять з метою підготовки інформації для прийняття рішень ЛПР (нагадаємо, ЛПР – особа, яка приймає рішення). Для проведення роботи з методу експертних оцінок створюють Робочу групу (скорочено РГ), яка організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи сутнісно) в експертну комісію (ЕК).

Експертні оцінки бувають індивідуальніі колективні. Індивідуальні оцінки- Це оцінки одного фахівця. Наприклад, викладач одноосібно ставить позначку студенту, а лікар – діагноз хворому. Але у складних випадках захворювання чи загрозі відрахування студента за погане навчання звертаються до колективномудумку - симпозіуму лікарів чи комісії викладачів. Аналогічна ситуація – в армії. Зазвичай командувач приймає рішення одноосібно. Але у складних та відповідальних ситуаціях проводять військову раду. Один із найвідоміших прикладів такого роду - військова рада 1812 р. у Філях, на якій під головуванням М.І. Кутузова вирішувалося питання: "Давати чи не давати французам бій під Москвою?"

Інший найпростіший приклад експертних оцінок – оцінка номерів у КВК. Кожен із членів журі піднімає фанерку зі своєю оцінкою, а технічний працівник обчислює середню арифметичну оцінку, яка і оголошується як колективна думка журі (нижче побачимо, що такий підхід некоректний з точки зору теорії вимірювань).

У фігурному катанні процедура ускладнюється - перед усередненням відкидаються найбільша та найменша оцінки.Це робиться для того, щоб не було спокуси завищити оцінку одній спортсменці (наприклад, співвітчизниці) або занизити іншу. Такі оцінки, що різко виділяються із загального ряду, будуть відразу відкинуті.

Експертні оцінки часто використовуються при виборі, наприклад:

Один варіант технічного пристрою для запуску в серію з декількох зразків,

Групи космонавтів із багатьох претендентів,

Набір проектів науково-дослідних робіт для фінансування з маси заявок,

Одержувачів екологічних кредитів з багатьох бажаючих,

При виборі інвестиційних проектів для реалізації серед поданих і т.д.

Існує безліч методів отримання експертних оцінок. В одних із кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів. В інших експертів збирають разом для підготовки матеріалів для ЛПР, при цьому експерти обговорюють проблему один з одним, навчаються один у одного і невірні думки відкидаються. В одних методах кількість експертів фіксована і така, щоб статистичні методи перевірки узгодженості думок і потім їх усереднення дозволяли приймати обґрунтовані рішення. В інших - кількість експертів зростає в процесі проведення експертизи, наприклад, при використанні методу "снігової грудки" (про нього - далі).

Не менше існує й методів обробки відповідей експертів, зокрема дуже насичених математикою та комп'ютеризованих. Багато хто з них ґрунтується на досягненнях статистики об'єктів нечислової природи та інших сучасних методах прикладної статистики.

Один з найбільш відомих методів експертних оцінок – це метод "Дельфі". Назва дано за асоціацією з давнім звичаєм для отримання підтримки при ухваленні рішень звертатися до Дельфійського храму. Він був розташований біля виходу отруйних вулканічних газів. Жриці храму, надихавшись отрути, починали пророкувати, промовляючи незрозумілі слова. Спеціальні "перекладачі" - жерці храму тлумачили ці слова і відзначали на питання прочан, що прийшли зі своїми проблемами. За традицією кажуть, що Дельфійський храм був у Греції. Але там немає вулканів. Мабуть, він був в Італії – у Везувію чи Етни, а самі описані передбачення відбувалися у XII-XIV ст. Це випливає з найвищого досягнення сучасної історичної науки – нової статистичної хронології.

У 1960-х роках методом Дельфі назвали експертну процедуру прогнозування науково-технічного розвитку. У першому турі експерти називали ймовірні дати тих чи інших майбутніх звершень. У другому турі кожен експерт знайомився з прогнозами решти. Якщо його прогноз сильно відрізнявся від прогнозів основної маси, його просили пояснити свою позицію і часто він змінював свої оцінки, наближаючись до середніх значень. Ці середні значення видавалися замовнику як групове думка. Треба сказати, що реальні результати дослідження виявились досить скромними - хоча дата висадки американців на Місяць була передбачена з точністю до місяця, всі інші прогнози провалилися - холодного термоядерного синтезу та від раку в ХХ ст. людство не дочекалося.

Однак сама методика виявилася популярною – за наступні роки вона використовувалася не менше 40 тис. разів. Середня вартість експертного дослідження за методом Дельфі - 5 тис. доларів США, але в ряді випадків доводилося витрачати і більші суми - до 130 тис. доларів.

Дещо осторонь основного русла експертних оцінок лежить метод сценаріїв, що застосовується насамперед для експертного прогнозування. Розгляньмо основні ідеї технології сценарних експертних прогнозів. Екологічне чи соціально-економічне прогнозування, як і будь-яке прогнозування взагалі, може бути успішним лише за певної стабільності умов. Проте рішення органів влади, окремих осіб, інші події змінюють умови, і події розвиваються інакше, ніж раніше передбачалося. Цілком очевидно, що після першого туру президентських виборів 1996 про подальший розвиток подій можна було говорити лише в термінах сценаріїв: якщо в другому турі переможе Б.М. Єльцин, то буде те й те, якщо ж переможе Г.А. Зюганів, то події підуть так і так.

Метод сценаріїв необхідний у соціально-економічної чи екологічної області. Наприклад, при розробці методологічного, програмного та інформаційного забезпечення аналізу ризикухіміко-технологічних проектів необхідно скласти детальний каталог сценаріїв аварій, пов'язаних із витоком токсичних хімічних речовин. Кожен із таких сценаріїв описує аварію свого типу, зі своїм індивідуальним походженням, розвитком, наслідками, можливостями попередження.

Таким чином, метод сценаріїв - це метод декомпозиції завдання прогнозування, що передбачає виділення набору окремих варіантів розвитку подій (сценаріїв), що в сукупності охоплюють усі можливі варіанти розвитку. При цьому кожен окремий сценарій повинен допускати можливість досить точного прогнозування, а загальна кількість сценаріїв має бути доступна для огляду.

Можливість такої декомпозиції не очевидна. При застосуванні методу сценаріїв необхідно здійснити два етапи дослідження:

Побудова вичерпного, але доступного для огляду сценаріїв;

Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника.

Кожен із цих етапів лише частково формалізуємо. Істотна частина міркувань проводиться на якісному рівні, як це прийнято у суспільно-економічних та гуманітарних науках. Одна з причин полягає в тому, що прагнення до зайвої формалізації та математизації призводить до штучномувнесення певності там, де її немає по суті, або використання громіздкого математичного апарату. Так, міркування на словесному рівні вважаються доказовими в більшості ситуацій, тоді як спроба уточнити зміст слів, що використовуються, за допомогою, наприклад, теорії нечітких множин призводить до вельми громіздких математичних моделей.

Набір сценаріїв має бути доступним для огляду. Доводиться виключати різні малоймовірні події – приліт інопланетян, падіння астероїда, масові епідемії раніше невідомих хвороб тощо. Саме собою створення набору сценаріїв - предмет експертного дослідження. Крім того, експерти можуть оцінити ймовірність реалізації того чи іншого сценарію.

Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника, також здійснюється відповідно до описаної вище методології прогнозування. За стабільних умов можуть бути застосовані статистичні методи прогнозування часових рядів. Однак цьому передує аналіз за допомогою експертів, причому найчастіше прогнозування на словесному рівні є достатнім (для отримання цікавих дослідника та ЛПР висновків) і не потребує кількісного уточнення.

Як відомо, при ухваленні рішень на основі аналізу ситуації(як кажуть, при ситуаційному аналізі), у тому числі аналіз результатів прогнозних досліджень, можна виходити з різних критеріїв. Так, можна орієнтуватися те що, що ситуація складеться найгіршим, чи найкращим, чи середнім (у якомусь сенсі) образом. Можна спробувати намітити заходи, що забезпечують мінімально допустимі корисні результати за будь-якого варіанта розвитку ситуації, і т.д.

Ще один варіант експертного оцінювання – мозковий штурм. Організується він як збори експертів, на виступи яких накладено одне, але дуже суттєве обмеження – не можна критикувати пропозиції інших. Можна їх розвивати, можна висловлювати свої ідеї, але не можна критикувати! Під час засідання експерти, "заражаючись" один від одного, висловлюють дедалі більш екстравагантні міркування. Години через дві записане на магнітофон чи відеокамеру засідання закінчується, і починається другий етап мозкового штурму – аналіз висловлених ідей. Зазвичай зі 100 ідей 30 заслуговують на подальше опрацювання, з 5-6 дають можливість сформулювати прикладні проекту, а 2-3 виявляються в результаті приносять корисний ефект - прибуток, підвищення екологічної безпеки, оздоровлення навколишнього природного середовища і т.п. При цьому інтерпретація ідей – творчий процес. Наприклад, при обговоренні можливостей захисту кораблів від торпедної атаки було висловлено ідею: "Вибудувати матросів уздовж борту і дмухати на торпеду, щоб змінити її курс". Після опрацювання ця ідея призвела до створення спеціальних пристроїв, що створюють хвилі, що збиваються з курсу торпеду.

Основні стадії експертного опитування.Докладніше розглянемо окремі етапи експертного дослідження. Як свідчить досвід, з погляду менеджера - організатора такого дослідження доцільно виділяти такі стадії проведення експертного опитування.

1) Прийняття рішення про необхідність проведення експертного опитування та формулювання Особою, яка приймає рішення (ЛПР) її мети.Таким чином, ініціатива має виходити від керівництва, що надалі забезпечить успішне вирішення організаційних та фінансових проблем. Очевидно, що вихідний поштовх може бути дано доповідною запискою одного із співробітників або дискусією на нараді, але реальний початок роботи – рішення ЛПР.

2) Підбір та призначення ЛПР основного складу Робочої групи,скорочено РГ (зазвичай - наукового керівника та секретаря). При цьому науковий керівник відповідає за організацію та проведення експертного дослідження загалом, а також за аналіз зібраних матеріалів та формулювання висновку експертної комісії. Він бере участь у формуванні колективу експертів та видачі завдання кожному експерту (разом із ЛПР або його представником). Він сам – висококваліфікований експерт та визнаний іншими експертами формальний та неформальний керівник експертної комісії. Справа секретаря – ведення документації експертного опитування, вирішення організаційних завдань.

3) Розробка РГ(точніше, її основним складом, насамперед науковим керівником та секретарем) та затвердження у ЛПР технічного завдання на проведення експертного опитування. На цій стадії рішення про проведення експертного опитування набуває чіткості у часі, фінансовому, кадровому, матеріальному та організаційному забезпеченні. Зокрема, формується Робоча Група, у РГ виділяються різні групи фахівців – аналітична, економетрична (фахівці за методами), комп'ютерна, роботи з експертами (наприклад, інтерв'юерів), організаційна. Дуже важливо для успіху, щоб усі ці позиції були затверджені ЛПР.

4) Розробка аналітичною групою РГ докладного сценарію (тобто регламенту) проведення збору та аналізу експертних думок (оцінок).Сценарій включає насамперед конкретний вид інформації, яка буде отримана від експертів (наприклад, слова, умовні градації, числа, ранжирування, розбиття або інші види об'єктів нечислової природи). Наприклад, досить часто експертів просять висловитися у вільній формі, відповівши при цьому на деякі заздалегідь сформульовані питання. Крім того, їх просять заповнити формальну картку, у кожному пункті обравши одну із кількох градацій. Сценарій має містити й конкретні методи аналізу зібраної інформації. Наприклад, обчислення медіани Кемені, статистичний аналіз люсіанів, застосування інших методів статистики об'єктів нечислової природи та інших розділів прикладної статистики (про деякі з названих методів йтиметься нижче). Ця робота лягає на економетричну та комп'ютерну групу РГ. Традиційна помилка – спочатку зібрати інформацію, а потім думати, що з нею робити. В результаті, як показує сумний досвід, інформація використовується лише на 1-2%.

5) Підбір експертіввідповідно до їх компетентності. На цій стадії РГ складає список можливих експертів і оцінює ступінь їх придатності для запланованого дослідження.

6) Формування експертної комісії. На цій стадії РГ проводить переговори з експертами, отримує їхню згоду на роботу в експертній комісії (скорочено ЕК). Можливо, частина намічених РГ експертів не може увійти до експертної комісії (хвороба, відпустка, відрядження та ін.) або відмовляється з тих чи інших причин (зайнятість, умови контракту та ін.). ЛПР затверджує склад експертної комісії, можливо, викресливши чи додавши частину експертів до пропозицій РГ. Проводиться укладання договорів з експертами щодо умов їх роботи та її оплати.

7) Проведення збору експертної інформації.Часто перед цим проводиться набір та навчання інтерв'юерів – однієї з груп, що входять до РГ.

8) Комп'ютерний аналіз експертної інформаціїза допомогою включених до сценарію методів. Йому зазвичай передує введення інформації у комп'ютери.

9) При застосуванні згідно з сценарієм експертної процедури з кількох турів - повтореннядвох попередніх етапів.

10) Підсумковий аналіз експертних думок, інтерпретація отриманих результатіваналітичною групою РГ та підготовка заключного документаЕК для ЛПР.

11) Офіційне закінченнядіяльності РГ, у тому числі затвердження ЛПР заключного документа ЕК, підготовка та затвердження наукового та фінансового звітів РГ про проведення експертного дослідження, оплата праці експертів та співробітників РГ, офіційне припинення діяльності (розпуск) ЕК та РГ.

Розберемо докладніше окремі стадії експертного дослідження. Почнемо з підбору експертів: кадри вирішують усі! Які експерти - така й якість висновку експертної комісії.

Підбір експертівПроблема підбору експертів є однією з найскладніших у теорії та практиці експертних досліджень. Очевидно, як експерти необхідно використовувати тих людей, чиї міркування найбільше допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба прямо сказати, що немає методів підбору експертів, які напевно забезпечують успіх експертизи.Зараз ми не обговорюватимемо проблему існування різних "партій" серед експертів та звернемо увагу на різні інші сторони процедур підбору експертів.

У проблемі підбору експертів можна виділити дві складові. складання списку можливих експертів та вибір з них експертної комісії відповідно до компетентності кандидатів.

Складання списку можливих експертів полегшується тоді, коли аналізований вид експертизи проводиться багаторазово. У таких ситуаціях зазвичай ведеться реєстрможливих експертів, наприклад, у галузі державної екологічної експертизи або суддівства фігурного катання, з якого можна вибирати за різними критеріями або за допомогою датчика (або таблиці) псевдовипадкових чисел.

Як бути, якщо експертиза проводиться вперше, усталені списки можливих експертів відсутні? Однак і в цьому випадку кожен спеціаліст має певне уявлення про те, що потрібно від експерта в подібній ситуації. Для формування списку є корисний метод "снігової грудки",при якому від кожного фахівця, що залучається як експерт, отримують певну кількість (зазвичай 5 - 10) прізвищ тих, хто може бути експертом з тематики, що розглядається. Очевидно, деякі з цих прізвищ зустрічалися раніше у діяльності РГ, а деякі – нові. Кожного знову опитують за тією ж схемою. Процес розширення списку припиняється, коли нові прізвища практично перестають зустрічатися. У результаті виходить досить великий перелік потенційних експертів. Метод "снігової грудки"має й недоліки. Число турів до зупинки процесу нарощування кома не можна заздалегідь передбачити. Крім того, ясно, що якщо на першому етапі всі експерти були з одного "клану", дотримувалися в чомусь близьких поглядів або займалися подібною діяльністю, то і метод "снігової грудки" дасть, швидше за все, осіб із цього ж "клану" . Думки та аргументи інших "кланів" будуть втрачені. (Тут йдеться про те, що спільнота фахівців реально розбита на групи, названі вище "кланами", і спілкування йде в основному всередині "кланів". Неформальна структура науки, до якої належать "клани", досить складна для вивчення. Зазначимо тут, що "клани" зазвичай утворюються на основі великих формальних центрів (вузів, наукових інститутів), наукових шкіл.

Питання оцінки компетентності експертів щонайменше складний. Зрозуміло, що успішність участі у попередніх експертизах - добрий критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Однак, на жаль, найбільш цікаві та важливі унікальні експертизи великих проектів, які не мають аналогів. Використання формальних показників експертів (посада, вчені ступінь і звання, стаж, число публікацій...), очевидно, в сучасних умовах, що швидко змінюються, може мати лише допоміжний характер, хоча подібні показники найпростіше застосовувати.

Часто пропонують використовувати методи самооцінки та взаємооцінки компетентності експертів. Обговоримо їх, почавши з методу самооцінки, у якому експерт сам дає інформацію у тому, у яких галузях він компетентний, а яких - немає. З одного боку, хто краще може знати можливості експерта, аніж він сам? З іншого боку, при самооцінці компетентності швидше оцінюється міра самовпевненості експерта, ніж його реальна компетентність. Тим більше, що саме поняття "компетентність"суворо не визначено. Можна його уточнювати, виділяючи складові, але ускладнюється попередня частина діяльності експертної комісії. Досить часто експерт перебільшує свою реальну компетентність. Наприклад, більшість людей вважають, що вони добре розуміються на політиці, економіці, проблемах освіти та виховання, сім'ї та медицини. Насправді експертів (і навіть знаючих людей) у цих областях дуже мало. Бувають ухилення і в інший бік, надмірно критичне ставлення до своїх можливостей.

При використанні методу взаємооцінки, крім можливості прояву особистісних та групових симпатій та антипатій, грає роль мала поінформованість експертів про можливості один одного. У сучасних умовах досить хороше знайомство з роботами та можливостями один одного може бути лише у фахівців, які багато років (не менше 3-4) працюють спільно, в одній кімнаті, над однією темою. Саме про такі пари можна сказати, що вони разом пуд солі з'їлиПроте залучення таких пар фахівців не дуже доцільно, оскільки їхні погляди через схожість життєвого шляху занадто схожі один на одного.

Якщо процедура експертного опитування передбачає безпосереднє спілкування експертів, необхідно враховувати ще низку обставин. Велике значення мають їх особистісні (соціально-психологічні) якості. Так, один-єдиний " говорун" може паралізувати діяльність усієї комісії на спільному засіданні. До зриву можуть призвести і неприязні відносини членів комісії, і науковий і посадовий статус членів комісії, що сильно розрізняється. У таких випадках важливе дотримання регламенту роботи, розробленого РГ.

Необхідно наголосити, що підбір експертів – одна з основних функцій Робочої групи, і жодні методики підбору не знімають із неї відповідальності. Іншими словами, саме на Робочій групі лежить відповідальність за компетентність експертів, за їхню принципову здатність вирішити поставлене завдання. Важливою є вимога до ЛПР щодо затвердження списку експертів. При цьому ЛПР може як додати до комісії окремих експертів, так і викреслити деяких з них - з власних міркувань, з якими членам РГ та ЕК знайомитись немає необхідності.

Існує ряд нормативних документів, що регулюють діяльність експертних комісій у тих чи інших сферах. Прикладом є Закон Російської Федерації "Про екологічну експертизу" від 23 листопада 1995 р., в якому регламентується процедура експертизи "господарської або іншої діяльності, що намічається" з метою виявлення можливої ​​шкоди, яку може завдати аналізована діяльність навколишньому природному середовищу.

Про розробку регламенту проведення збору та аналізу експертних думок.Існує безліч методів отримання експертних оцінок. В одних із кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів, "кланів" та окремих колег. В інших експертів збирають разом для підготовки матеріалів для ЛПР, при цьому експерти обговорюють проблему один з одним, приймають чи відкидають аргументи один одного, навчаються один у одного, і невірні чи недостатньо обґрунтовані думки відкидаються. В одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і потім (у разі досить гарної узгодженості думок) їх усереднення дозволяли приймати обґрунтовані рішення з погляду економетрики. В інших - кількість експертів зростає в процесі проведення експертизи, наприклад, при використанні методу "снігової грудки" для формування команди експертів.

В даний час не існуєзагальноприйнятої науково обґрунтованої класифікації методів експертних оцінок і тим більше однозначних рекомендацій щодо їх застосування. Спроба силою затвердити одну з можливих точок зору на класифікацію методів експертних оцінок може завдати лише шкоди.

Однак для розповіді про різноманіття експертних оцінок необхідна якась робоча класифікація методів. Одну з таких можливих класифікацій ми даємо нижче, перераховуючи підстави, за якими ділимо експертні оцінки.

Одне з основних питань – що саме має надати експертна комісія в результаті своєї роботи – інформацію для ухвалення рішення ЛПР чи проект самого рішення? Від відповіді це методологічне питання залежить організація роботи експертної комісії, і він є першою підставою для розбиття методів.

МЕТА - ЗБІР ІНФОРМАЦІЇ ДЛЯ ЛПР. Тоді Робоча група має зібрати якомога більше інформації, що стосується справи, аргументів "за" і "проти" певних варіантів рішень. Корисний наступний метод поступового збільшення числа експертів. Спочатку перший експерт наводить свої міркування з питання, що розглядається. Складений ним матеріал передається другому експерту, який додає свої аргументи. Накопичений матеріал надходить до наступного - третього - експерта... Процедура закінчується, коли вичерпується потік нових міркувань.

Зазначимо, що експерти у розглянутому методі лише постачають інформацію, аргументи "за" та "проти", але не виробляють узгодженого проекту рішення. Немає жодної необхідності прагнути до того, щоб експертні думки були узгоджені між собою. Більше того, найбільшу користь приносять експерти з мисленням, яке відхиляється від масового. Саме від них слід очікувати найоригінальніших аргументів.

МЕТА - ПІДГОТОВКА ПРОЕКТУ РІШЕННЯ ДЛЯ ЛПР. Математичні методи в експертних оцінках застосовуються зазвичай саме для вирішення завдань, пов'язаних із підготовкою проекту рішення. При цьому часто некритично приймають догми узгодженості та одновимірності. Ці догми "кочують" з однієї публікації до іншої, тому доцільно їх обговорити.

ДОГМА УГОДНОСТІ. Часто без жодних підстав вважається, що рішення може бути прийняте лише на основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. При цьому відсіваються як некваліфіковані особи, які потрапили до складу експертної комісії з непорозуміння або з міркувань, що не мають відношення до їхнього професійного рівня, так і найбільш оригінальні мислителі, які глибше проникли в проблему, ніж більшість. Потрібно було б з'ясувати їхні аргументи, надати їм можливість для обґрунтування їх точок зору. Натомість їх думкою нехтують.

Буває й так, що експерти поділяються на дві або більше груп, які мають єдині груповіточки зору. Так, відомий приклад поділу фахівців при оцінці результатів науково-дослідних робіт на дві групи: "теоретиків", що явно віддають перевагу НДР, в яких отримані теоретичні результати, і "практиків", що вибирають ті НДР, які дозволяють отримувати безпосередні прикладні результати (мова йде про конкурсі НДР в академічному Інституті проблем управління (автоматики та телемеханіки)).

Іноді заявляють, що у разі виявлення двох або кількох груп експертів (замість однієї погодженої думки) опитування не досягло мети. Це не так! Мета досягнута – встановлено, що єдиної думки немає.Це дуже важливо. І ЛПР при ухваленні рішень має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-якою цілою може призводити до свідомого одностороннього підбору експертів, ігнорування всіх точок зору, крім однієї, найбільш улюбленої Робочої групи (або навіть "підказаної" ЛПР).

Часто не враховують ще одну суто економетричну обставину. Оскільки кількість експертів зазвичай не перевищує 20-30, то формальна статистична узгодженість думок експертів (встановлена ​​за допомогою тих чи інших критеріїв перевірки статистичних гіпотез) може поєднуватися з реально наявним поділом експертів на групи, що робить подальші розрахунки, що не мають відношення до дійсності. Для прикладу звернемося до конкретних методів розрахунків за допомогою коефіцієнтів конкордації (тобто – у перекладі – згоди) на основі коефіцієнтів рангової кореляції Кендала або Спірмена. За економетричною теорією позитивний результат перевірки узгодженості в такий спосіб означає ні більше, ні менше, як відхилення гіпотези про незалежність і рівномірну розподіл думки експертів на безлічі всіх ранжувань. Таким чином, перевіряється нульова гіпотеза, згідно з якою ранжирування, що описують думки експертів, є незалежними випадковими бінарними відносинами, рівномірно розподіленими на багатьох ранжуваннях. Відхилення цієї нульової гіпотези за поганою традицією тлумачиться як узгодженість відповідей експертів. Інакше кажучи, ми падаємо жертвою помилок, які з своєрідного тлумачення слів: перевірка узгодженості у зазначеному математико-статистическом сенсі зовсім перевіркою узгодженості у сенсі практики експертних оцінок. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжувань призвела групу фахівців до розробки нового економетричного апарату для перевірки узгодженості – непараметричних методів, заснованих на т.зв. люсіанахта входять до сучасного розділу економетрики - статистику нечислових даних). Групи експертів із близькими методами можна виділити економетричними методами кластер-аналізу.

ДУМКИ ДИСИДЕНТІВ. З метою штучно домогтися узгодженості намагаються зменшити вплив думок експертів. дисидентів, тобто. інакодумців у порівнянні з більшістю. ЖорсткийМетод боротьби з дисидентами полягає у ігноруванні їх думок, тобто. фактично у їхньому виключенні зі складу експертної комісії. Відбраковування експертів, як і відбраковування результатів спостережень (викидів), що різко виділяються, призводить до процедур, що мають погані або невідомі статистичні властивості. Так, відома крайня нестійкістькласичних методів відбракування викидів по відношенню до відхилень від передумов моделі (див., наприклад, навчальний посібник).

М'якийСпосіб боротьби з дисидентами полягає у застосуванні робастних (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта - дійсне число, то думка дисидента, що різко виділяється, сильно впливає на середню арифметичну відповідь експертів і не впливає на їх медіану. Тому розумно як узгоджену думку розглядати медіану. Однак при цьому ігноруються (не досягають ЛПР) аргументи дисидентів.

У будь-якому з двох способів боротьби з дисидентами ЛПР позбавляється інформації, що йде від дисидентів, а тому може ухвалити необґрунтоване рішення, яке згодом призведе до негативних наслідків. З іншого боку, подання ЛПР всього набору думок знімає частину відповідальності та праці щодо підготовки остаточного рішення з комісії експертів та робочої групи з проведення експертного опитування та перекладає ці відповідальність та працю на плечі ЛПР.

ДОГМА ОДНОМІРНОСТІ. У застарілій, а іноді й у сучасній науково-технічній літературі поширений досить спірний підхід так званої "кваліметрії", згідно з яким об'єкт експертизи завжди можна оцінити одним числом. Дивна ідея! Оцінювати людину одним числом спадало на думку лише на невільницьких ринках. Навряд чи навіть найзавзятіші кваліметристи розглядають книгу чи картину як еквівалент числа - її "ринкової вартості". Практично всі реальні об'єкти досить складні, тому скільки-небудь точно описати їх можна лише з допомогою багатьох і багатьох чисел, і навіть математичних об'єктів нечислової природи.

Водночас не можна повністю заперечувати саму ідею пошуку узагальнених показників якості, технічного рівня та аналогічних. Так, кожен об'єкт можна оцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна оцінювати за такими показниками:

витрати бензину на 100 км шляху (у середньому);

надійність (зокрема середня вартість ремонту протягом року);

екологічна безпека, що оцінюється за вмістом шкідливих речовин у вихлопних газах;

маневреність (у тому числі радіус повороту);

швидкість набору швидкості 100 км/год після початку руху; максимальна швидкість, що досягається;

тривалість збереження в салоні позитивної температури при низькій зовнішній температурі (наприклад, мінус п'ятдесят градусів за Цельсієм) та вимкненому двигуні;

дизайн (привабливість та "модність" зовнішнього вигляду та обробки салону);

вага, і т.д.

Чи можна звести оцінки за цими показниками разом? Зрозуміло, що визначальною є конкретна ситуація, на яку вибирається автомашина. Максимальна швидкість, що досягається, важлива для гонщика, але, як нам видається, не має великого практичного значення для водія рядової приватної машини, особливо в місті з суворим обмеженням на максимальну швидкість. Для такого водія важливіша витрата бензину, маневреність та надійність. Для машин різних служб державного управління, мабуть, надійність важливіша, ніж для приватника, а витрата бензину - навпаки. Для районів Крайньої Півночі важлива теплоізоляція салону, а для південних районів – ні. І т.д.

Таким чином, важливою є конкретна (вузька) постановка завдання перед експертами. Але такої постановки часто немає. А тоді "ігри" щодо розробки узагальненого показника якості - наприклад, у вигляді лінійної функції від перерахованих змінних - не можуть дати об'єктивних висновків. Альтернативою єдиного узагальненого показника є математичний апарат типу багатокритеріальної оптимізації- множини Парето і т.д.

У деяких випадках все-таки можна глобально порівняти об'єкти - наприклад, за допомогою тих же експертів отримати впорядкування об'єктів, що розглядаються - виробів або проектів. Тоді можна ПІДІБРАТИ коефіцієнти при окремих показниках так, щоб впорядкування за допомогою лінійної функції можливо точніше відповідало глобальному впорядкуванню(Наприклад, знайти ці коефіцієнти методом найменших квадратів). Навпаки, у таких випадках НЕ СЛІД оцінювати зазначені коефіцієнти за допомогою експертів. Ця проста ідея досі не стала очевидною для окремих укладачів методик проведення експертних опитувань та аналізу їх результатів. Вони наполегливо намагаються змусити експертів робити те, що вони виконають не в змозі- вказувати ваги, з якими окремі показники якості повинні входити до підсумкового узагальненого показника.

Експерти зазвичай можуть порівняти об'єкти або проекти в цілому, але не можуть вичленувати внесок окремих факторів . Якщо організатори опитування запитують, експерти відповідають,але ці відповіді не несуть у собі надійної інформації про реальність...

ДРУГЕ ПІДСТАВИ КЛАСИФІКАЦІЇ ЕКСПЕРТНИХ ПРОЦЕДУР - КІЛЬКІСТЬ ТУРІВ. Експертизи можуть включати один тур, певна фіксована кількість турів (два, три, ...) або невизначена кількість турів. Чим більше турів, тим ретельнішим є аналіз ситуації, оскільки експерти при цьому зазвичай багато разів повертаються до розгляду предмета експертизи. Але одночасно збільшується загальний час на експертизу та зростає її вартість. Можна зменшити витрати, запроваджуючи в експертизу не всіх експертів відразу, а поступово. Так, наприклад, якщо мета полягає у збиранні аргументів "за" та "проти", то початковий перелік аргументів може бути складений одним експертом. Другий додасть до нього свої аргументи. Сумарний матеріал надійде до першого та третього, які внесуть свої аргументи та контраргументи. І так далі – додається по одному експерту на кожен новий тур.

Найбільші складнощі викликають процедури із заздалегідь невизначеною кількістю турів, наприклад, "снігова куля". Часто задають максимально можливу кількість турів, і тоді невизначеність зводиться до того, чи доведеться проводити цю максимальну кількість турів, чи вдасться обмежитися меншим числом.

ТРЕТЯ ПІДСТАВА КЛАСИФІКАЦІЇ ЕКСПЕРТНИХ ПРОЦЕДУР - ОРГАНІЗАЦІЯ СПІЛКУВАННЯ ЕКСПЕРТІВ. Розглянемо переваги та недоліки кожного з елементів шкали: відсутність спілкування - заочне анонімне спілкування - заочне спілкування без анонімності - очне спілкування з обмеженнями - очне спілкування без обмежень. За відсутності спілкуванняексперт висловлює свою думку, нічого не знаючи про інших експертів та їх думки. Він повністю незалежний, що і добре, і погано. Зазвичай така ситуація відповідає однотуровій експертизі . Заочне анонімне спілкування, наприклад, як у методі Дельфі, означає, що експерт знайомиться з думками та аргументами інших експертів, але не знає, хто саме висловив те чи інше становище. Отже, в експертизі має бути передбачено хоча б два тури. Заочне спілкування без анонімностівідповідає, наприклад, спілкування через Інтернет. Всі варіанти заочної експертизи хороші тим, що немає необхідності збирати експертів разом, отже, знаходити для цього зручний час та місце.

За очних експертиз експерти говорять, а не пишуть, як при заочних, і тому встигають за той же час сказати значно більше. Очна експертиза з обмеженнямидуже поширена. Це - збори, що йдуть за фіксованим регламентом. Прикладом є військова рада в імператорській російській армії, коли експерти (офіцери та генерали) висловлювалися в порядку від молодшого (за чином та посадою) до старшого. Зрештою, очна експертиза без обмежень– це вільна дискусія. Усі очні експертизи мають недоліки, пов'язані з можливостями негативного впливу на їх проведення соціально-психологічних властивостей та кланових (партійних) уподобань учасників, а також нерівності їхнього професійного, посадового, наукового статусів. Уявіть собі, що зберуться разом 5 лейтенантів та 3 генерали. Незалежно від того, яка інформація є у того чи іншого учасника зустрічі, перебіг її передбачити неважко: генерали розмовлятимуть, а лейтенанти - мовчати. При цьому цілком очевидно, що лейтенанти здобули освіту пізніше генералів, а тому мають корисну інформацію, якої немає у генералів.

КОМБІНАЦІЯ РІЗНИХ ВИДІВ ЕКСПЕРТИЗИ. Реальні експертизи часто є комбінації різних описаних вище типів експертиз. Як приклад, розглянемо захист студентом дипломного проекту. Спочатку йде багатотурова очна експертиза, яку проводить науковий керівник та консультанти, в результаті студент готує проект до захисту. Потім два експерти працюють заочно - це автор відкликання сторонньої організації та завідувач кафедри, який допускає роботу до захисту. Зверніть увагу на відмінність завдань цих експертів та обсягів виконуваної ними роботи – один пише докладний відгук, другий розписом на титульному аркуші проекту дозволяє його захист. Нарешті – очна експертиза без обмежень (для членів ДАК – державної атестаційної комісії). Дипломний проект оцінюється колегіально, за більшістю голосів, причому один з експертів (науковий керівник) знає роботу докладно, а решта - в основному лише за доповіддю. Зазначимо, що думки експертів враховуються з вагами, а саме, думки членів ДАК – з вагою 1, думки решти – з вагою 0 (дорадчий голос). Таким чином, маємо поєднання багатотурової та однотурової, заочних та очних експертиз. Подібні поєднання характерні для багатьох експертиз, що реально проводяться.

Попередня

У кваліметрії експертний метод застосовується:

1) для вимірювання показників якості;

2) визначення значень вагових коефіцієнтів.

Однак він не є лише приналежністю кваліметрії. Експертний метод застосовується і при вимірі фізичних величин, у медицині (консиліуми), у мистецтві (журі), у соціально-політичній сфері (референдуми), у державному та господарському управлінні (колегіальність). Але саме потреби кваліметрії поставили цей метод вимірів на сувору наукову основу.

Незалежно від цілей та завдань застосування експертного методу передбачає дотримання наступних умов:

експертна оцінка повинна проводитися лише у тому випадку, коли не можна використовувати для вирішення питання об'єктивніші методи;

у роботі експертної комісії не має бути присутньою. Факторів, які б впливати на щирість суджень експертів; думки експертів мають бути незалежними;

питання, поставлені перед експертами, не повинні допускати різного тлумачення;

експерти мають бути компетентними у вирішуваних питаннях;

кількість експертів має бути оптимальною;

відповіді експертів мають бути однозначними та забезпечувати можливість їх математичної обробки.

Якісний склад експертної комісії – важлива умова ефективності експертного методу.Цілком очевидно, що в усіх без винятку випадках експертиза повинна проводитися грамотними, висококваліфікованими, цілком компетентними у питаннях, що розглядаються, і досить досвідченими фахівцями. Дуже корисним є їхнє спеціальне попереднє навчання і абсолютно необхідним - інструктаж. На завершальному етапі формування експертної групи доцільно провести тестування, самооцінку, взаємооцінку експертів, аналіз їхньої надійності та перевірку узгодженості думок.

Тестуванняполягає у вирішенні експертами завдань, подібних до реальних, з відомими (але не експертами) відповідями. На підставі результатів тестування встановлюється компетентність та профпридатність експертів.

СамооцінкаЕкспертів полягає у відповіді кожним з них у строго обмежений час на питання спеціально складеної анкети, внаслідок чого швидко та просто перевіряються ними ж самими їхні професійні знання та ділові якості. Оцінка їх дається кожним експертом з бальної системи. За всієї суб'єктивності такої оцінки досвід показує, що експертні групи з високими показниками самооцінки експертів помиляються меншою мірою.

Дуже показовою є взаємна оцінка експертами один одного(також по бальній системі). І тому вони повинні, зрозуміло, мати досвід спільної роботи.

За наявності відомостей про результати роботи експерта в інших експертних групах, критерієм його кваліфікації може стати показникабо ступінь надійності- Відношення числа випадків, коли думка експерта збіглася з результатами експертизи, до загальної кількості експертиз, в яких він брав участь. Використання цього підходу до відбору експертів потребує накопичення та аналізу великого обсягу інформації, але відкриває можливість безперервного вдосконалення якісного складу експертних груп.

Кожен експерт дає одне із значень відліку, що є, згідно з основним постулатом метрології, випадковим числом. Порядок та правила подальших дій розглянуті в гол. 2. Зокрема, одноразовий вимір експертним методом вимагає використання великого обсягу апріорної інформації. При візуальній топографічній зйомці, наприклад, велике значення має окомір експерта, при вимірі естетичних показників якості - його художній смак і т. д. Багаторазове вимірювання однієї і тієї ж фізичної (або іншої) величини постійного розміру, або показника якості може бути організовано з наступним усередненням експериментальних даних у часі (якщо вимір виконується одним експертом) чи з безлічі (якщо вимір проводиться одночасно кількома експертами). Перший спосіб застосовується рідко, так як суб'єктивні особливості експерта виступають у цьому випадку як постійно діючі фактори, що важко піддаються виключенню, компенсації або обліку. У другому способі вони виступають як випадкові і нівелюються при усередненні по множині. Відлік, отриманий групою експертів, є безліччю його окремих значень чи законом розподілу ймовірності. При великій кількості окремих значень відліку за правилом "трьох сигм" легко виявляються та усуваються помилкові. Якщо відлік підпорядковується нормальному закону розподілу ймовірності, його середнє арифметичне за кількості експертів п > 30 ... 40 теж підпорядковується нормальному закону, а за меншого їх числа - закону розподілу ймовірності Стьюдента. Інтервал можливих значень вимірюваної величини або показника якості на околицях середнього арифметичного значення з обраною довірчою ймовірністю встановлюється за графіками, наведеними на рис. 38.

При підборі експертів велика увага приділяється узгодженостіїх думок,яка характеризується зміщеною чи незміщеною оцінкою дисперсії відліку. З цією метою на етапі формування експертної групи проводяться контрольні виміри з математичною обробкою їх результатів. Нерідко при цьому використовується не один, а відразу кілька об'єктів вимірів, які в залежності від їхньої цінності або якості потрібно розставити за шкалою порядку, тобто. визначити їх ранг, бо вимір за шкалою порядку називається ранжуванням. За мірою узгодженості думок експертів у цьому випадку приймається так званий коефіцієнт конкордації.

де S -сума квадратів відхилень суми рангів кожного об'єкта експертизи від середнього арифметичного рангів; п- Число експертів; m -кількість об'єктів експертизи. Залежно від рівня узгодженості думок експертів коефіцієнт конкордації може набувати значення від 0 (за відсутності узгодженості) до 1 (за повної одностайності).

Приклад 75.Визначити ступінь узгодженості думок 5-ти експертів, результати ранжирування якими 7-ми об'єктів експертизи наведено у табл. 45.

Рішення.1. Середнє арифметичне рангів

2. Використовуючи результати проміжних обчислень, наведені в табл.45, отримуємо S= 630.

3. Коефіцієнт конкордації

Ступінь узгодженості думок експертів можна вважати задовільним.

Якщо ступінь узгодженості думок експертів виявляється незадовільним, вживають спеціальних заходів для його підвищення. Зводяться вони, в основному, до проведення тренувань з обговоренням результатів та розбором помилок. Якщо можливості для попередньої підготовки експертів немає, вимірювання експертним методом проводиться за методом Дельфи*.Характерними рисами цього методу є:

анонімність; експерти не зустрічаються один з одним, щоб уникнути впливу авторитету та красномовства будь-кого з них;

багатоетапність; після кожного туру опитування всі експерти знайомляться з думкою один одного і при необхідності подають письмові обґрунтування своїх точок зору. Погоджуючись чи не погоджуючись із думками своїх колег, вони можуть переглядати свою точку зору;

контроль; після кожного туру перевіряється узгодженість думок експертів доти, доки розкид окремих думок не знизиться до наперед обраного значення.

При особливо відповідальних вимірах експертним методом можуть враховуватися вагові коефіцієнти кваліфікації експертів.

* Цей метод вперше було запропоновано на початку 1950-х р. американськими вченими Т. Дж. Гордоном та О. Хелмером для вирішення військових проблем. Назва його походить від давньогрецького міста Дельфи, де за переказами при храмі Апполона з ІХ ст. до зв. е. за IV ст. н. е. існувала рада мудреців ("дельфійський оракул"), що славилася своїми пророкуваннями.

Кількість експертів також відіграє важливу роль.Зі зростанням числа експертів у групі точність виміру підвищується. Ця фундаментальна властивість будь-якого багаторазового виміру визначена виразом (11). Щоб скористатися ним визначення чисельності експертної групи n,що забезпечує задану точність вимірювання, потрібно знову-таки в підготовчий період встановити закон розподілу ймовірності відліку, одержуваного експертним методом, або хоча б його середнє квадратичне відхилення, які не залежать від n.Тоді за графіком на рис. 159, що відбиває залежність (11), можна знайти число експертів n,при якому середнє квадратичне відхилення середнього арифметичного буде відповідати необхідному. Вихідна чисельність експертної групи становить зазвичай щонайменше 7 людина. В окремих випадках вона досягає 15...20 експертів (масове опитування проводиться, як правило, лише за соціологічних досліджень). Якщо підготовчий період не визначено, то досягнення необхідної точності з допомогою розширення експертної групи досягається у процесі виміру експертним методом оскільки це показано на рис. 39.

У деяких випадках необхідно забезпечити максимально можливу точність вимірювання експертним методом. У цих випадках склад експертної групи доцільно обмежити такою кількістю експертів п,при якому відмінності між середніми арифметичними та оцінками дисперсій результатів вимірювань при nі n+ 1 експерти перестають бути значними. Ці умови перевіряються за алгоритмами, наведеними на рис. 41 та 43.

По тому, як формі експерти висловлюють свою думку, тобто. за способом проведення експертизи, розрізняють:

безпосередній вимір;

ранжування;

зіставлення.

При безпосередніх вимірахекспертним методом значення фізичних величин чи показників якості визначаються одразу у встановлених одиницях (чи то в одиницях СІ, чи то в балах, нормо-годинах, рублях, одиницях умовного палива тощо). Такі виміри можуть проводитися як за шкалою відносин, так і за шкалою інтервалів або шкалою порядку. Вимірювання за шкалою відносин вимагають наявності стандартів. До них відносяться органолептичні методи вимірювання довжини, маси, сили світла та багато інших. Безпосередній вимір вагових коефіцієнтів, сума яких повинна дорівнювати одиниці, провадиться за шкалою порядку. Значення цих коефіцієнтів розраховуються за формулою

де п -кількість експертів; m -число "зважуваних" показників; - Коефіцієнт вагомості j-го показника в балах, даний i-м експертом.

За реперними шкалами порядку вимірюється у балах сила морського хвилювання, сила землетрусів тощо. Безпосередньо шляхом приписування балів (зазвичай від 1 до 10) можуть вимірюватися за шкалою порядку такі властивості, котрим немає ні еталонів, ні об'єктивних критеріїв. В останньому випадку із співвідношення балів не можна робити будь-яких кількісних висновків.

Безпосередній вимір експертним методом є найскладнішим і пред'являє до експертів найвищі вимоги.

Ранжуванняполягає у розстановці об'єктів вимірювань чи показників у порядку їх переваги, за важливістю чи вагомістю. Місце, зайняте за такої розстановки, називається рангом.Чим вище ранг, тим кращий об'єкт, вагоміший, важливіший за показник.

Приклад ранжирування п'ятьма експертами семи об'єктів експертизи наведено у табл. 45. Якщо це, припустимо, художні твори, то результат виміру їх якості за шкалою порядку такий:

найкращим є сьоме, другим за якістю – четверте, потім – шосте, перше, друге, третє та п'яте. Якщо ж ранжування проводилося з метою визначення вагових коефіцієнтів g iдля семи показників якості, вони розраховуються за формулою (53), у якій - ранг j- го показника, встановлений i-м експертом, У прикладі 75

Зіставлення буває послідовним та попарним. Послідовне зіставленнякожного. Об'єкта експертизи із сукупністю всіх тих, що нижчі за ранг, дозволяє відкоригувати ранжований ряд, уточнити позиції об'єктів, що до нього входять, з урахуванням їх важливості. Воно має сенс тоді, коли кілька об'єктів експертизи можна як один складовий об'єкт тієї ж природи. Порядок послідовного зіставлення наступний.

1. Об'єкти експертизи розташовуються в порядку їхньої переваги (ранжування).

2. Найбільш важливому об'єкту приписується бал або ваговий коефіцієнт, що дорівнює 1; решті в порядку зменшення їх відносної значимості - бали або вагові коефіцієнти 1 до 0.

3. Порівнюється перший об'єкт із сукупністю решти. Якщо, на думку експерта, він кращий, ніж сукупність решти разом узятих, то результат його вимірювання в балах або ваговий коефіцієнт коригується у бік збільшення з таким розрахунком, щоб він став більше (іноді визначають і на скільки більше) суми балів або вагових коефіцієнтів решти об'єктів експертизи, які нижче рангом. В іншому випадку результат вимірювання або ваговий коефіцієнт першого об'єкта коригується у бік зменшення так, щоб він виявився меншим за суму балів або вагових коефіцієнтів інших об'єктів.

4. Зіставляється другий об'єкт із сукупністю решти, які стоять нижче рангом. За встановленим вище правилом коригується результат його вимірювання або значення вагового коефіцієнта (при цьому потрібно стежити, щоб не порушилася перевага першого об'єкта перед сукупністю решти, якщо воно встановлено на попередньому етапі). Така процедура зіставлень і коригувань триває до передостаннього об'єкта.

5. Отримані результати вимірів чи вагові коефіцієнти нормують, тобто. ділять на загальну суму балів чи вагових коефіцієнтів. Після цього вони набувають значення в межах від 0 до 1, а їх сума стає рівною 1.

Попарне зіставленнянайпростіше і найвиправданіше з психологічної погляду, розглянуто у прикладах 21 і 22. Як можна помітити, табл. 17 та 18 є надмірними. При попарному зіставленні достатньо даних, наведених у таблицях з одного боку від діагоналі. Перевага при цьому виражається вказівкою номера пріоритетного об'єкта так, як це показано в табл.46.

Бал j- го об'єкта чи вагомість j- го показника розраховуються за формулою (53). В даному випадку

де - Частота переваги i - м експертом j - го об'єкта експертизи; С - загальна кількість суджень одного експерта, пов'язана з кількістю об'єктів експертизи m(числом вимірюваних показників чи коефіцієнтів вагомості) співвідношенням

Приклад 76.Припустимо для простоти, що п'ять експертів висловили свою думку про шість об'єктів експертизи однаково: оскільки це представлено в табл. 46. ​​Визначити вагомість кожного об'єкта та 1 побудувати ранжований ряд.

Рішення 1. Частоти переваг

Тому отримані у п.3 значення G jможна розглядати вже як нормовані та, зокрема, використовувати як вагові коефіцієнти.

5. Ранжований ряд об'єктів експертизи має вигляд: №3; № 1;№2; №6; №5; №4.

Досвід попарного зіставлення по табл. 46 показує, що в силу особливостей людської психіки експерти іноді несвідомо віддають перевагу не тому об'єкту в черговій парі, що розглядається, який важливіший, а тому, який стоїть у переліку першим. Щоб уникнути цього, використовують вільну частину таблиці і проводять попарне зіставлення двічі (наприклад, спочатку першого об'єкта з другим, третім, четвертим і т.д., потім другого з першим, третім, четвертим, і так до останнього, а потім у зворотному порядку: останнього з передостаннім і до першого, передостаннього з останнім, попереднім... і знову до першого). Таким чином, кожна пара об'єктів зіставляється двічі, причому в різному порядку і через деякий час. При такому зіставленні, що називається повнимабо подвійним,вдається іноді уникнути випадкових помилок і, крім того, виявити експертів, які недбало ставляться до своїх обов'язків або не мають певної точки зору. Інакше кажучи, подвійне попарне зіставлення має більш високу надійність, ніж одноразове. Порядок розрахунків при ньому залишається незмінним, за винятком того, що С = т (т-1).

Уточнити результати вимірювань чи значення вагових коефіцієнтів, отримані попарним зіставленням, можна шляхом послідовного наближення.Початкові результати (див. п. 3 прикладу 76) розглядаються у разі як перше наближення. У другому наближенні вони використовуються як вагові коефіцієнти G j(1) суджень експертів. Отримані з урахуванням цих вагових коефіцієнтів нові результати у третьому наближенні розглядаються знову як вагові коефіцієнти G j(2) тих же думок експертів і т.д. Відповідно до теореми Перрона-Фробеніуса, за певних умов, які практично завжди виконуються, цей процес сходиться, тобто. нормовані результати вимірів g jабо вагові коефіцієнти прагнуть деяких постійних значень, суворо відбивають співвідношення між об'єктами експертизи за встановлених експертами вихідних даних.

Приклад 77. Результати повного попарного зіставлення одним експертом п'яти об'єктів експертизи представлені в табл. 47, подібною до табл. 18, з тією лише різницею, що з метою виключення з розгляду негативних чисел перевагу j-го об'єкта перед i-м позначено цифрою 2, рівноцінність-цифрою 1, а перевага i- го об'єкта перед j- м – цифрою 0.

Що можна сказати про результат вимірювання у третьому наближенні? Рішення.

1. У першому наближенні

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. У другому наближенні

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. У третьому наближенні

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значення g j ,наведені у табл. 47 помітно відрізняються в першому і третьому наближенні. З кожним наступним наближенням вони уточнюватимуть. У ході уточнення дедалі більше підкреслюється перевага першого об'єкта експертизи та низька значимість третього (щонайменше-п'ятого).

5. Якщо експертів кілька, то остаточні результати мають бути отримані шляхом усереднення даних.

Метод послідовного наближення дозволяє отримати суворі кількісні результати вимірювання за шкалою відносин, якщо відомо (або визначено експертним методом), у скільки разів вага або показник кращого з об'єктів експертизи перевищує вагу або такий самий показник гіршого об'єкта. У такому разі через це ставлення, а перевагу j- го об'єкта експертизи перед i- м виражається числом 1 + , рівноцінність - одиницею, а перевага i- го об'єкта перед j- м - числом 1 - , де

Після цього попарне зіставлення провадиться методом послідовного наближення. Процес уточнення значень g jпродовжується доти, поки точність не досягне заданої. Так як з кожним наближенням зміна g jстає все меншим і меншим, цю умову можна записати у вигляді , де зазвичай приймається = 0,001, якщо 1< <=1,5, и =0,01, если >5. При проміжних значеннях вибираються проміжні значення .

Після закінчення розрахунків фактичне відношення значень крайніх членів ранжованого ряду Ф порівнюється з вихідним . Якщо відношення близьке до одиниці, завдання вважається вирішеним. Інакше коригується та розрахунок повторюється.

Приклад 78. Найкращий об'єкт із шести за порівнюваним показником перевищує найгірший у 2,4 рази. Отже,

Думки експерта щодо об'єктів представлені в табл. 48.

Перейти до вихідних даних для обчислення вагових коефіцієнтів з точністю не нижче 0,5%.

6. Таким чином, вихідні дані обчислення вагових коефіцієнтів з необхідною точністю мають вигляд, наведений табл. 49.

Опитування експертів може бути очним та заочним, груповим та індивідуальним, персоніфікованим та анонімним. Свої думки експерти можуть висловлювати у письмовій (шляхом заповнення таблиць, анкет) або в усній формі (даваючи інтерв'ю, беручи участь у дискусії). Всі ці та будь-які інші варіанти експертного опитування мають свої переваги та недоліки, тому вибір того чи іншого з них здійснюється залежно від конкретних умов та обставин.