Для оцінки якості прогнозу, розробленого із застосуванням формалізованих методів, прийнято використовувати такі характеристики як надійність, точність, достовірність, помилки прогнозу.
Під надійністю прогнозних розрахунків розуміється міра невизначеності поведінки об'єкта прогнозування в часі.
Достовірність прогнозу визначається ймовірністю здійснення прогнозу для заданого варіанта або довірчого інтервалу.
Точність прогнозу характеризує інтервальний розкид прогнозних траєкторій при фіксованому рівні достовірності.
Помилки прогнозу представляють собою міру відхилення прогнозних оцінок від реальних значень стану прогнозованого об'єкта.
Однак, описати такі характеристики як надійність, точність, достовірність, обчислити помилки прогнозу апріорі не представляється можливим, оскільки прогнозні результати нема з чим порівнювати. Тому і на сьогоднішній день перед розробниками прогнозів встає проблема: «Як оцінити якість прогнозу ще до його реалізації?». Певні кроки в бік поліпшення якості прогнозу можна зробити, вивчивши чинники, що впливають на показники якості прогнозу.
Якість вихідної інформації
Якість вихідної інформації, в свою чергу, визначається:
-точністю економічних вимірювань;
-відсутністю помилок узгодження (дані помилки виникають в тих випадках, коли вихідна інформація для проведення прогнозних розрахунків готується різними фахівцями, які використовують різні методологічні підходи).
Результат прогнозу, розробленого формалізованим методом, найчастіше виражається кількісним показником, яким може бути дана точкова () і (або) інтервальна оцінка ().
Точкова оцінка () - це одинична оцінка прогнозного параметра. Точкові значення економічних величин позбавлені змісту, так як мають нульову ймовірність. Для усунення цього недоліку прогноз має бути дана в вигляді інтервалу значень.
Інтервальна оцінка () - це числовий інтервал (довірчий інтервал), в якому, ймовірно, знаходиться прогнозний параметр.
Точність прогнозу тим вище, чим менше величина помилки, яка являє собою різницю між прогнозованими і фактичними значеннями досліджуваної величини. Поняття точності прогнозу і методи її оцінки відрізняються від точності вихідних даних. Точність вихідних даних може бути однозначно оцінена на етапі збору інформації як ступінь наближення результатів вимірювань до істинного значення вимірюваної величини. На практиці часто кількісну оцінку точності замінюють зазначенням помилки вимірювання (похибки), яка визначається як різниця між оцінюваним результатом і результатом, отриманим більш точним методом. У прогнозних значеннях (до настання прогнозованої події) точність зазвичай також виражається як похибка, але за допомогою імовірнісних меж відхилення фактичної величини від прогнозованого значення, які прийнято називати довірчим інтервалом.
Зауважимо, що прогнозовані значення повинні реалізуватися у відповідний час з вказаною ймовірністю і лежати всередині деякої довірчої області, ширина якої залежить від заданої ймовірності.
Математична ймовірність () випадкової величини дорівнює відношенню числа подій, що сприяють її появі (тобто звершення прогнозу) до загальної кількості подій (сприятливих і несприятливих). Чисельне значення ймовірності прогнозу лежить в межах від 0 до 1.
Очевидно, що точність прогнозу максимальна при побудові точкового прогнозу. Але побудувати його з високим ступенем ймовірності часто не представляється можливим.
У той же час межі довірчого інтервалу можна задати такими широкими, що прогнозоване значення потрапить туди з будь ймовірністю, включаючи Р = 0 і Р = 1. Такий прогноз називається абсолютно достовірним. Однак межі довірчого інтервалу будуть настільки широкими, що отриманий прогноз не матиме практичної цінності для прийняття управлінських рішень. На практиці досить мати ймовірність прогнозу 0,7-0,95.
Під достовірністю прогнозу розуміється ймовірність здійснення прогнозу в заданому довірчому інтервалі.
Умовна графічна інтерпретація довірчого інтервалу показника у при заданої ймовірності Р представлена на рис. 2.3.
Мал. 2.3. Графічна інтерпретація кордонів довірчого інтервалу
Існують неформальний і формальний способи визначення довірчого інтервалу. Неформально довірчий інтервал може бути визначений експертами з урахуванням ступеня мінливості фактичних значень показників навколо розрахункових (теоретичних) значень в минулому і можливості деформації в майбутньому. При цьому експертам може бути запропоновано оцінити сумарну величину помилки або ступінь впливу різних складових на точність прогнозу. Сумарна помилка рішення прогнозної завдання визначається за формулою
де - сумарна помилка;
- помилки інформації, обумовлені неадекватністю опису об'єкта, похибками отримання і обробки інформації;
- помилки методу прогнозування, викликані неможливістю ідеального вибору метола для даного об'єкта, а також обов'язкової схематичність методу;
- помилки обчислювальних процедур;
- помилки, допущені людиною і обумовлені суб'єктивними факторами (низька кваліфікація, захопленість, песимізм);
- нерегулярне складова помилки, обумовлена можливістю появи непередбачених змін в об'єкті.
Формально кордону довірчого інтервалу можна визначити на основі оцінки мінливості рівнів ряду. Чим вище ця мінливість, тим менш точними може бути розрахункова величина і тим ширше повинен бути довірчий інтервал при одній і тій же ймовірності прогнозу.
На практиці, отримуючи прогнозний результат у вигляді точкового значення. необхідно вказати і можливу величину помилки. тобто перейти до інтервального прогнозу по формулі
де - точкове значення прогнозної характеристики;
- інтервальний значення прогнозної характеристики;
- ймовірна помилка прогнозу.
Для визначення меж довірчого інтервалу використовується вираз
де - середньоквадратичне відхилення; - критерій Стьюдента.
Величина середньоквадратичного відхилення розраховується за формулою
де - фактичне значення досліджуваної характеристики на ділянці ретроспекції;
- розрахункове значення досліджуваної характеристики на ділянці ретроспекції;
п - число спостережень (розмір вибірки).
Середньоквадратичне відхилення характеризує, наскільки точно теоретична крива описує поведінку досліджуваної характеристики в минулому. Величина визначає мінімальну помилку прогнозу. Вона залежить, з одного боку, від коректності моделі, з іншого - від стабільності досліджуваної характеристики в минулому.
- критерій Стьюдента, значення якого залежить від розміру вибіркової сукупності і заданої ймовірності прогнозу, використання цього коефіцієнта визначається обмеженістю вибірки (табличні значення критерію Стьюдента наведені в додатку. Критерій Стьюдента дозволяє врахувати ту обставину, що чим вище задана ймовірність прогнозу і чим менше розмір вибірки, тим ширше повинні бути межі довірчого інтервалу.
Після настання прогнозованої події помилка прогнозу визначається як різниця між фактичним і прогнозним значенням показника. Існує кілька способів кількісної оцінки помилки прогнозу, наприклад, помилка прогнозу або похибка для кожного моменту часу, в якому розглядається прогноз:
де - помилка прогнозу в момент часу t,
- фактичне значення в момент часу t,
- прогнозне значення в момент часу t.
Для узагальненої оцінки методу прогнозування на практиці разом з показником середньоквадратичного відхилення можуть бути використані й інші способи оцінки середньої помилки прогнозу (похибки):
-середнє абсолютне відхилення (mean absolute derivation, MAD). Використання цього показника має сенс, коли досліднику необхідно оцінити помилку в тих же одиницях, що і вихідний ряд:
-середня процентна помилка (mean percentage error, МРЕ) дозволяє оцінити можливий зсув прогнозу, коли отриманий прогноз виявиться завищеним або заниженим. При незміщеної прогнозі маємо величину помилки, близьку до нуля, при підвищеному - велике позитивне значення у відсотках, при заниженому - велике негативне:
середня абсолютна помилка у відсотках (mean absolute percentage error, MAPE):
Наведені вище способи оцінки якості прогнозу дозволяють здійснити порівняння результатів, отриманих різними методами прогнозування, і вибрати найбільш прийнятний метод для вирішення прогнозної завдання.