У традиційній тестології термін «надійність» означає відносне сталість, стійкість, узгодженість результатів тесту при первинному і повторному його застосуванні на одних і тих же випробовуваних.
Надійність методики - це критерій, який говорить про точність психологічних вимірювань, тобто дозволяє судити про те, наскільки вселяють довіру отримані результати.
В даний час надійність все частіше визначається на найбільш однорідних вибірках, тобто на вибірках, схожих за статтю, віком, рівнем освіти, професійної підготовки тощо
Різновидів надійності методик так само багато, як і умов, що впливають на результати діагностичних випробувань. Так як всі види надійності відображають ступінь узгодженості двох незалежно отриманих рядів показників, то математико-статистичний прийом, за допомогою якого встановлюється надійність методики, - це кореляції (по Пирсону або Спирмену). Надійність тим вище, чим більше отриманий коефіцієнт кореляції наближається до одиниці, і навпаки.
К.М. Гуревич запропонував тлумачити надійність як:
1. надійність самого вимірювального інструмента (коефіцієнт надійності);
2. стабільність досліджуваного ознаки (коефіцієнт стабільності);
3. константность, тобто відносну незалежність результатів від Особистості експериментатора (коефіцієнт константності).
Показник, що характеризує вимірювальний інструмент, пропонується називати коефіцієнтом надійності; показник, що характеризує стабільність вимірюваного властивості, - коефіцієнтом стабільності; а показник оцінки впливу Особистості експериментатора - коефіцієнтом константності. Саме в такому порядку рекомендується здійснювати перевірку методики: доцільно спочатку перевірити інструмент вимірювання. Якщо отримані дані задовільні, то можна переходити до встановлення міри стабільності вимірюваного властивості, а вже після цього при необхідності зайнятися критерієм константності. (Надійність: ретестовой, паралельних форм, частин тіла, по внутрішньої узгодженості, факторно-дисперсійних).
Валідність тесту - поняття, яке вказує нам, що тест вимірює і наскільки добре він це робить (А. Анастазі). Валідність за своєю суттю - це комплексна характеристика, що включає, з одного боку, відомості про те, чи придатна методика для вимірювання того, для чого вона була створена, а з іншого боку, яка її дієвість, ефективність, практична корисність.
З цієї причини не існує якогось єдиного універсального підходу до визначення валідності. Залежно від того, яку сторону валідності хоче розглянути дослідник, використовуються і різні способи доказу. Іншими словами, поняття валідності включає в себе різні її види, які мають свій особливий сенс. Перевірка валідності методики називається валидизация.
Валідність - відповідність конкретного дослідження прийнятим стандартам (бездоганному експерименту).
Валідність в першому її розумінні має відношення до самої методикою, тобто це валідність вимірювального інструмента. Така про-верка називається теоретичної валідизації. Валідність в другому її розумінні вже відноситься не стільки до методики, скільки до мети її використання. Це прагматична валидизация.
У психодіагностику проблеми надійності та валідності методик тісно взаємопов'язані, проте існує традиція роздільного викладу цих найважливіших характеристик.
1) від визначення поняття інтелекту, який є ту чи іншу концепцію цього феномена;
2) від складу тестових завдань, що розробляються відповідно до цієї концепції;
3) від емпіричних критеріїв.