Валідність: що це в психології, види і як її перевіряють

Кожна методика щось обіцяє: виміряти тривогу, мотивацію, готовність дитини до школи. Але обіцянка і результат — не одне й те саме. Питання «а що ця шкала вимірює насправді?» має в психології власну назву — валідність. Для практика воно цілком приземлене: від відповіді залежить, чи можна за набраними балами говорити щось про конкретну людину і чи не зашкодить цей висновок.

Що таке валідність простими словами

Валідність (англ. validity) — це ступінь, до якого наявні дані й теорія підтверджують тлумачення результатів методики для тієї мети, заради якої її взяли. Визначення здається громіздким, але кожне слово в ньому працює: валідність не ярлик «хороший тест — поганий тест», вона стосується конкретного висновку про конкретних людей у конкретній ситуації.

Саме так поняття трактують чинні професійні стандарти тестування, ухвалені спільно американськими асоціаціями освітніх досліджень, психологів і фахівців із вимірювання. У їхній редакції валідність — єдина цілісна властивість, а звичні «види» валідності є лише різними джерелами доказів на її користь. Ще 1995 року Семюел Мессік доводив, що валідність узагалі варто розуміти як інтегроване оцінне судження про обґрунтованість тлумачення балів, а не як набір окремих коефіцієнтів у технічному описі.

Є й радикальніший погляд. Група нідерландських методологів на чолі з Денні Борсбумом запропонувала повернути поняттю предметний зміст: методика валідна тоді, коли вимірювана властивість реально існує і її зміни причинно впливають на відповіді людини. Ця позиція зміщує акцент із таблиці кореляцій на механізм: питання не в тому, з чим корелює шкала, а в тому, чому люди відповідають саме так. Суперечка між двома підходами триває дотепер і давно вийшла за межі психології — її розбирають і філософи науки в розділах про психометричні моделі.

Навіщо валідність практичному психологу

Валідність — не академічна формальність, вона починає працювати в момент, коли фахівець обирає методику під запит. Один і той самий опитувальник може бути прийнятним для скринінгу, придатним для відстеження динаміки в терапії й геть непридатним для експертизи чи добору персоналу, бо для кожного з цих завдань потрібні свої докази.

Друга причина — відповідальність за висновок. Якщо за результатами тестування дитину переводять на інший освітній маршрут, а дорослому радять звернутися до психіатра, підставою є не назва методики й не її популярність, а накопичені свідчення того, що бали справді пов'язані з явищем, про яке йдеться. Уміння показати ці свідчення — частина професійної етики, а не педантизм.

На практиці перевірка виглядає буденно. У посібнику до методики шукають, на якій вибірці її валідували, з чим порівнювали бали, які показники отримали і для яких саме рішень автори вважають шкалу придатною. Якщо в описі є лише рік створення і фраза «методика широко застосовується», доказів валідності немає — є традиція використання, а це зовсім інше.

Валідність і надійність: метафора мішені

Найзручніше розрізняти два поняття через стрільбу по мішені. Надійність — це купчастість: стріли лягли поруч, тобто вимірювання відтворюване і не залежить від дня, настрою чи того, хто його проводить. Валідність — влучання саме в те коло, у яке цілилися.

Звідси два наслідки, які постійно плутають. Ненадійна методика валідною бути не може: якщо результат стрибає від заміру до заміру, він не відображає нічого стійкого. А от надійна методика невалідною буває легко — стріли лягли купно, просто в чужу мішень. Класичний випадок: опитувальник, який замість заявленої риси стабільно й точно ловить схильність людини відповідати соціально бажано.

Тому надійність — умова необхідна, але недостатня. Способи оцінити стабільність результату, похибку вимірювання й внутрішню узгодженість шкали описує психометрія; саме звідти беруться коефіцієнти, які прийнято наводити в першому ж абзаці опису методики.

Види валідності

Докази валідності групують за джерелом. Розрізняти ці групи варто не заради класифікації в конспекті, а тому що кожна відповідає на власне питання.

Змістова валідність запитує, чи охоплюють пункти всю область, яку методика заявляє. Її встановлюють аналізом предметної царини та експертною оцінкою. Іспит із загальної психології, зібраний із самих лише питань про дати й імена, змістово невалідний, навіть якщо кожне завдання бездоганно сформульоване.

Критеріальна валідність порівнює бали із зовнішнім показником. Коли показник вимірюють одночасно з тестуванням, говорять про поточну валідність — наприклад, результат шкали депресії звіряють із висновком клінічного інтерв'ю того ж дня. Коли показник з'явиться в майбутньому, це прогностична валідність: чи передбачає бал вступного випробування академічну успішність через два роки. Саме прогностична валідність є головним аргументом на користь того, що коефіцієнт інтелекту взагалі щось означає за межами самого тесту.

Конструктна валідність найскладніша, бо конструкт — тривожність, самоефективність, перфекціонізм — не можна побачити напряму. Лі Кронбах і Пол Міл 1955 року запропонували перевіряти його через мережу теоретичних передбачень: із чим властивість має бути пов'язана, а з чим — ні. Звідси дві звичні половини: конвергентна валідність (нова шкала тривоги узгоджується з визнаними шкалами тривоги) і дискримінантна (вона ж не зливається зі шкалою депресії настільки, що їх стає неможливо розрізнити).

Очевидна валідність стоїть осторонь: це враження досліджуваного, що методика виглядає доречною. Вона впливає на готовність відповідати серйозно, тож нехтувати нею не варто, але доказом вона не є взагалі. Саме на очевидній валідності тримається популярність більшості сумнівних методик.

Як валідність доводять: приклад шкали депресії

Абстрактне визначення легше вкласти в голову через конкретну історію валідації. Дев'ятипунктова шкала депресії опитувальника здоров'я пацієнта стала світовим стандартом скринінгу не тому, що коротка, а тому, що її перевіряли з кількох боків одразу.

У дослідженні Курта Кроенке, Роберта Спітцера й Дженет Вільямс 2001 року шкалу заповнили шість тисяч пацієнтів у восьми клініках первинної ланки та семи акушерсько-гінекологічних. Критеріальну валідність перевіряли на підвибірці з 580 осіб: бали зіставляли з незалежним структурованим інтерв'ю фахівця з психічного здоров'я. При порозі 10 балів і вище чутливість і специфічність щодо великого депресивного розладу склали по 88 відсотків.

Конструктну валідність підтверджували інакше: зі зростанням балів послідовно погіршувався функціональний стан за всіма шкалами опитувальника здоров'я, більшало днів непрацездатності та звернень по медичну допомогу — тобто шкала поводилася саме так, як мала б поводитися міра тяжкості депресії. Через цей набір доказів тест на депресію PHQ-9 і називають валідованим інструментом. З тієї ж причини він лишається скринінгом, а не діагнозом: 12 відсотків пропущених випадків на порозі в 10 балів означають, що остаточне рішення завжди за клінічним інтерв'ю.

Той самий шлях проходить будь-яка нова методика. Уявімо психологиню, яка складає коротку шкалу професійного вигорання для працівників кол-центру. Спершу вона описує, з чого складається явище, і просить кількох досвідчених колег оцінити, чи не випало щось істотне, — це робота на змістову валідність. Далі дає свою шкалу разом із визнаним опитувальником вигорання і разом зі шкалою тривоги: збіг із першим має бути високим, із другою — помітно меншим, інакше нова шкала просто дублює загальний дистрес під новою назвою. Потім чекає пів року й дивиться, чи справді ті, хто набрав багато балів, частіше брали лікарняні та звільнялися. І лише після цього має право написати в описі, що бали придатні для оцінки ризику вигорання в цій професійній групі — і поки що тільки в ній.

Внутрішня і зовнішня валідність дослідження

Слово «валідність» вживають і щодо дослідження загалом — це споріднена, але інша розмова. Ще 1957 року Дональд Кемпбелл розділив два питання: чи справді зміну спричинило втручання і чи діє висновок за межами цього конкретного дослідження.

Внутрішня валідність про перше. Їй загрожують сторонні події, що сталися паралельно з експериментом, природне дозрівання учасників, відсів тих, кому було найважче, ефект повторного тестування і регресія до середнього, через яку найгірші початкові результати самі собою поліпшуються при повторному замірі. Контрольна група і випадковий розподіл учасників існують рівно для того, щоб відсікти ці альтернативні пояснення.

Зовнішня валідність про друге: чи переноситься результат на інших людей, інші умови й інший час. Бездоганно контрольований експеримент на тридцяти студентах-психологах, які брали участь заради додаткових балів, може мати високу внутрішню й дуже скромну зовнішню валідність. Тут усе впирається в репрезентативність вибірки, і між двома видами валідності майже завжди доводиться шукати компроміс: що жорсткіший лабораторний контроль, то менше ситуація схожа на життя.

Типові помилки і чому «тест із соцмереж» нічого не вимірює

Найпоширеніша помилка — судити про методику за враженням від неї. Узагальнені формулювання підходять майже кожному, і читач приймає впізнавання себе за точність вимірювання. Це та сама пастка, через яку персональним здається гороскоп: суб'єктивна переконливість не є валідністю. На ній тримається, зокрема, тест Люшера, популярність якого набагато старша за спроби його перевірити.

Друга помилка — саморобні шкали. Дженніфер Флейк і Ейко Фрід 2020 року показали, що в психологічних публікаціях часто не повідомляють елементарного: звідки взято шкалу, чи змінювали в ній пункти, чи існують хоч якісь докази валідності. Дослідники назвали це сумнівними практиками вимірювання — питання формулюють «під себе», а потім рахують кореляції так, ніби інструмент перевірений.

Третя — довіра до назви. Дві шкали з однаковим найменуванням можуть вимірювати різні речі, а дві з різними — те саме. Дивитися варто на пункти й на докази, а не на обкладинку.

Четверта — перенесення без адаптації: перекладений опитувальник не успадковує валідність оригіналу автоматично, потрібні нова вибірка, нові норми й нові докази. І остання: валідність не видають довічно. Змінилася популяція, мета застосування чи спосіб проведення — потрібні свіжі свідчення. Тим, хто готується до ЄФВВ з психології, саме ця логіка приносить найбільше балів: питання майже завжди про те, який доказ потрібен для якого висновку.

Насправді і поширені міфи

Що найчастіше говорять про валідність — і як воно є насправді:

Насправді	Поширений міф
Валідність стосується тлумачення балів для конкретної мети	Валідність — вроджена властивість самого тесту
Надійна методика може стабільно вимірювати зовсім не те	Стабільний результат означає, що тест валідний
Правдоподібний вигляд питань нічого не доводить	Якщо питання виглядають доречними, тест працює
Докази накопичуються й потребують оновлення	Тест валідували один раз — і назавжди
Валідований скринінг лише сортує, діагноз ставить фахівець	Валідований тест може поставити діагноз
Переклад вимагає нової вибірки, норм і перевірки	Перекладена методика лишається валідною

Джерела

• APA Dictionary of Psychology: validity (визначення валідності та її різновидів).
• American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for Educational and Psychological Testing. AERA, 2014. (валідність як єдина властивість; джерела доказів)
• Cronbach L. J., Meehl P. E. Construct validity in psychological tests. Psychological Bulletin, 1955; 52(4):281–302. PMID: 13245896.
• Messick S. Validity of psychological assessment. American Psychologist, 1995; 50(9):741–749. DOI: 10.1037/0003-066X.50.9.741.
• Borsboom D., Mellenbergh G. J., van Heerden J. The concept of validity. Psychological Review, 2004; 111(4):1061–1071. DOI: 10.1037/0033-295X.111.4.1061 · PMID: 15482073.
• Kroenke K., Spitzer R. L., Williams J. B. W. The PHQ-9: validity of a brief depression severity measure. Journal of General Internal Medicine, 2001; 16(9):606–613. Повний текст
• Campbell D. T. Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 1957; 54(4):297–312. DOI: 10.1037/h0040950.
• Flake J. K., Fried E. I. Measurement Schmeasurement: Questionable Measurement Practices and How to Avoid Them. Advances in Methods and Practices in Psychological Science, 2020; 3(4):456–465. DOI: 10.1177/2515245920952393.
• Tal E. Measurement in Science (розділ про психометричні моделі й конструктну валідність). Stanford Encyclopedia of Philosophy, 2020.