Вибірка в психології: види, обсяг і типові помилки відбору

Психолог майже ніколи не досліджує всіх, кого стосується його питання. Неможливо опитати всіх старшокласників країни, обстежити всіх людей із депресивним розладом чи простежити долю всіх випускників психологічних факультетів. Тому в реальному дослідженні працюють із невеликою частиною людей, а висновок роблять про ціле. Від того, як цю частину дібрано, залежить, чи означає результат бодай щось за межами тих кількох десятків осіб, які погодилися взяти участь.

Що таке вибірка простими словами

Вибірка — це частина генеральної сукупності, дібрана для дослідження, щоб на підставі її даних робити висновки про сукупність загалом; так це поняття визначає словник Американської психологічної асоціації. Генеральна сукупність — усі об'єкти, на які дослідник хоче поширити висновок: усі старшокласники країни, усі клієнти конкретного центру, усі психологи, що працюють із травмою.

Поруч із цими двома поняттями завжди стоїть третє — основа вибірки, тобто реальний перелік, з якого фактично відбирають: список класів у школі, реєстр фахівців, база електронних адрес, учасники спільноти. Саме розрив між сукупністю, про яку хочеться говорити, і основою, з якої беруть людей, породжує першу й найтихішу помилку. Якщо в базі немає тих, хто не користується інтернетом, жоден бездоганний спосіб відбору вже не поверне їх у дослідження — вони випали ще до першого кроку.

Варто розрізняти й дві сусідні речі: одиницю відбору й одиницю аналізу. Якщо дослідник випадково обирає двадцять шкіл, а потім аналізує відповіді двох тисяч учнів, відбирав він школи, а не дітей, — і рахувати результат так, ніби кожна дитина потрапила в дослідження незалежно, вже не можна. Учні однієї школи схожі між собою більше, ніж двоє випадкових підлітків країни, тож реальної інформації у двох тисячах анкет менше, ніж здається.

Навіщо психологу думати про вибірку

Є щонайменше три ситуації, у яких це питання перестає бути академічним.

Перша — норми методик. Сирий бал у тесті сам собою не означає нічого: сенс він отримує лише в порівнянні з тим, як відповідали інші люди. Норми, з якими зіставляють результат клієнта, зібрані на конкретній вибірці стандартизації, і якщо вона складалася зі студентів одного міста, підстав застосовувати ці норми до шістдесятирічного пацієнта немає. Тому в описі будь-якої серйозної методики — від тесту «Велика п'ятірка» до клінічних шкал — окремо зазначено, на кому її нормували.

Друга — саме право узагальнювати. Відкритий університетський підручник зі статистичного мислення формулює це так: випадковий відбір дає право перенести висновок із вибірки на сукупність, а випадковий розподіл між умовами — право говорити про причину. Це дві різні процедури, які студенти плутають чи не найчастіше: рандомізація в експерименті нічого не каже про те, на кого поширюється результат.

Третя — зв'язки між змінними. Будь-яка кореляція існує не «взагалі», а в тій групі, де її порахували. На малій і випадковій за складом групі коефіцієнт легко перестрибує з помітного мінуса в помітний плюс просто через те, кого саме вдалося залучити.

Ймовірнісні способи відбору

Головна ознака цієї сім'ї методів одна: кожен член сукупності має відому й ненульову ймовірність потрапити у вибірку. Лише за цієї умови статистика має право рахувати похибку й довірчі інтервали.

• Проста випадкова вибірка — усіх пронумеровано, відбір іде генератором випадкових чисел.
• Систематична — беруть кожного k-го зі списку після випадкового старту.
• Стратифікована — сукупність спершу ділять на страти (курс, стать, регіон, тип закладу), а потім відбирають усередині кожної, зазвичай пропорційно її частці.
• Кластерна — випадково відбирають цілі готові групи: школи, класи, відділення клінік, — і працюють з усіма, хто в них є.

Класичний виклад цих схем — підручник Вільяма Кокрена з технік вибіркового відбору, який від 1977 року залишається основою для курсів методології. У психології ймовірнісний відбір трапляється рідше, ніж хотілося б: він дорогий і потребує повної основи вибірки, якої часто просто не існує. Найчастіше до нього вдаються там, де сукупність обмежена й описана, — учні одного району, працівники підприємства, пацієнти відділення за рік. У таких межах випадковий відбір цілком реальний навіть для дипломної роботи, і це майже завжди сильніший хід, ніж «опитала тих, хто погодився».

Неймовірнісні способи відбору

Тут ймовірність потрапляння у вибірку невідома, бо люди приходять не за жеребом, а через доступність або власне рішення. Порахувати похибку такої вибірки нічим: формули статистичного висновку побудовані на випадковому відборі, і без нього довірчий інтервал перетворюється на прикрасу.

• Зручна вибірка — беруть тих, хто поруч: студентів свого курсу, підписників сторінки, клієнтів одного центру.
• Квотна — набирають «схожу» за статтю й віком структуру, але всередині квот учасники все одно приходять самі.
• Снігова куля — перші учасники приводять наступних; часто це єдиний реалістичний доступ до закритих груп.
• Цільова — дослідник свідомо шукає носіїв рідкісного досвіду, наприклад фахівців із конкретною спеціалізацією.

Ці методи не «погані»: якісні дослідження, пілотні заміри, робота з рідкісними станами інакше й не робляться. Погана — лише мовчазна підміна, коли результат зручної вибірки подають як картину по країні. Наскільки це серйозно, показало велике порівняння: дев'ять комерційних онлайн-панелей відповідали на однакову анкету, і всі до одної містили більше громадсько активних людей, ніж їх є насправді, а для окремих етнічних груп середнє зміщення оцінок перевищувало десять відсоткових пунктів. При цьому панелі відрізнялися між собою — тобто «онлайн-опитування» саме собою не є ні гарантією, ні вироком.

Скільки учасників потрібно

Питання «скільки людей набрати» має технічну відповідь: стільки, щоб дослідження мало достатню статистичну потужність — шанс виявити ефект, якщо він справді існує. Джейкоб Коен запропонував орієнтир 0,80 і показав на простих таблицях, що для порівняння двох незалежних груп із середнім за величиною ефектом потрібно приблизно 64 особи в кожній групі. Меншим числом обмежитися можна, але тоді дослідник наперед погоджується не побачити реальний ефект і потім пояснювати «незначущість» чим завгодно.

Сьогодні такий розрахунок роблять до збору даних у безкоштовних програмах аналізу потужності, найпоширеніша з яких — G*Power. Ціну недооцінки добре видно з кризи відтворюваності: у масштабному проєкті 2015 року повторили сто досліджень із провідних журналів, і значущий результат отримали лише близько третини реплікацій, а середній розмір ефекту впав приблизно вдвічі. Малі вибірки — не єдина причина того провалу, але одна з головних.

Кого психологія вивчала насправді

Ще одна незручна арифметика стосується складу учасників. Аналіз публікацій шести провідних журналів Американської психологічної асоціації за 2003–2007 роки показав: близько 68 % вибірок походили зі США, а 96 % — із західних індустріальних країн, де живе приблизно 12 % населення планети. Через два роки цю картину узагальнили в поняття «дивних» вибірок (англ. WEIRD — із західних, освічених, індустріалізованих, багатих і демократичних суспільств): саме ці люди в багатьох міжкультурних порівняннях виявляються не типовими представниками людства, а радше крайнім випадком.

Усередині цієї частки ховається ще вужчий шар — студенти, які беруть участь за навчальні бали. Учасниками Стенфордського тюремного експерименту стали 24 добровольці, що відгукнулися на газетне оголошення про дослідження тюремного життя, тобто люди, які відібрали себе самі. Це не перекреслює класику, але пояснює, чому репрезентативність вибірки обговорюють окремо від її розміру: десять тисяч однакових людей не замінять тисячі різних.

Типові помилки в студентських дослідженнях

Уявімо дослідницю, яка вивчає вигорання психологів і розсилає анкету професійними спільнотами. Відповіли 90 осіб — і сукупність, про яку вона тепер має право говорити, це не «психологи», а «психологи, у яких вистачило часу й бажання заповнити анкету про вигорання». Це самовідбір у чистому вигляді: найвиснаженіші, найімовірніше, не відповіли зовсім, і саме їхні відповіді змінили б середні найсильніше. Мінімум, який рятує роботу: описати основу вибірки, порахувати частку відповідей і чесно назвати сукупність у висновках.

Друга типова ситуація — пілотування нового опитувальника на тридцятьох знайомих. Для перевірки формулювань і зрозумілості інструкції цього досить; для тверджень про факторну структуру й надійність — категорично ні. Третя — мовчазна заміна вибірки дослідження вибіркою стандартизації: норми взяли з керівництва, а висновки роблять про геть іншу популяцію. Четверта, найпоширеніша в текстах: у методах написано «випадкова вибірка», а насправді анкети роздали двом групам знайомих. Слово «випадкова» в науковій роботі означає конкретну процедуру з жеребом чи генератором чисел, а не «ми нікого спеціально не добирали».

Уміння відрізнити ймовірнісний відбір від зручного і пояснити, чому це змінює висновок, входить і до програми ЄФВВ з психології — це базова компетентність, а не факультатив для тих, хто збирається в науку.

Як описати вибірку в роботі

Хороший опис вибірки займає абзац і відповідає на шість питань. Яка генеральна сукупність мається на увазі. З якої основи відбирали людей. Яким способом — випадково, за квотами, за доступністю. Які критерії включення й виключення (вік, діагноз, стаж, володіння мовою). Скільки учасників і чому саме стільки — з розрахунку потужності, а не «скільки вийшло». І нарешті: скільки людей запросили, скільки відповіли, скільки анкет відсіяли й чому.

Останній пункт студенти пропускають найчастіше, хоча саме він відрізняє звіт від реклами власного результату. Якщо з двохсот запрошених відповіли шістдесят, це не привід ховати цифру — це привід окремим реченням сказати, чим ті шістдесят можуть відрізнятися від решти. Наукова робота виграє не від бездоганної вибірки, а від точного знання її меж.

Міфи і факти про вибірку

Що найчастіше кажуть про вибірку — і як воно насправді:

Насправді	Поширений міф
Спосіб відбору важливіший за кількість: зміщені 10 000 анкет гірші за випадкові 500	Чим більша вибірка, тим краще дослідження
Онлайн-голосування охоплює лише тих, хто побачив допис і захотів відповісти	Опитування в соцмережах показує «думку людей»
Потрібний розмір рахують заздалегідь — від очікуваного ефекту й потрібної потужності	Скільки учасників вдалося зібрати, стільки й треба
Норми належать конкретній вибірці стандартизації та її віку й культурі	Норми тесту однакові для всіх
Зручна вибірка коректно описує саму себе, а не країну	Студенти — така сама група людей, як усі інші

Джерела

• APA Dictionary of Psychology: sample (визначення вибірки та відбору).
• Chance B., Rossman A. Statistical Thinking. Noba Project — відкритий університетський модуль (випадковий відбір і право на узагальнення).
• Henrich J., Heine S. J., Norenzayan A. The weirdest people in the world? Behavioral and Brain Sciences, 2010. DOI: 10.1017/S0140525X0999152X · PubMed
• Kennedy C., Mercer A., Keeter S. та ін. Evaluating Online Nonprobability Surveys. Pew Research Center, 2016 — звіт про дев'ять онлайн-панелей.
• Cohen J. A power primer. Psychological Bulletin, 1992. DOI: 10.1037/0033-2909.112.1.155 · PMID: 19565683.
• Open Science Collaboration. Estimating the reproducibility of psychological science. Science, 2015. DOI: 10.1126/science.aac4716 · PMID: 26315443.
• Arnett J. J. The neglected 95%: why American psychology needs to become less American. American Psychologist, 2008. DOI: 10.1037/0003-066X.63.7.602 · PMID: 18855491.
• Faul F., Erdfelder E., Lang A.-G., Buchner A. G*Power 3: a flexible statistical power analysis program. Behavior Research Methods, 2007. DOI: 10.3758/BF03193146 · PMID: 17695343.
• Cochran W. G. Sampling Techniques. 3rd ed. John Wiley & Sons, 1977.