Репрезентативність вибірки: що це, як її забезпечити і де вона ламається

Опитування у фаховому Telegram-каналі зібрало три тисячі відповідей — і все одно майже нічого не каже про українських психологів загалом. Опитування двохсот фахівців, відібраних випадково з реєстру, скаже набагато більше. Різниця не в кількості анкет, а в тому, кого саме ми запитали. Це і є репрезентативність: наскільки вибірка відтворює ту сукупність, про яку ми збираємося робити висновок. Від неї залежить доля будь-якого емпіричного результату — від норм тесту до висновків дипломної роботи. І водночас цей термін постійно плутають зі схожою за назвою когнітивною евристикою, про яку йтиметься наприкінці.

Що таке репрезентативність вибірки

Репрезентативність (англ. representativeness) — це властивість вибірки відтворювати структуру генеральної сукупності за тими ознаками, які істотні для дослідження. Якщо серед українських психологів приблизно чотири п'ятих — жінки, а в нашій вибірці їх 98 відсотків, за статтю вона вже перекошена, і фраза «психологи вважають, що…» насправді описуватиме лише жінок-психологинь.

Ще одне уточнення, без якого поняття перетворюється на гасло: абсолютної репрезентативності «за всім одразу» не буває. Вибірка може чудово відтворювати сукупність за статтю й віком і водночас бути перекошеною за стажем, регіоном або типом закладу. Тому перелік істотних ознак визначають заздалегідь, із самої гіпотези: у дослідженні вигорання критичні навантаження й стаж роботи, а не, скажімо, сімейний стан.

Нюанс, який студенти пропускають найчастіше: репрезентативність — характеристика не так самої вибірки, як процедури відбору. Побачити на око, чи є вибірка «маленькою копією» популяції, неможливо: ми не знаємо всіх параметрів популяції, інакше не проводили б дослідження взагалі. Тому в методології судять про інше — чи давала процедура кожному члену сукупності відому, ненульову ймовірність потрапити у вибірку. Якщо давала, похибку можна оцінити й порахувати; якщо ні, вона лишається невідомою і за величиною, і за напрямом.

Протилежність описують терміном зміщення відбору (англ. sampling bias): це систематична, а не випадкова помилка, коли спосіб набору учасників постійно перебирає одних і недобирає інших. Словник Американської психологічної асоціації наголошує саме на систематичності, і це ключ до всієї теми: випадковий розкид меншає зі зростанням вибірки, а зміщення не меншає ніколи.

Як забезпечити репрезентативність

На практиці її будують трьома інструментами, і працюють вони на різних етапах.

Ймовірнісний відбір. Дослідник починає з основи вибірки — переліку, що охоплює всю сукупність: реєстру, бази клієнтів, списків навчальних груп. Далі учасників беруть випадково. Проста випадкова вибірка дає кожному однаковий шанс; стратифікована спершу ділить сукупність на шари за віком, регіоном чи спеціалізацією і бере випадкових людей із кожного шару; кластерна відбирає цілі природні групи — школи, відділення, потоки. Відкритий університетський підручник Noba формулює логіку коротко: переносити висновок на популяцію правомірно тоді, коли кожен її член мав рівну ймовірність потрапити у вибірку.

Квоти. Коли повного переліку не існує, наперед фіксують, скільки учасників має бути в кожній підгрупі. Інструмент слабший за випадковий відбір, бо всередині квоти людей однаково набирають зручним способом, — але він рятує від найгрубіших перекосів за статтю, віком чи регіоном.

Зважування. Уже зібрані дані можна підправити математично: відповідям недопредставленої групи дають більшу вагу, перепредставленої — меншу. Зважування компенсує ті перекоси, які ми виміряли, і безсиле проти невиміряних. Якщо серед двадцятип'ятирічних відгукнулися переважно ті, хто вже в терапії, множення їхніх відповідей на коефіцієнт лише посилить зміщення.

Три джерела зміщення

Перекіс заходить у дослідження трьома різними дверима, і перевіряти їх треба окремо.

Недоохоплення виникає, коли частина сукупності взагалі не мала шансу потрапити у вибірку: опитування через застосунок не бачить тих, хто ним не користується, а набір учасників у столичному центрі не бачить малих міст. Це помилка основи вибірки, і вона з'являється ще до першого поставленого запитання.

Невідповідь — коли людину запросили, а вона не відповіла. Тут зазвичай орієнтуються на частку відповідей: мовляв, сімдесят відсотків — добре, двадцять — погано. Метааналіз Роберта Ґрувза і Емілії Пейтчевої, який звів дані майже шести десятків досліджень, показав інше: сама по собі частка відповідей передбачає величину зміщення дуже слабко. Значення має не те, скільки людей промовчало, а чи відрізняються ці люди від тих, хто відповів, саме за досліджуваною ознакою.

Самовідбір — найпідступніше з трьох, бо маскується під активність аудиторії. У відкритому анкетуванні відповідають ті, кому тема близька: на анкету про професійне вигорання охочіше відгукуються вигорілі. Ян Бетлехем, аналізуючи вебопитування, показав, що добровільні онлайн-панелі зміщені систематично і збільшення числа респондентів цього не виправляє. Тому інтернет-голосування — цікавий зріз думки конкретної аудиторії, але не дослідження.

Урок 1936 року: мільйони відповідей і хибний прогноз

Найвідоміша ілюстрація прийшла не з психології, а з передвиборчих опитувань. Перед виборами президента США 1936 року журнал Literary Digest розіслав десять мільйонів бюлетенів, отримав понад два мільйони відповідей і впевнено пообіцяв перемогу Альфредові Ландону. Переміг Франклін Рузвельт, узявши майже 61 відсоток голосів. Паралельно Джордж Ґеллап із вибіркою в кілька тисяч осіб дав правильний прогноз.

Класичне пояснення провалу: адреси брали з телефонних довідників і реєстрів автовласників, а телефон і автомобіль у розпал Великої депресії мали заможніші люди, схильні голосувати за республіканців. Сучасний переаналіз тих самих даних, який виконали Шерон Лор і Майкл Брік, уточнює картину: більший внесок дала не основа вибірки, а невідповідь — прибічники Рузвельта просто рідше повертали бюлетень.

Практичний висновок звідси один і контрінтуїтивний: розмір вибірки не лікує зміщення. Два мільйони систематично перекошених відповідей помиляються так само впевнено, як двісті, — просто з вужчим довірчим інтервалом навколо хибного числа.

Проблема вузьких вибірок: на кому будували психологію

У самої дисципліни є хронічна проблема з репрезентативністю, і стосується вона не окремих робіт, а бази знань загалом. У 2010 році Джозеф Генрік, Стівен Гайне й Ара Норензаян порахували, з кого складалися вибірки провідних психологічних журналів, і запропонували абревіатуру WEIRD — western, educated, industrialized, rich, democratic. Близько 96 відсотків учасників походили з країн, де живе приблизно 12 відсотків населення планети, а всередині цих країн левову частку становили студенти перших курсів.

Ідеться не про політкоректність, а про межі узагальнення. Автори показали, що західні студенти виявляються нетиповими в цілій низці базових процесів — від сприйнятливості до зорових ілюзій і уявлень про справедливість до способу міркувати про самих себе. Отже, чимало тверджень на кшталт «людині властиво…» спиралося насправді на дуже вузьку підгрупу людства.

Для практика це не абстракція. Норми будь-якого тесту — це розподіл балів у стандартизаційній вибірці, і чинні вони рівно для тих, хто на цю вибірку схожий. Професійні стандарти тестування, ухвалені спільно американськими асоціаціями досліджень в освіті, психологів та вимірювання в освіті, прямо вимагають описувати, на кому норми зібрано. Тому бал українського підлітка, порахований за нормами американських студентів дев'яностих, — це число без психологічного змісту.

Три ситуації, у яких це вирішує все

Уявімо дослідницю, яка опитує психологів у фаховому каналі про ставлення до онлайн-формату роботи. Відповіли 400 осіб. Це вибірка з підписників одного каналу, які до того ж активні й мали час на анкету, — висновок правомірний щодо них, а не щодо професії. Виправити це постфактум зважуванням не вийде: ми не знаємо, чим мовчазні підписники відрізняються від тих, хто відповів.

Другий випадок: центр адаптує опитувальник і збирає норми на 300 студентах-психологах, бо їх найлегше зібрати. Норми вийдуть придатними для студентів-психологів. Для 45-річної клієнтки з райцентру вони будуть орієнтиром дуже приблизним, і в протоколі це варто зазначити.

Третій: дослідження на клінічній вибірці одного стаціонару. Туди потрапляють важчі випадки — легші лікуються амбулаторно або не звертаються зовсім. Через це всередині клініки зв'язки між симптомами регулярно виглядають сильнішими, ніж вони є в популяції, а поширеність супутніх розладів здається завищеною. Той самий механізм працює і в приватній практиці: терапевт бачить не всіх людей із певним запитом, а тих, хто дійшов до кабінету й зміг за нього заплатити, — тому професійна інтуїція про «типового клієнта» теж спирається на зміщену вибірку.

Репрезентативність як евристика: інше значення терміна

У психології це слово має друге, зовсім інше значення, і на іспитах воно стає класичною пасткою. Амос Тверські й Даніель Канеман у 1974 році описали евристику репрезентативності — розумовий короткий шлях, яким людина оцінює ймовірність за схожістю на типовий образ і при цьому ігнорує базові частоти.

Приклад із їхніх робіт: описано сором'язливого, охайного, уважного до деталей чоловіка й поставлено запитання, хто він — бібліотекар чи фермер. Більшість відповідає «бібліотекар», бо опис збігається зі стереотипом, хоча фермерів у популяції набагато більше. Та сама евристика стоїть за впевненістю, що після п'яти орлів поспіль імовірніша решка.

Спільного між двома значеннями лише метафора «схожості на ціле». Вибіркова репрезентативність — властивість процедури й перевіряється розрахунком; евристична — властивість мислення й перевіряється експериментом. Плутати їх у роботі не варто, а розбір споріднених механізмів мислення є в матеріалі про когнітивні викривлення.

Міфи і факти про репрезентативність

Що найчастіше повторюють про репрезентативність — і як воно насправді:

Насправді	Поширений міф
Зміщення задає спосіб відбору, а не кількість анкет	Велика вибірка автоматично репрезентативна
Судять про процедуру відбору: параметрів популяції ми не знаємо	Репрезентативність видно за складом вибірки
Зважування виправляє лише виміряні перекоси	Зважування врятує будь-які зібрані дані
Частка відповідей передбачає величину зміщення слабко	Високий відсоток відповідей гарантує якість
Онлайн-голосування показує самовідбір своєї аудиторії	Опитування в соцмережах відбиває думку суспільства
Норми чинні для тих, хто схожий на стандартизаційну вибірку	Норми будь-якого тесту універсальні

Коротко про головне

Перевіряючи чуже дослідження чи плануючи власне, ставте три питання підряд: з якого переліку відбирали учасників, хто з відібраних не дійшов до анкети і чим ці люди могли відрізнятися від решти. Відповіді на них важать більше, ніж підсумкове число респондентів, і саме їх найчастіше бракує в описі методики студентських робіт. І пам'ятайте формулювання висновку: коректно писати не «психологи вважають», а «серед опитаних психологів такої-то вибірки».

Репрезентативність вибірки — одна з тем, які треба вміти пояснити своїми словами на ЄФВВ з психології: завдання про методи дослідження перевіряють здебільшого розуміння логіки, а не заучену дефініцію.

Найкорисніше потренуватися на офіційних завданнях — їх зібрано у пробному тесті ЄФВВ з психології.

Джерела

• APA Dictionary of Psychology: sampling bias (систематична природа зміщення відбору).
• Chance B., Rossman A. Statistical Thinking. Noba Project (випадковий відбір як умова перенесення висновку на популяцію). Noba
• Henrich J., Heine S. J., Norenzayan A. The weirdest people in the world? Behavioral and Brain Sciences, 2010. DOI: 10.1017/S0140525X0999152X · PubMed
• Український центр оцінювання якості освіти. Основне про ЄВІ/ЄФВВ (офіційні умови єдиного фахового вступного випробування). УЦОЯО
• Lohr S. L., Brick J. M. Roosevelt Predicted to Win: Revisiting the 1936 Literary Digest Poll. Statistics, Politics and Policy, 2017. DOI: 10.1515/spp-2016-0006
• Groves R. M., Peytcheva E. The Impact of Nonresponse Rates on Nonresponse Bias: A Meta-Analysis. Public Opinion Quarterly, 2008. DOI: 10.1093/poq/nfn011
• Bethlehem J. Selection Bias in Web Surveys. International Statistical Review, 2010. DOI: 10.1111/j.1751-5823.2010.00112.x
• Tversky A., Kahneman D. Judgment under Uncertainty: Heuristics and Biases. Science, 1974. DOI: 10.1126/science.185.4157.1124 · PMID: 17835457
• American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for Educational and Psychological Testing. AERA, 2014. (вимога описувати стандартизаційну вибірку норм)