Выборка в психологии: виды, объём и типичные ошибки отбора

Ни одно психологическое исследование не охватывает всех, о ком собирается говорить. Опросить всех старшеклассников страны, обследовать всех людей с депрессивным расстройством, проследить судьбу всех выпускников психфака невозможно ни за какие деньги. Работают с небольшой группой участников, а выводы формулируют обо всей совокупности. И именно от того, как эта группа набрана, зависит, значит ли полученный результат хоть что-нибудь за пределами тех нескольких десятков человек, которые согласились прийти.

Что такое выборка простыми словами

Выборка — это часть генеральной совокупности, отобранная для исследования, чтобы по её данным судить о совокупности в целом; такое определение даёт словарь Американской психологической ассоциации. Генеральная совокупность — всё множество объектов, на которое исследователь намерен распространить вывод: старшеклассники страны, клиенты конкретного центра, психологи, работающие с травмой.

Рядом с этими двумя понятиями всегда стоит третье — основа выборки: тот реальный перечень, из которого людей берут физически. Список классов, реестр специалистов, база подписчиков, журнал приёма за год. Разрыв между совокупностью, о которой хочется рассуждать, и основой, из которой достают участников, — самая тихая из всех ошибок. Люди без интернета не попадут в онлайн-исследование ни при каком идеальном отборе: они выбыли ещё до первого шага, и в отчёте этот пробел никак не виден.

Стоит развести и ещё одну пару — единицу отбора и единицу анализа. Когда социолог случайно выбирает двадцать школ, а потом обсчитывает анкеты двух тысяч учеников, отбирал он школы, а не детей. Ребята из одной школы похожи друг на друга сильнее, чем два случайных подростка страны, поэтому полезной информации в этих двух тысячах анкет меньше, чем кажется по объёму таблицы.

Зачем об этом думать практикующему психологу

Тема кажется чисто академической ровно до трёх ситуаций.

Первая — нормы методик. Сырой балл сам по себе не значит ничего и оживает только в сравнении с тем, как отвечали другие. Эти «другие» — конкретная выборка стандартизации, и если она собиралась на студентах одного города, переносить её нормы на пациента шестидесяти лет попросту не на чем. Поэтому в руководстве к любой серьёзной методике — от теста «Большая пятёрка» до клинических шкал — отдельно расписано, на ком её нормировали.

Вторая — само право обобщать. Открытый университетский модуль по статистическому мышлению формулирует различие предельно чётко: случайный отбор даёт право перенести вывод с выборки на совокупность, а случайное распределение по условиям — право говорить о причине. Две разные процедуры, которые путают чаще всего: рандомизация внутри эксперимента ничего не сообщает о том, на кого распространяется результат.

Третья — связи между переменными. Любая корреляция существует не «вообще», а в той группе, где её посчитали. На маленькой и случайно сложившейся группе коэффициент способен перескочить из заметного минуса в заметный плюс просто из-за того, кто именно откликнулся на приглашение.

Вероятностные способы отбора

У всего этого семейства методов один общий признак: у каждого члена совокупности есть известная и ненулевая вероятность попасть в выборку. Только при этом условии статистика имеет право считать ошибку и доверительные интервалы.

• Простая случайная — совокупность пронумерована, участники тянутся генератором случайных чисел.
• Систематическая — из списка берут каждого k-го, начав со случайной позиции.
• Стратифицированная — совокупность сначала делят на страты (курс, пол, регион, тип учреждения), а затем отбирают внутри каждой, обычно пропорционально её доле.
• Кластерная — случайно отбирают целые готовые группы: школы, классы, отделения, — и работают со всеми, кто в них есть.

Каноническое изложение этих схем — учебник Уильяма Кокрена по технике выборочного отбора: с 1977 года он остаётся опорой методологических курсов. В психологии вероятностный отбор встречается реже, чем хотелось бы: он дорог и требует полной основы выборки, которой часто просто нет. Зато там, где совокупность очерчена и описана — ученики района, сотрудники предприятия, пациенты отделения за год, — случайный отбор посилен даже для дипломной работы и почти всегда сильнее, чем «опросила тех, кто согласился».

Невероятностные способы отбора

Здесь вероятность попадания в выборку неизвестна: люди приходят не по жребию, а по доступности или по собственному решению. Посчитать ошибку такой выборки нечем — формулы статистического вывода выведены для случайного отбора, и без него доверительный интервал превращается в украшение.

• Удобная — берут тех, кто рядом: студентов своего потока, подписчиков страницы, клиентов одного центра.
• Квотная — набирают «похожую» структуру по полу и возрасту, но внутри квот участники всё равно приходят сами.
• Метод снежного кома — первые участники приводят следующих; часто единственный реальный доступ к закрытым группам.
• Целевая — исследователь намеренно ищет носителей редкого опыта, например специалистов узкого профиля.

Плохих методов среди них нет: качественные исследования, пилотные замеры, работа с редкими состояниями иначе и не делаются. Плоха только молчаливая подмена, когда результат удобной выборки подают как картину по стране. Масштаб проблемы показало сравнение девяти коммерческих онлайн-панелей, отвечавших на одинаковую анкету: все до единой содержали больше социально активных людей, чем есть в населении, а по отдельным этническим группам среднее смещение оценок превышало десять процентных пунктов. При этом панели различались между собой — значит, «онлайн-опрос» сам по себе не приговор и не гарантия.

Сколько участников нужно

У вопроса «сколько человек набрать» есть техничный ответ: столько, чтобы исследование обладало достаточной статистической мощностью — шансом обнаружить эффект, если он в действительности есть. Джейкоб Коэн предложил ориентир 0,80 и показал на простых таблицах: чтобы сравнить две независимые группы при среднем по величине эффекте, нужно около 64 человек в каждой. Взять меньше можно, но тогда исследователь заранее соглашается не увидеть реальный эффект, а потом объясняет «незначимость» чем придётся.

Сегодня такой расчёт делают до сбора данных в бесплатных программах анализа мощности, самая известная из которых — G*Power. Цену недооценки хорошо видно по кризису воспроизводимости: в масштабном проекте 2015 года повторили сотню исследований из ведущих журналов, и значимый результат дала лишь примерно треть репликаций, а средний размер эффекта упал примерно вдвое. Маленькие выборки — не единственная причина того провала, но одна из главных.

Кого психология изучала на самом деле

Отдельная неудобная арифметика касается состава участников. Разбор публикаций шести ведущих журналов Американской психологической ассоциации за 2003–2007 годы дал такую картину: около 68 % выборок происходили из США, а 96 % — из западных индустриальных стран, где живёт примерно 12 % населения планеты. Двумя годами позже это обобщили в понятие «странных» выборок (англ. WEIRD — из западных, образованных, индустриальных, богатых и демократических обществ): в межкультурных сравнениях именно эти люди раз за разом оказываются не типичными представителями человечества, а скорее крайним случаем.

Внутри указанной доли прячется ещё более узкий слой — студенты, участвующие ради учебных баллов. В Стэнфордском тюремном эксперименте участвовали 24 добровольца, откликнувшихся на газетное объявление об исследовании тюремной жизни, то есть люди, отобравшие себя сами. Классику это не перечёркивает, но объясняет, почему репрезентативность выборки обсуждают отдельно от её объёма: десять тысяч одинаковых участников не заменят тысячи разных.

Типичные ошибки студенческих работ

Представим исследовательницу, которая изучает выгорание психологов и рассылает анкету по профессиональным сообществам. Откликнулись 90 человек — и совокупность, о которой она теперь вправе говорить, это не «психологи», а «психологи, у которых нашлись время и желание заполнить анкету про выгорание». Перед нами самоотбор в чистом виде: самые истощённые, вероятнее всего, не ответили вовсе, а как раз их ответы сдвинули бы средние сильнее прочих.

Вторая частая история — пилотаж нового опросника на тридцати знакомых. Для проверки формулировок и понятности инструкции этого достаточно, для утверждений о факторной структуре и надёжности — категорически нет. Третья — незаметная подмена выборки исследования выборкой стандартизации: нормы взяли из руководства, а выводы делают о совсем другой популяции. Четвёртая, самая частая в текстах: в разделе «Методы» написано «случайная выборка», а на деле анкеты раздали двум группам знакомых. Слово «случайная» в научной работе означает конкретную процедуру с жребием или генератором чисел, а не «мы никого специально не подбирали».

Умение отличить вероятностный отбор от удобного и объяснить, что от этого меняется в выводах, входит и в программу вступительного испытания по психологии — это базовая компетентность, а не факультатив для будущих учёных.

Как описать выборку в работе

Хорошее описание выборки укладывается в абзац и отвечает на шесть вопросов. Какая генеральная совокупность имеется в виду. Из какой основы брали людей. Каким способом — по жребию, по квотам, по доступности. Каковы критерии включения и исключения: возраст, диагноз, стаж, владение языком. Сколько участников и почему именно столько — из расчёта мощности, а не «сколько получилось». И наконец: скольких пригласили, сколько ответили, сколько анкет отсеяли и по какой причине.

Последний пункт пропускают чаще остальных, хотя именно он отличает научный отчёт от рекламы собственного результата. Если из двухсот приглашённых ответили шестьдесят, цифру не прячут — рядом отдельным предложением объясняют, чем эти шестьдесят могут отличаться от остальных ста сорока. Работа выигрывает не от безупречной выборки, которой почти не бывает, а от точного знания её границ.

Мифы и факты о выборке

Что обычно говорят о выборке — и как обстоит дело:

На самом деле	Распространённый миф
Способ отбора важнее объёма: смещённые 10 000 анкет хуже случайных 500	Чем больше выборка, тем лучше исследование
Голосование в сети охватывает лишь тех, кто увидел пост и захотел ответить	Опрос в соцсетях показывает «мнение людей»
Нужный объём считают заранее — от ожидаемого эффекта и требуемой мощности	Сколько участников удалось собрать, столько и надо
Нормы принадлежат конкретной выборке стандартизации, её возрасту и культуре	Нормы теста одинаковы для всех
Удобная выборка корректно описывает саму себя, а не страну	Студенты — такая же группа людей, как все прочие

Источники

• APA Dictionary of Psychology: sample (определение выборки и отбора).
• Chance B., Rossman A. Statistical Thinking. Noba Project — открытый университетский модуль (случайный отбор и право на обобщение).
• Henrich J., Heine S. J., Norenzayan A. The weirdest people in the world? Behavioral and Brain Sciences, 2010. DOI: 10.1017/S0140525X0999152X · PubMed
• Kennedy C., Mercer A., Keeter S. и др. Evaluating Online Nonprobability Surveys. Pew Research Center, 2016 — отчёт о девяти онлайн-панелях.
• Cohen J. A power primer. Psychological Bulletin, 1992. DOI: 10.1037/0033-2909.112.1.155 · PMID: 19565683.
• Open Science Collaboration. Estimating the reproducibility of psychological science. Science, 2015. DOI: 10.1126/science.aac4716 · PMID: 26315443.
• Arnett J. J. The neglected 95%: why American psychology needs to become less American. American Psychologist, 2008. DOI: 10.1037/0003-066X.63.7.602 · PMID: 18855491.
• Faul F., Erdfelder E., Lang A.-G., Buchner A. G*Power 3: a flexible statistical power analysis program. Behavior Research Methods, 2007. DOI: 10.3758/BF03193146 · PMID: 17695343.
• Cochran W. G. Sampling Techniques. 3rd ed. John Wiley & Sons, 1977.