Репрезентативность выборки: что это, как её обеспечить и где она ломается

Три тысячи ответов, собранных в профессиональном чате психологов, почти ничего не говорят о профессии в целом. Двести ответов, полученных от случайно отобранных специалистов из реестра, скажут гораздо больше. Дело не в объёме, а в том, кого именно спросили. Свойство, которое здесь решает исход, и называется репрезентативностью. Без него рушится любой эмпирический вывод — от норм методики до защиты диплома. Вдобавок этот термин в психологии означает две совершенно разные вещи, и вторую мы разберём отдельно, ближе к концу.

Что такое репрезентативность выборки

Репрезентативность (англ. representativeness) — способность выборки воспроизводить строение генеральной совокупности по тем признакам, которые для конкретного исследования существенны. Допустим, женщин среди украинских психологов около четырёх пятых, а в нашей выборке их девяносто восемь процентов. Значит, по полу она перекошена, и фраза «психологи считают, что…» будет говорить в действительности только о женщинах.

Оговорка, без которой понятие превращается в лозунг: репрезентативности «сразу по всему» не существует. Одна и та же выборка бывает безупречной по полу и возрасту и при этом смещённой по стажу, региону или типу учреждения. Поэтому список существенных признаков задают заранее, исходя из гипотезы: изучаем выгорание — критичны нагрузка и стаж, а не, скажем, семейное положение.

И главное, что чаще всего теряется при пересказе: репрезентативность характеризует скорее процедуру отбора, чем саму выборку. На глаз определить, получилась ли «уменьшенная копия» популяции, невозможно — параметры популяции нам неизвестны, иначе исследование было бы не нужно. Судят поэтому о другом: давала ли процедура каждому члену совокупности известную и ненулевую вероятность попасть в число участников. Если давала, погрешность считается; если нет, она остаётся неизвестной и по величине, и по направлению.

Обратное явление обозначают термином смещение отбора (англ. sampling bias) — ошибка не случайная, а систематическая, когда способ набора раз за разом отбирает одних и пропускает других. Словарь Американской психологической ассоциации подчёркивает именно систематичность, и в этом весь смысл: случайный разброс с ростом выборки сокращается, смещение не сокращается никогда.

Три инструмента, которыми её обеспечивают

Вероятностный отбор. Отправная точка — основа выборки, то есть перечень, покрывающий всю совокупность: реестр, база клиентов, списки учебных групп. Дальше участников берут случайно. Простая случайная выборка уравнивает шансы всех; стратифицированная сперва делит совокупность на слои по возрасту, региону или специализации и набирает случайных людей внутри каждого слоя; кластерная забирает целыми природными группами — классами, отделениями, потоками. Открытый университетский учебник Noba сводит логику к одной формуле: переносить вывод на популяцию допустимо тогда, когда у каждого её члена был равный шанс попасть в выборку.

Квоты. Полного перечня часто попросту нет — тогда заранее фиксируют, сколько человек должно оказаться в каждой подгруппе. Инструмент слабее случайного отбора, потому что внутри квоты людей всё равно набирают удобным способом, но от самых грубых перекосов по полу, возрасту и региону он спасает.

Взвешивание. Собранные данные поддаются математической правке: ответам недопредставленной группы присваивают больший вес, перепредставленной — меньший. Работает это только с теми перекосами, которые мы измерили. Если среди двадцатипятилетних откликнулись преимущественно те, кто уже в терапии, умножение их ответов на коэффициент смещение не уберёт, а усилит.

Откуда приходит смещение

Перекос попадает в исследование тремя разными дверями, и проверять их приходится по отдельности.

Недоохват означает, что часть совокупности не имела шанса попасть в выборку в принципе: опрос через приложение не видит тех, кто им не пользуется, а набор участников в столичном центре не видит малых городов. Это дефект основы выборки, возникающий ещё до первого заданного вопроса.

Неответ — человека пригласили, а он не откликнулся. Здесь принято ориентироваться на долю ответивших: семьдесят процентов — хорошо, двадцать — плохо. Метаанализ Роберта Гровза и Эмилии Пейтчевой, обобщивший данные почти шести десятков исследований, показал обратное: сама по себе доля ответов величину смещения предсказывает очень слабо. Важно не сколько людей промолчало, а отличаются ли молчавшие от ответивших именно по изучаемому признаку.

Самоотбор — самый коварный из трёх, поскольку выглядит как активность аудитории. В открытом анкетировании откликаются те, кому тема близка: анкету о профессиональном выгорании охотнее заполняют выгоревшие. Ян Бетлехем, разбирая веб-опросы, показал, что добровольные онлайн-панели смещены систематически и рост числа респондентов этого не лечит. Отсюда простой вывод: голосование в соцсети — любопытный срез настроений конкретной аудитории, но не исследование.

История 1936 года: миллионы ответов и неверный прогноз

Хрестоматийный пример пришёл в методологию из предвыборных опросов. Перед президентскими выборами в США 1936 года журнал Literary Digest разослал десять миллионов бюллетеней, получил свыше двух миллионов ответов и уверенно предсказал победу Альфреду Лэндону. Победил Франклин Рузвельт с почти шестьюдесятью одним процентом голосов. Джордж Гэллап тем временем обошёлся выборкой в несколько тысяч человек и назвал исход верно.

Хрестоматийное объяснение провала таково: адреса брали из телефонных справочников и списков автовладельцев, а телефон и автомобиль в разгар Великой депрессии были у людей побогаче, склонных голосовать за республиканцев. Современный переразбор тех же данных, выполненный Шэрон Лор и Майклом Бриком, вносит поправку: больший вклад дала не основа выборки, а неответ — сторонники Рузвельта заметно реже возвращали бюллетень.

Практический урок отсюда один, и он идёт вразрез с интуицией: объём выборки смещение не лечит. Два миллиона систематически перекошенных ответов ошибаются ровно так же уверенно, как двести, — только доверительный интервал вокруг неверного числа получается уже.

Проблема узких выборок: на ком построена психология

У самой дисциплины есть застарелая проблема с репрезентативностью, и касается она не отдельных работ, а базы знаний целиком. В 2010 году Джозеф Хенрик, Стивен Хайне и Ара Норензаян подсчитали, из кого состояли выборки ведущих психологических журналов, и предложили аббревиатуру WEIRD — western, educated, industrialized, rich, democratic. Порядка девяноста шести процентов участников происходили из стран, где живёт около двенадцати процентов населения планеты, а внутри этих стран львиную долю составляли студенты младших курсов.

Речь не о политкорректности, а о границах обобщения. Авторы показали, что западные студенты оказываются нетипичными в целом ряде базовых процессов — от восприимчивости к зрительным иллюзиям и представлений о справедливости до способа рассуждать о самих себе. Выходит, немалая часть утверждений вида «человеку свойственно…» опиралась на очень узкую подгруппу человечества.

Для практика это не отвлечённый сюжет. Нормы любой методики — распределение баллов в стандартизационной выборке, и действительны они ровно для тех, кто на эту выборку похож. Профессиональные стандарты тестирования, принятые совместно американскими ассоциациями исследований в образовании, психологов и измерения в образовании, прямо требуют описывать, на ком нормы собраны. Балл украинского подростка, пересчитанный по нормам американских студентов девяностых, психологического содержания попросту не несёт.

Три ситуации, где это решает всё

Представим исследовательницу, которая спрашивает психологов в профессиональном канале об отношении к онлайн-формату. Отвечают четыреста человек. Перед нами выборка из подписчиков одного канала, вдобавок активных и располагавших временем на анкету, — вывод правомерен относительно них, но не относительно профессии. Починить это задним числом взвешиванием не выйдет: чем молчавшие подписчики отличаются от ответивших, мы не знаем.

Второй сюжет: центр адаптирует опросник и собирает нормы на трёхстах студентах-психологах, потому что их проще всего пригласить. Нормы получатся годными для студентов-психологов. Для сорокапятилетней клиентки из райцентра они будут очень приблизительным ориентиром, и это стоит оговаривать в заключении.

Третий: исследование на клинической выборке одного стационара. Туда попадают более тяжёлые случаи — лёгкие лечатся амбулаторно или не обращаются вовсе. Из-за этого внутри клиники связи между симптомами регулярно выглядят прочнее, чем они есть в популяции, а распространённость сопутствующих расстройств кажется завышенной. Тот же механизм действует и в частной практике: терапевт видит не всех людей с определённым запросом, а тех, кто дошёл до кабинета и смог за него заплатить, — так что профессиональная интуиция о «типичном клиенте» тоже опирается на смещённую выборку.

Другое значение: эвристика репрезентативности

В психологии этим словом называют ещё и совершенно иное явление, и на экзаменах путаница между двумя значениями — классическая ловушка. Амос Тверски и Даниэль Канеман в 1974 году описали эвристику репрезентативности — мыслительный короткий путь, при котором вероятность оценивают по сходству с типичным образом, игнорируя базовые частоты.

Пример из их работ: описан застенчивый, аккуратный, внимательный к деталям мужчина, и задан вопрос, кто он — библиотекарь или фермер. Большинство выбирает библиотекаря, поскольку описание совпадает со стереотипом, хотя фермеров в популяции несопоставимо больше. Эта же эвристика стоит за уверенностью, что после пяти орлов подряд вероятнее решка.

Общее у двух значений — только метафора «похоже на целое». Выборочная репрезентативность есть свойство процедуры и проверяется расчётом; эвристическая есть свойство мышления и проверяется экспериментом. Смешивать их в работе не стоит, а родственные механизмы мышления разобраны в материале о когнитивных искажениях.

Мифы и факты о репрезентативности

Что о репрезентативности повторяют чаще всего — и как обстоит дело в действительности:

На самом деле	Распространённый миф
Смещение задаётся способом отбора, а не числом анкет	Большая выборка репрезентативна автоматически
Судят о процедуре отбора: параметры популяции неизвестны	Репрезентативность видна по составу выборки
Взвешивание правит только измеренные перекосы	Взвешивание спасёт любые собранные данные
Доля ответивших предсказывает смещение слабо	Высокий процент ответов гарантирует качество
Голосование в сети показывает самоотбор своей аудитории	Опрос в соцсетях отражает мнение общества
Нормы действительны для похожих на стандартизационную выборку	Нормы любой методики универсальны

Что стоит запомнить

Разбирая чужое исследование или планируя собственное, задайте подряд три вопроса: из какого перечня отбирали участников, кто из отобранных до анкеты не дошёл и чем эти люди могли отличаться от остальных. Ответы весят больше, чем итоговое число респондентов, и именно их обычно не хватает в описании методики студенческих работ. И следите за формулировкой вывода: корректно писать не «психологи считают», а «среди опрошенных психологов такой-то выборки».

Репрезентативность выборки входит в число тем, которые нужно уметь объяснить своими словами на ЕФВВ по психологии: задания о методах исследования проверяют понимание логики, а не заученное определение.

Посмотреть, как устроены валидированные методики с описанными нормами, можно в разделе психологические тесты онлайн.

Источники

• APA Dictionary of Psychology: sampling bias (систематическая природа смещения отбора).
• Chance B., Rossman A. Statistical Thinking. Noba Project (случайный отбор как условие переноса вывода на популяцию). Noba
• Henrich J., Heine S. J., Norenzayan A. The weirdest people in the world? Behavioral and Brain Sciences, 2010. DOI: 10.1017/S0140525X0999152X · PubMed
• Украинский центр оценивания качества образования. Основное о ЕВИ/ЕФВВ (официальные условия единого профессионального вступительного испытания). УЦОКО
• Lohr S. L., Brick J. M. Roosevelt Predicted to Win: Revisiting the 1936 Literary Digest Poll. Statistics, Politics and Policy, 2017. DOI: 10.1515/spp-2016-0006
• Groves R. M., Peytcheva E. The Impact of Nonresponse Rates on Nonresponse Bias: A Meta-Analysis. Public Opinion Quarterly, 2008. DOI: 10.1093/poq/nfn011
• Bethlehem J. Selection Bias in Web Surveys. International Statistical Review, 2010. DOI: 10.1111/j.1751-5823.2010.00112.x
• Tversky A., Kahneman D. Judgment under Uncertainty: Heuristics and Biases. Science, 1974. DOI: 10.1126/science.185.4157.1124 · PMID: 17835457
• American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for Educational and Psychological Testing. AERA, 2014. (требование описывать стандартизационную выборку норм)