Если человек не до конца понимает суть процесса, то с помощью манипулирования терминами его при желании можно легко ввести в заблуждение.
Одной из распространенных ошибок использования данных исследования аудитории читателей издания является то, что выстроенный в итоге рейтинг переводят на все население Украины и получают абсолютно необоснованные цифры, якобы характеризующие количество читателей в стране.
Это происходит вследствие вольного обращения с таким понятием, как «выборка исследования». Но выборка — это не просто красивое слово, а понятие, которое имеет отношение к анализу и обобщению данных исследования. Выборка определяет достоверность и адекватность результата. К тому же если человек не до конца понимает суть процесса, то с помощью манипулирования такими терминами, как выборка, подвыборка, генеральная совокупность и т. п. его при желании можно попытаться ввести в заблуждение. 
Репрезентативность всех исследований относительна
В последнее время сформировались совершенно новые типы выборок. Например, по скринингу. Хотя раньше были квотные отборы. Знаем пол, возраст, образование, их доли в общем объеме населения и в соответствии с этим формируем выборку.
Допустим, нужно изучить такую категорию потребителей, как курильщики. Но кто они, кого можно назвать курильщиком? Если критерии сформированы, то отбор ведется по скринингу. Исследуемые опрашиваются на предмет выяснения, как часто они курят, сколько сигарет в день и т. п. Это уже не квотный, не направленный отбор. Выборки для подавляющего большинства маркетинговых исследований формируются по скринингу.
Оказывается, репрезентативная выборка не нужна в 95% исследований. Почему? Во-первых, исследователи ничего не знают о генеральной совокупности. Как правило, нет статистики, которая описывала бы всю совокупность потребителей тех или иных товаров и услуг. Во-вторых, ряд генеральных совокупностей трудно описать даже теоретически. Определив объект исследования, вы должны обозначить генеральную совокупность, то есть описать ту часть населения, на которую будут распространяться результаты исследования, поскольку существуют категории населения, которых вы не сможете опросить или чье мнение вам абсолютно не интересно (например, бомжи, умственно неполноценные граждане). После того как будет очерчена генеральная совокупность, вы должны описать ее статистическими показателями. Но такой статистики нет. Поэтому, когда социологи говорят о репрезентативности исследования, необходимо понимать, что ряд социальных групп эта репрезентативность коснулась не в полной мере или не коснулась вообще. Как правило, в массовых опросах вне поля зрения исследователей остаются группы, относящиеся к политической и бизнес-элите, чиновники высокого ранга и ряд других категорий населения.
«Портрет» читателя получается размытый
Я не понимаю, как издание может судить о своей аудитории по выборке, которая составляет менее 50 человек. «Портрет» читателя получается размытый. Я не вижу человека, для которого предназначено это издание. Очень часто издания заявляют, что всю информацию для работы они получают из писем читателей. Но ведь мы с вами хорошо знаем, кто обычно пишет в редакцию. Вот я считаю себя социально активным человеком. Но вместе с тем я ленив. Бывало, даже заполнял анкеты в газетах и журналах, но ни одной из них не отправил. Тех, кто пишет в редакцию, можно назвать социально озабоченными. Основная же масса читателей — совсем не такие люди.
Ошибка выборки может перекрывать все различие результатов
Проходит очередная волна исследования, и мы начинаем выслушивать претензии. Например, издатели говорят: «Наш тираж вырос с 48 тыс. до 54 тыс. экземпляров, а в вашем исследовании число наших читателей уменьшилось с 42 до 38 чел. Как такое может быть?». В моем понимании, это вообще детский лепет, ведь ошибка выборки в таких условиях перекрывает все эти разбросы цифр.
Имеющиеся результаты исследований прессы я как специалист охарактеризовал бы так: имеется группа лидеров, есть издания, занимающие вторую позицию, а все остальные — на третьем месте. Судить о большей популярности одного издания на том лишь основании, что у него на 2-5 читателей больше, чем у другого, — нонсенс. Оба издания находятся в одной группе. При выборке 50 человек значимое различие составляет минимум 20% — 10 человек. И то это не для всех читателей, а только для 95%. Об этом можно говорить очень долго, поскольку тут имеется много статистических тонкостей. По этой причине ответы на поступающие претензии получаются наукообразными, зато после этого переписка обычно заканчивается.
Из теории известно, что так происходит в двух случаях: когда люди ничего не понимают или, наоборот, все поняли. Второй вариант в данном случае я отвергаю как невероятный. К сожалению, многие маркетологи обладают очень низким уровнем подготовки. Люди проводят анализ на основе изучения одномерных, в лучшем случае двумерных таблиц распределения. Пишут, что результат составляет 24,185%, не понимая того, что ошибка тут — несколько процентов! К чему тогда указывать точность до тысячных?
Как можно судить о репрезентативности выборки,
если мы ничего не знаем о генеральной совокупности?
В политике исследователи сейчас уже более подготовленные. Накануне парламентских выборов ко мне обращались с предложениями «нарисовать» рейтинг партии или блоку. Но просили не 7-8%, а всего лишь 2,4%. Эти люди превосходно понимают, что 2,4% — тот результат, который с учетом ошибки на практике может оказаться и 5%, поэтому вполне безопасен для привлечения инвестиций.
В проекте MMI фальсификация невозможна. В нем формируется единая база данных, пользователями которой являются около 100 компаний. Реально ли подготовить 100 разных баз? Мы же в какой-то момент обязательно собьемся. Поэтому нужно говорить не о фальсификациях, а о некорректном использовании данных. Не зря же многие отказываются от готовых аналитических отчетов. Хоть они и существенно дороже, зато используют базы данных. Кроме того, их можно «крутить» самостоятельно в нужную сторону. Если же отчет формируют наши сотрудники, они проводят четкие границы, за которые заступать нельзя.
Споры вокруг медиаисследований приобретают такую остроту потому, что на самом деле идет сражение не за читательскую аудиторию, а за рейтинг, то есть за деньги.