Не все то рейтинг, что «рейтинг»

Нередко причиной этого является то, что компании могут заниматься созданием рейтингов в целях PR-продвижения себя и своих услуг, а не с целью показать, каково же реальное положение дел.

Большинство украинских рейтингов, претендующих на объективность, порой грешат недостоверностью исходных данных. Составители рейтинга изначально основываются на цифрах, которые не всегда соответствуют действительности. И проблема здесь не в неаккуратности исследователей. Причина погрешностей кроется намного глубже — в непрозрачности того или иного рынка и невозможности получить объективные данные по нему. И если с финансовыми рейтингами всегда можно подстраховаться, положившись на заключение авторитетной аудиторской компании, то с рейтингами, например, печатных средств массовой информации (газет и журналов) намного сложнее. Дело в том, что у печатных СМИ существует заявленный тираж и фактический, которые сильно отличаются друг от друга.

Объективный рейтинг — это всегда количественное исследование. Одной из основных причин необъективности рейтинга может быть то, что исследователи начинают смешивать (точнее — путать) два принципиально разных вида исследований — качественное и количественное.

Качество против количества

Количественные исследования дают возможность получить ответ на вопрос “Сколько..?” Какие бы формулировки не использовались в опросе, его результаты всегда указывают на количество. Например, количество (доля) тех, кто в ближайшие полгода собирается приобрести мобильный телефон, и тех, кто ни в коем случае не собирается этого делать; количество тех, кто помнит телерекламу того или иного лекарственного препарата, а кто нет; доля всегда покупающих одну и ту же марку сигарет и доля тех, у кого вообще нет устойчивых предпочтений. Что касается вопроса “Почему..?” — на него количественное исследование ответа, как правило, не дает. Так, получив цифровые результаты исследования потребительского поведения, можно только строить догадки, почему большинство директоров предприятий предпочитают именно это рекламное агентство, а не какое-нибудь из множества других. Что повлияло на их выбор — реклама, цена, или личное знакомство?

Для поиска ответов на вопросы “Почему..?” используются качественные методы исследования. Их предназначение зафиксировано в самом названии — т. е. направлены они на выявление качественных, а не количественных характеристик поведения людей.

Методы качественных исследований: фокус-группы, глубинные интервью, наблюдение, анализ протоколов, проекционные и физиологические измерения.

Рейтинг же нельзя измерить какими-то качественными суждениями, общими впечатлениями или какими-либо другими методами, которые используются при качественных исследованиях.

Свежий пример

Недавно закончилось исследование под названием «Рейтинг рекламных агентств "Круги на воде», который сейчас мы будем рассматривать не с точки зрения результатов, а с точки зрения подхода.

Исследование проводилось на основе экспертного опроса. Само название «Экспертный опрос» говорит за себя — опрашиваются эксперты. Именно здесь, по мнению специалистов, и был заложен тот подводный камень, который в результате исказил реальное положение дел, точнее — таблицу расположения компаний на рынке относительно друг друга. С одной стороны, критерием отбора  экспертов (в данном случае опрашивали рекламодателей) должна была быть беспристрастность по отношению к рекламному агентству. С другой стороны, они должны были быть хорошо осведомлены о работе агентства. А беспристрастным может быть только тот эксперт, который не контактирует с агентством. Получился замкнутый круг, поэтому  и не понятно, каким образом следует измерять критерий беспристрастности.

Что есть объективность?

Для того, чтобы понять, насколько объективен рейтинг, необходимо в первую очередь определить, каким образом он измеряется. То есть методика составления рейтинга должна быть четко объяснена и не вызывать вопросов. Желательно, чтобы составлением и анализом рейтинга занималась  компания, которой все доверяют. Это может быть, например, известное исследовательское, консалтинговое или аудиторское агентство с именем.

Итак, объективный рейтинг — это рейтинг, который составлен авторитетной компанией, работающей на рынке не один год, и у которой сформирован позитивный имидж. В объективном рейтинге всегда понятно, каким образом он считался. Все респонденты, а также составители, должны беспристрастно относиться к участникам рейтинга, которые изначально, предполагается, находятся в равных условиях. А эксперты должны быть экспертами, а не просто специалистами, которые тем или иным образом сотрудничают с компаниями, участвующими в рейтинге.

Комментарий

Дмитрий АГРАЧОВ, генеральный директор маркетингового агентства «Украинская медиа-панель»:

В случае исследования «Рейтинга рекламных агентств "Круги на воде" больше всего меня удивило то, что критерием отбора  респондентов была беспристрастность экспертов по отношению к рекламному агентству. Не понятно, каким образом измерялся критерий беспристрастности. Видимо, исследователи хотели исключить крайние оценки. Но для этого существует специальная процедура, при которой производится замер по всем респондентам, а потом отбрасываются крайние значения (оценки), тем самым результаты становятся более точными и надежными.

Олег ПОПЕНКО, директор рекламного агентства D'Arcy:

Большим минусом исследования «Кругов на воде» является то, что в нем наблюдается сильное влияние субъективного фактора. Процесс оценки может происходить не на основе личного опыта работы с рекламным агентством, а на основе информации, полученной из СМИ или разговоров с коллегами. Поэтому складывается парадоксальная ситуация, при которой эксперты оценивают агентства "понаслышке".