Республикалық қоғамдық-медициналық апталық газеті

ДОВЕРЯТЬ ЛИ, ОТЕЧЕСТВЕННЫМ РЕЙТИНГАМ?


25 января 2014, 07:40 | 1 566 просмотров


Верю - не верю

Несмотря на то, что всевозможные рейтинги, особенно политиков и чинов¬ников, регулярно взрывают информа¬ционное пространство, отношение к ним никогда не было однозначным. Собирая урожай на одном и том же поле, одни ис¬следователи возвращаются с мешком кар¬тошки, другие – капусты, и выяснить, что растет на том поле на самом деле, уже не представляется возможным. Сегодня мы попытаемся разобраться в природе такой противоречивости и понять, откуда ра¬стут ноги у рейтингов.

Термин “рейтинг” имеет достаточно четкое обоснование, но в обыденной жизни напрашивается параллель с известной кар¬точной игрой “Верю – не верю”, правила ко¬торой вряд ли нуждаются в дополнительных пояснениях. Правда, в нашем случае трудно понять, кто на самом деле в оконцовке вы¬игрывает – авторы рейтингов или их по¬требители. За примерами далеко ходить не будем. В канун новогодних праздников ис¬следовательская группа “Саясат-Monitoring” обнародовала рейтинг эффективности глав регионов. Казалось бы, рейтинг как рейтинг, но у нас он породил ощущение оторванности от реальности, так как в списке аутсайдеров мы обнаружили акимов, которые, судя по данным из других источников, сработали не так плохо, чтобы оказаться у основания выстроенной исследователями лестницы. В частности, мы имеем в виду акима Акмо¬линской области Космана Айтмухаметова, занявшего предпоследнюю строчку в ука¬занном рейтинге. Честно говоря, непонятно, каким образом он попал в категорию мало¬эффективных, имея в багаже за прошлый год результаты, аналогичные тем, которые имеют акимы-лидеры.

Пытаясь расставить точки над i, мы об¬ратились к экспертам и попросили их отве¬тить на следующие вопросы:

1. Как бы вы оценили надежность и до¬стоверность появляющихся с завидной регу¬лярностью рейтингов акимов областей и го¬родов? Зачастую у различных рейтинговых агентств получаются взаимоисключающие результаты. Чем это можно объяснить и как понять, какой из результатов наиболее адек¬ватно отражает реальность?

2. При изучении различных рейтингов часто возникают вопросы к репрезентатив¬ности выборки. Как вы считаете, насколько оправданно на основе мнения пары тысяч людей с неопределенным социальным стату¬сом или десяти-двадцати экспертов делать далеко идущие выводы?

3. Насколько на эти рейтинги влияет че¬ловеческий фактор (имеются в виду те, кто непосредственно занимается замерами), и можно ли провести аналогию, например, с соседней Россией, где социологи откровенно заявляют о непрофессио¬нализме “специ¬алистов” в регионах и о том, что более-менее достоверные данные получают лишь в цен¬тре?

4. Какие проблемы лично вы видите в со¬ставлении подобных рейтингов и какие пути их решения обозначили бы?

Гульмира Илеуова, президент ОФ “ЦСПИ “Стратегия”:

1. По-моему, рейтингов у нас, наоборот, недостаточно. Если бы их было “обилие”, то было бы гораздо интереснее для потребите¬лей (а их немало) и полезнее с точки зрения получения более достоверных данных. Более того, малое количество рейтингов, причем самых разных, необязательно политиков, я считаю показателем недостаточного разви¬тия исследовательского рынка в Казахстане. Во всем мире составляют кучи рейтингов, и я не вижу ничего необычного в том, что они есть и у нас. А различающиеся резуль¬таты получаются в том числе и потому, что разные компании используют разные пока¬затели при оценке тех или иных политиков (например, регионального и центрального уровней), той или иной сферы. Про других говорить не буду, но мы регулярно форми¬руем только один рейтинг – управленческой элиты Казахстана. Его мы делаем сами раз в квартал, без чьего-либо заказа и именно по¬тому, что продукт востребован, его читают, комментируют. То есть,раз есть спрос, по¬чему бы нам не ответить соответствующим предложением?

Вы спрашиваете: как отличить “хоро¬ший” рейтинг от “плохого”? Для меня самы¬ми важными признаками являются: репута¬ция компании, которая проводит подобное исследование, регулярность выхода материа¬лов и, безусловно, если мы говорим о рейтин¬гах политиков, распределение мест в списке. Немного поясню. Например, можно смело не обращать внимания на рейтинги, появля¬ющиеся в предвыборный период за автор¬ством организаций, которые создаются толь¬ко ради того, чтобы этот самый “рейтинг” опубликовать. В то же время хочу отметить, что в социологии редко бывают “сенсации”, т.е. ничем не объяснимые, резкие изменения в социальных настроениях. Вначале проис¬ходит определенное накопление изменений, вырисовываются тенденции, а уже потом происходит трансформация. В рейтингах мы сталкиваемся с чем-то подобным. И если на¬блюдаются ничем не объяснимые “прыжки” и “падения” участников списка, а к тому же тексты плохо их объясняют, то, как говорит¬ся, пиши пропало. Ну и при потреблении, ко¬нечно, играет роль “интуиция” самих читате¬лей, которая у нас развилась до необычайных размеров – в любом рейтинге видят заговор или, как минимум, заказуху. Что ж, это их ¬право.

2. Я думаю, некорректно сравнивать в данном случае опросы населения и экспер¬тов. При опросах населения, например, наша организация для проведения рейтингования составляет списки с учетом уровня инфор¬мированности жителей. То есть нет смыс¬ла спрашивать о деятельности политиков, управленцев, если их фамилии зачастую не¬известны большинству опрашиваемых. Да и вправе ли мы требовать это от “простого че¬ловека”? Поэтому обычно в рейтинг-листах стоят фамилии акимов областей, городов и районов, а также других персон, известных на уровне своего региона. Выборка в тысячу респондентов, конечно, не репрезентирует все области страны, но она является общенаци¬ональной, и при таком исследовании вопро¬сы, связанные с рейтингами, не задаются. Но существуют более крупные выборки, которые позволяют выявить мнения жителей всех областей. Еще раз повторюсь, что здесь главное – составление списков для рейтин¬гования. Что касается экспертных опросов, то здесь совершенно иная методика, другая целевая группа. В зависимости от целей ис¬следования должны подбираться эксперты. Отмечу, что здесь есть две основные пробле¬мы: первая – малочисленность экспертов по узким, специализированным, темам; вторая – их “занятость”, нежелание участвовать в опросах. И в этом действительно может вы¬ражаться существенное влияние субъектив¬ного фактора.

3. Не очень понятен вопрос. Какая страна – такие и эксперты. В областях экс¬перты, безусловно, есть, и ситуацию у себя они знают, естественно, гораздо лучше, чем мы, живущие в Алматы или Астане. Столич¬ный снобизм при оценке экспертных воз¬можностей присутствует, но какой от него смысл, если есть необходимость как можно глубже изучить ситуацию в регионе? Надо отталкиваться от того, что есть. Вспомина¬ется случай из практики. Однажды работали мы в одной из областей по международно¬му проекту. Начали искать экспертов, нам предложили одного с самыми наилучшими рекомендация¬ми. Договорились по поводу интервью, при этом работу должен был выполнить также представитель области. В ито¬ге при прослушивании записи интервью приговор иностран¬цев был таков: “Это что за разговор двух маргиналов?!”. А для меня это было обычное интервью “областников” – проблема в иносказательности, “эзоповом языке” беседую¬щих, который непонятен тем, кто плохо погружен в местный контент, особенно когда идет оценка, например, работы аки¬ма области.

4. Рецепт один – “много рейтингов хороших и разных”, а читатель сам разберется. “Заказные” материалы есть и будут всегда, и не мне об этом говорить журналистам, которые, как я понимаю, ча¬сто сталкиваются с ними в своей професси¬ональной деятельности. Солидные рейтинго¬вые агентства, смысл деятельности которых заключается в оттачивании инструментов для измерений, очень внимательно следят за своей репутацией и не допускают грубых ошибок, а если и допускают, то стараются быстро их исправить. Что касается некаче¬ственных “продуктов”… Если их кто-то про¬изводит, то совсем необязательно их потре¬блять, воспроизводить, тиражировать и т.д.

Даурен Сакенулы, директор Исследо¬вательского агентства “Рейтинг.KZ”:

1. Вероятно, вы имеете в виду ежеме¬сячные рейтинги, составляемые нашими коллегами из группы “Саясат-Monitoring”. В целом мы поддерживаем подобную работу, но нужно понимать, что объективность оцен¬ки зависит не только от профессионализма сотрудников агентства, но и в большей сте¬пени от квалифицикации и компетент¬ности опрашиваемых экспертов, а также уникаль¬ности базы. В данном случае речь должна идти о достаточном количестве экспертов из регионов и различных отраслей.

Вообще, рейтинги стали эффективным мониторинговым инструментом и в наших прериях. К примеру, с недавних пор в ад¬министрации президента и в канцелярии премьер-министра тоже используют рей¬тинговые показатели для оценки работы центральных и местных исполнительных органов. При этом нельзя сказать, что рей¬тингами стало модно заниматься – скорее, это объективная необходимость. Сейчас мы видим, как часто используют слово “рей¬тинг” высокопоставленные чиновники, по¬литики, СМИ. Данными рейтингов пользу¬ются государственные органы, независимые исследовательские центры, общественные организации, те же СМИ. Я считаю, что по¬добная деятельность со стороны институтов гражданского общества очень востребована. Главное только, чтобы исследования прово¬дились качественно и объективно.

Касательно рейтингов акимов областей и городов хочу сказать о том, что у раз¬личных социологических структур имеются свои методики, инструментарий для про¬ведения – то есть свои подходы. Скажем, если наши коллеги проводили экспертный опрос для оценки деятельности региональ¬ных акимов, то мы ежегодно проводим ис¬следование, направленное на ранжирование регионов Казахстана по 19 статистическим показателям-фактам (экономика, социальная сфера, уровень жизни населения), которые показывают реальную картину на местах и соответственно работу акимов. И если вы проанализируете итоги всех исследований, то увидите взаимоисключающие результа¬ты. Поэтому каждый имеет свою точку зре¬ния, позицию.

Кроме того, расхождения в результатах исследовательских центров даже по одной теме связаны с характером, географическим масштабом исследования, выборкой, инстру¬ментарием и т.д. Также имеет место пробле¬ма неискренних ответов респондентов (экс¬пертов) на определенные вопросы, которые им задают социологи.

2. Однозначно ответить на этот вопрос сложно, поскольку в каждом конкретном случае найдется свой ответ. Поэтому от¬вечу на примере нашей работы. В наших исследованиях мы применяем главным об¬разом экспертный опрос, где респондента¬ми выступают эксперты. Это компетентные лица, имеющие глубокие знания о предмете и объекте исследования. С одной стороны, количество опрашиваемых в данном случае гораздо меньше, чем при анкетировании представителей широких слоев населения. Но с другой стороны, уровень квалификации и знание исследуемых вопросов у экспертов на несколько порядков выше, чем у обычных респондентов. В свою очередь, это положи¬тельно отражается на качестве итогового ма¬териала. Оптимальная выборка в экспертном опросе необязательно должна быть большой. Дело ведь в качестве, а не в количестве.

Мы предложим альтернативную суще¬ствующим повестку – будем оценивать ди¬намику изменения уровня жизни в регионах и соответственно работу акимов ежеквар¬тально, также от нас будет новая линейка еже¬квартальных рейтингов по итогам дея¬тельности министерств, агентств, нацкомпа¬ний и структур, находящихся в прямом под¬чинении главы государства (Совбез, Счетная палата, АП, КНБ и т.д.).

Автор:
Подготовила Алмагуль ОЛЖАС