Контроль качества

С 2003 года КМИС разработал и ввел уникальную систему контроля качества информации - KIIS - QIIS (KIIS Quality of Interviews Integrated System ), которая состоит из системы мероприятий, показателей и программного обеспечения для комплексной оценки работы интервьюеров и качества данных эмпирических исследований. Система включает базу интервьюеров, оценку дневников интервью, полевой контроль, контроль кодировщиков, логический контроль и контроль аутлаеров, контроль распределений.

База интервьюеров накапливает сведения об интервьюерах и информацию о работе интервьюеров в предыдущих исследованиях (фото, социально-демографические характеристики, данные полевого и других видов контроля). База данных помогает дифференцировать контроль, оплату, подбор интервьюеров для использования в специфических исследованиях, которые требуют интервьюеров с определенными характеристиками (только женщины, или молодежь или интервьюеры среднего возраста и т.п.).

Оценка дневников, которые ведут интервьюеры во время интервью, является стандартной процедурой, во время которой оценивается точность фиксации структуры домохозяйства, корректность отбора респондентов и т.п.

Полевой контроль. Как правило, от 10% до 20% интервью контролируется путем повторных посещений домохозяйств контролерами. КМИС имеет сеть контроля, который состоит из опытных контролеров, которые имеют большой опыт работы как интервьюеры, но сейчас не принимают участие в исследованиях и занимаются исключительно контролем (они получают дополнительную зарплату за выявленные погрешности). Во время визитов контролируется факт интервью, правильность отбора респондента, продолжительность интервью, язык, на котором говорил интервьюер (КМИС уделяет особое внимание использованию языка, который наиболее удобен респонденту, так как данные наших исследований показывают, что этот фактор существенно влияет на результаты), а также ключевые вопросы анкеты.

Контроль кодировщиков. Стандартная процедура оценки качества интервью интервьюеров во время пересматривания и кодирование анкеты

Логический контроль и контроль аутлайеров. Стандартная процедура, во время которой за несколькими сотнями логических условий (например, разность между стажем работы и возрастом должны быть не меньше 15 лет) контролируются погрешности интервьюера (а также погрешности введения данных, если не было двойного введения данных). Для количественных сменных контролируются такие аутлайеры - значение, которые существенно отличаются от средних и вероятно могут быть результатом погрешности.

Контроль распределений. Уникальная процедура, которая внедрена КМИС. Распределение ответов, полученных каждым интервьюером за каждый вопрос анкеты, сравнивается со средним по Украине и данному региону. Если данные, накопленные во время нескольких исследований, статистически значительно отличаются от отклонений, которые имеют другие интервьюеры, то это может свидетельствовать о непрофессионализме интервьюера, давлении интервьюера на респондента или специфических особенностях и в любом случае требуют особого контроля.

Данные контроля дневников, полевого контроля, контроля кодировщиков, логического контроля и контроля аутлайеров, а также контроля распределений накапливаются в базе данных интервьюеров. Кроме того, разработанное нами программное обеспечение разрешает интегрировать результаты всех видов контроля в несколько главных показателей, которые дают интегральную характеристику качества проведенных исследований. Некоторые из этих показателей изложены в монографии Паниотто В.И. «Качество социологической информации», (методы оценки и процедуры обеспечения).- К.: Наукова думка, 1986 но большинство является новой разработкой.