Контроль якості

З 2003 року КМІС розробив та запровадив унікальну систему контролю якості інформації - KIIS - QIIS (KIIS Quality of Interviews Integrated System ), що складається з системи заходів, показників та програмного забезпечення для комплексної оцінки роботи інтерв'юєрів та якості даних емпіричних досліджень. Система включає базу інтерв'юєрів, оцінку щоденників інтерв'ю, польовий контроль, контроль кодувальників, логічний контроль та контроль аутлайерів, контроль розподілів.

База інтерв'юєрів накопичує відомості про інтерв'юєрів та інформацію про роботу інтерв'юєрів у попередніх дослідженнях (фото, соціально-демографічні характеристики, дані польового та інших видів контролю). База даних допомагає диференціювати контроль, оплату, підбір інтерв'юєрів для використання у специфічних дослідженнях, що вимагають інтерв'юєрів з певними характеристиками (тільки жінки, чи молодь чи солідні інтерв'юєри тощо).

Оцінка щоденників, що ведуть інтерв'юєри під час інтерв'ю, є стандартною процедурою під час якої оцінюється точність фіксації структури домогосподарства, коректність відбору респондентів тощо.

Польовий контроль. Як правило, від 10% до 20% інтерв'ю контролюється шляхом повторних відвідувань домогосподарств контролерами. КМІС має мережу контролю, що складається з досвідчених контролерів, які мають великий досвід роботи як інтерв'юєри, але зараз не приймають участь у дослідженнях і займаються виключно контролем (вони одержують додаткову зарплату за виявлені похибки). Під час візитів контролюється факт інтерв'ю, правильність відбору респондента, тривалість інтерв'ю, мова, якою розмовляв інтерв'юєр (КМІС приділяє особливу увагу використанню мови, що найбільш зручна респонденту, бо дані наших досліджень показують, що цей фактор суттєво впливає на результати), а також ключові питання анкети.

Контроль кодувальників. Стандартна процедура оцінки якості інтерв'ю інтерв'юєрів під час переглядання та кодування анкети

Логічний контроль та контроль аутлайерів. Стандартна процедура, під час якої за декількома сотнями логічних умов (наприклад, різниця між стажем роботи та віком має бути не менше 15 років) контролюються похибки інтерв'юєра (а також похибки введення даних, якщо не було подвійного введення даних). Для кількісних змінних контролюються такі аутлайери - значення, що суттєво відрізняються від середніх і ймовірно можуть бути результатом похибки.

Контроль розподілів. Унікальна процедура, що запроваджена КМІС. Розподіл відповідей, що одержані кожним інтерв'юєром за кожним питання анкети порівнюється з середнім по Україні та даному регіону. Якщо дані, накопичені під час декількох досліджень, статистично значуще відрізняються від відхилень, що мають інші інтерв'юєри, то це може свідчити про непрофесійність інтерв'юєра, тиск інтерв'юєра на респондента чи специфічні особливості і у будь якому разі вимагають особливого контролю.

Дані контролю щоденників, польового контролю, контролю кодувальників, логічного контролю та контролю аутлайерів, а також контролю розподілів накопичуються у базі даних інтерв'юєрів. Крім того розроблене нами програмне забезпечення дозволяє інтегрувати результати усіх видів контролю у декілька головних показників, що дають інтегральну характеристику якості проведених досліджень (деякі з цих показників викладені у монографії Паниотто В.И. Качество социологической информации (методы оценки и процедуры обеспечения).- К.: Наукова думка, 1986, але більшість є новою розробкою).