Ocena i monitorowanie jakości procesów statystycznych odbywa się na podstawie narzędzi do pomiaru, oceny oraz monitorowania jakości, tj. raportów jakości i mierników jakości oraz list pytań kontrolnych w tym listy kontrolnej do samooceny jakości badań DESAP/LiKoS, a także przeglądów jakości.
Raporty jakości – opis procesu statystycznego/badania statystycznego najczęściej według 6 komponentów jakości, tj. przydatność danych, dokładność danych, aktualności i terminowość danych, dostępność i przejrzystość danych, porównywalność danych, spójność danych. Układ raportu jakości dla Eurostatu wynika z tematycznych regulacji unijnych na temat jakości statystyk wspólnotowych. Układ raportu jakości dla potrzeb krajowych wynika z Zarządzenia wewnętrznego Prezesa GUS nr 35 z dnia 28.12.2011 r. w sprawie pomiaru, oceny oraz monitorowania jakości badań statystycznych w służbach statystyki publicznej.
Mierniki jakości – zestaw mierników jakości do pomiaru poszczególnych komponentów jakości, tj.:
-
przydatność: stopa dostępnych zmiennych;
-
dokładność: współczynnik zmienności, podmiotowy wskaźnik odpowiedzi, przedmiotowy wskaźnik odpowiedzi, stopa imputacji, wskaźnik błędów nadmiernego pokrycia, wskaźnik błędnej edycji, przeciętny rozmiar korekty danych;
-
aktualność i terminowość – odstęp czasu między końcem okresu badanego a datą wyników (wstępnych, ostatecznych), punktualność harmonogramu publikacji;
-
dostępność i przejrzystość – liczba publikacji rozpowszechnionych, liczba baz danych, wskaźnik kompletności metadanych w udostępnionych wynikach badań;
-
porównywalność danych – długość porównywalnych szeregów czasowych, asymetria w przebiegu porównywalnych szeregów czasowych;
-
spójność – liczba badań wskazujących cechy spójne w zakresie zmiennych.
Samoocena jakości – samoocena jakości dokonywana jest przez autora badania i inne osoby zaangażowane w proces statystyczny na podstawie listy pytań kontrolnych. W GUS do samooceny jakości jest wykorzystywana lista pytań kontrolnych DESAP/LiKoS dla menadżerów badań, która umożliwia prezentację graficzną jakości procesu statystycznego w postaci diagramu samooceny. Diagram samooceny może być przedstawiany użytkownikom badań.
Lista kontrolna DESAP/LiKoS składa się z 7 obszarów badawczych:
- decyzja o podjęciu badania;
- projekt badania;
- metoda zbierania danych;
- metoda przetwarzania danych;
- analiza danych i jakości wyników;
- dokumentacja badania i rozpowszechnianie wyników;
- usprawnienia.
W ramach każdego obszaru badawczego lista kontrolna DESAP/LiKoS wyodrębnia trzy kategorie pytań:
-
pytania usprawniające;
-
pytania oceniające;
-
pytania otwarte.
Przegląd jakości – okresowy, zaplanowany i udokumentowany proces oceny badania (zespołu badań), którego celem jest ustalenie jego słabych i mocnych stron oraz wskazanie dobrych praktyk i wniosków usprawniających. Wszystkie działania objęte przeglądem jakości są wykonywane przez pracowników statystyki uczestniczących w realizacji danego badania na różnych jego etapach.
Powyższe standardowe narzędzia, służące zapewnieniu jakości danych, są wdrażane w badaniach statystycznych statystyki publicznej na podstawie zarządzenia wewnętrznego Prezesa GUS nr 35 z 28.12.2011 r. w sprawie pomiaru, oceny i monitorowania jakości badań statystycznych. Zostały one opisane w Kompendium wiedzy z jakości w statystyce publicznej, które jest zalecane do stosowania także przez innych producentów danych statystyki europejskiej (ONAs - other national authorities).