Jakość danych – kwalifikacja poprawności danych, ale także ich przydatności.
Jakość danych to wielowymiarowa konstrukcja. Definiowanie tych wymiarów oraz ocena każdego z nich zależy od zainteresowanych grup (użytkowników tych danych).
Opis W polskiej statystyce publicznej jakość danych określana jest według Europejskiego Systemu Statystycznego za pomocą sześciu wyznaczników jakości: użyteczności, dokładności, terminowości i punktualności, dostępności i przejrzystości, przejrzystości, porównywalności, spójności. Natomiast w analityce biznesowej jakość danych utożsamiana jest z kompletnością i spójnością jako centralnymi wymiarami jakości danych w systemie analitycznym.
Liczba źródeł danych jest zależna od wielkości organizacji oraz tego jak dynamicznie się ona rozwija. Kluczowym dla oceny sytuacji w poszczególnych obszarach jest wewnętrzna i wzajemna spójność. Z tego powodu, w celu uniknięcia chaosu informacyjnego i niekorzystnych decyzji, kluczowym jest zadbanie o właściwe zarządzanie całym procesem, tj. o odpowiednie zarządzanie jakością danych (ang. Data Quality Management).
Cechy jakości danych Jakość danych można interpretować przez pryzmat wielu ważnych cech, aspektów, których analiza pozwoli w mniejszym lub większym stopniu na dokonanie subiektywnej oceny jakości danych. Informacja, która może uchodzić za jakościową, powinna posiadać następujące cechy: relatywność – informacja spełnia oczekiwania odbiorcy – ma dla niego znaczenie i spełnia jego potrzeby, dokładność – informacja odpowiada poziomowi wiedzy odbiorcy, wyczerpująco opisuje dany temat, aktualność – informacja jest wartościowa, świeża, kompletność – informacja zawiera wystarczającą liczbę danych, co może skutkować przekształceniem informacji w konkretną wiedzę, spójność – poszczególne elementy i dane tworzą logiczną całość, adekwatność – właściwa prezentacja oraz opis informacji umożliwiający stosowną interpretację, dostępność – informacja jest dostępna zawsze, gdy jest potrzebna odbiorcom, wiarygodność – informacja poświadcza autentyczność danych, zawiera elementy potwierdzające rzetelności przekazu, przystawalność – informacja jest przedstawiona w sposób analogiczny z inną informacją.
Zarządzanie jakością danych Jedynie właściwa strategia pozwala na skuteczne zarządzanie jakością danych. Do jej najważniejszych właściwości należą:
wiedza o źródłach danych (miejsce ich powstania, aspekty technologiczne), optymalizacja procedur (automatyzacja, standaryzacja), stałość w monitorowaniu i eliminacji uszkodzonych danych wsadowych z baz, wprowadzenie w życie procedur zapewnianiających czystości danych, określenie odpowiedzialności za jakość danych i ich weryfikację.
Oczyszczanie danych Oczyszczanie danych jest metodą wykrywania i usuwania lub poprawiania informacji zawartych w bazach danych, jeśli informacje te są nieprawidłowe, zduplikowane, niedokładne, nieaktualne, nadmiarowe lub niewłaściwie sformatowane. Dodatkowo działanie to zapewnia o bezbłędności połączeń danych z oddzielonych baz danych. Proces czyszczenia danych bazuje na algorytmach opracowywanych przez programistów i administratorów baz danych, co pozwala na eliminację błędów, które mogłyby mieć miejsce podczas manualnej edycji baz danych. Usługa czyszczenia danych wykorzystywana jest głównie w bankach, towarzystwach ubezpieczeniowych, handlu, telekomunikacji i transporcie. Programy odpowiadające za oczyszczanie danych mogą na przykład zniwelować niektóre rodzaje błędów, wprowadzić brakujące informacje lub zlokalizować zduplikowane dane.
Najważniejsze etapy oczyszczania danych Walidacja – inaczej weryfikacja czy surowe dane nie zawierają podstawowych błędów, które mogłyby zaburzyć równowagę całego procesu. Z tego powodu walidacja powinna być pierwszym krokiem w procesie oczyszczania danych, Formatowanie do wspólnej wartości (standaryzacja) – polega na sprowadzeniu do wspólnej wartości liczby użytkowników, którzy np. w wyszukiwarkę e-commerce wpisali frazy kluczowe oznaczające to samo, ale sformułowali je w inny sposób, np. odzież sportowa, ciuchy do ćwiczeń, ubrania sportowe, Czyszczenie duplikatów – eliminowanie zduplikowanych elementów powstałych w wyniku segregowania danych, Uzupełnianie brakujących danych vs. usuwanie danych niepełnych – w celu dokonania analizy potrzebna jest kompletna baza danych, należy więc dodać brakujące informacje oraz pozbyć się niekompletnych danych, które mogą rozregulowywać wyniki, Wykrywanie konfliktów w bazie danych – ostatni etap oczyszczania danych, polega on na odsianiu wartości, które wzajemnie się wykluczają.
Przypisy
Kategoria:Dane