Istraživanje podataka (engl. data mining, koriste se i termini traženje podataka, prekopavanje podataka, rudarenje podataka, dejta majning) je proces otkrivanja šablona u velikim skupovima podataka, korišćenjem metoda mašinskog učenja, statistike i sistema baza podataka. Istraživanje podataka predstavlja interdisciplinarnu podoblast informatike i statistike, čiji je opšti cilj izvlačenje informacija (korišćenjem inteligentnih metoda) iz skupova podataka i transformacija tih informacija u razumljivu strukturu radi dalje upotrebe. Predstavlja korak analize u procesu "otkrivanja znanja u bazama podataka" (engl. knowledge discovery in databases, KDD). Pored samog koraka analize, takođe uključuje i aspekte upravljanja podacima i bazama podataka, pretprocesiranja podataka, razmatranja statističkih modela i zaključaka, metrika zanimljivosti, razmatranja složenosti, postprocesiranja otkrivenih struktura, vizuelizacije i onlajn ažuriranja. Razlika između analize i istraživanja podataka leži u tome što se analiza podataka koristi da bi se statistički modeli i hipoteze testirali na skupu podataka, npr. prilikom analize efikasnosti marketinške kampanje, nevezano od količine podataka. Za razliku od toga, istraživanje podataka koristi mašinsko učenje i statističke modele da otkrije tajne ili skrivene šablone u velikim količinama podataka.
Termin "istraživanje podataka" je zapravo pogrešan, jer je cilj istraživanja izvlačenje šablona i znanja iz velikih količina podataka, a ne izvlačenje (rudarenje) samih podataka. Takođe predstavlja žargonsku frazu koja se često pripisuje bilo kom vidu obimne obrade podataka ili informacija (prikupljanju, izvlačenju, skladištenju, analizi i statistici) kao i bilo kojoj primeni računarskih sistema za podršku odlučivanju, uključujući i veštačku inteligenciju (npr. mašinsko učenje) i poslovnu inteligenciju. Knjiga Data mining: Practical machine learning tools and techniques with Java (koja većinski pokriva teme mašinskog učenja) je prvenstveno trebalo da bude nazvana Practical machine learning, dok je termin istraživanje podataka (engl. data mining) dodat isključivo iz marketinških razloga. Često su prikladniji opštiji termini (velikih razmera) kao što su analiza podataka i analitika ili, ukoliko se priča o stvarnim metodama, veštačka inteligencija i mašinsko učenje.
Stvaran zadatak istraživanja podataka jeste poluautomatska ili automatska analiza velike količine podataka kako bi se izvukli prethodno nepoznati, zanimljivi šabloni kao što su grupe zapisa podataka (analiza klastera), neobični zapisi (otkrivanje nepravilnosti) i zavisnosti (istraživanje pravilom asocijacije, istraživanje sekvencijalnih šablona). To obično uključuje korišćenje tehnika baza podataka kao što su prostorni indeksi. Ovi šabloni se onda mogu posmatrati kao vrsta kratkog pregleda ulaznih podataka i mogu se koristiti za dalju analizu ili, na primer, za mašinsko učenje i prediktivnu analitiku. Korak istraživanja podataka može, na primer, otkriti više grupa među podacima, koje se onda mogu koristiti kako bi se dobile preciznije prognoze rezultata korišćenjem sistema za podršku odlučivanju. Prikupljanje i priprema podataka, kao i tumačenje rezultata i izveštavanje, nisu deo koraka istraživanja podataka, ali kao dodatni koraci pripadaju KDD procesu.
Povezani pojmovi kopanje podataka, pecanje za podacima i njuškanje za podacima odnose se na primenu metoda istraživanja podataka da bi se uzorkovali delovi veće populacije skupova podataka koji su (ili bi mogli biti) premali da se na osnovu njih dođe do pouzdanih statističkih zaključaka o opravdanosti otkrivenih šablona. Ove metode se, ipak, mogu koristiti prilikom stvaranja novih hipoteza koje bi se koristile za testiranje na većim populacijama podataka.
Etimologija
Tokom 1960-ih, statističari i ekonomisti su koristili izraze poput pecanje podataka ili kopanje podataka koji su se odnosili na ono što su oni smatrali lošom praksom analiziranja podataka bez apriori hipoteze. Ekonomista Majkl Lovl (engl. Michael Lovell) izraz "istraživanje podataka" koristi na slično ključan način u članku objavljenom u Pregledu ekonomskih nauka (engl. Review of Economic Studies) 1983. Lovl ukazuje da se istraživanje podataka "skriva pod više različitih alijasa od "eksperimentisanje" (pozitivno) do "pecanje" ili pak "njuškanje"(negativno)."
Izraz istraživanje podataka se pojavio oko 1990. u zajednici koja se bavila bazama podataka koje rade sa bazama podataka, uglavnom sa pozitivnom konotacijom. Kratkoročno tokom 1980-ih se koristio izraz "istraživanje baza podataka"™, ali nakon što ga je HNC, kompanija iz San Dijega, zaštitila kako bi predstavila Database Mining Workstation; istraživači su se stoga okrenuli izrazu istraživanje podataka. Drugi korišćeni izrazi uključuju arheologija podataka, skupljanje informacija, otkrivanje informacija, izvlačenje znanja, itd. Gregori Pjatecki Šapiro (engl. Gregory Piatetsky-Shapiro) je osmislio izraz "otkrivanje znanja u bazama podataka" za prvu radionicu (KDD-1989) na istu temu i ovaj izraz je postao popularniji u zajednici veštačke inteligencije i mašinskog učenja. Međutim, izraz istraživanje podataka je postao popularniji u novinarskim i poslovnim zajednicama.Piatetsky-Shapiro, Gregory; Parker, Gary . Introduction to Data Mining. KD Nuggets.. Trenutno, izrazi istraživanje podataka i otkrivanje znanja mogu da se koriste razmenljivo.
U akademskoj zajednici, glavni forumi za istraživanje su započeti 1995. kada je Prva internacionalna konferencija o istraživanju podataka i otkrivanju znanja (KDD-95) osnovana u Montrealu pod pokrićem AAAI. Koorganizatori su bili Usama Fajad i Ramsami Uturusami. Godinu dana kasnije, 1996. Usama Fajad je osnovao Kluverov časopis koji se zvao Istraživanje Podataka i Otkrivanje Znanja (engl. Data Mining and Knowledge Discovery) kao glavni urednik. Kasnije je pokrenuo SIGKDD pretplatu na časopis SIGKDD istraživanja (engl. SIGKDD Explorations) . KDD Internacionalna konferencija je postala primarno najkvalitetnija konferencija u oblasti istraživanja podataka sa stopom prihvatanja predloga naučnih radova ispod 18%. Časopis Istraživanje podataka i otkrivanje znanja (engl. Data Mining and Knowledge Discovery) je primarni istraživački časopis u ovoj oblasti.
Istorija
Vekovima su se šabloni ručno izvlačili iz podataka. Rane metode prepoznavanja šablona u podacima uključuju Bajesovu teoremu (1700-te god.) i regresionu analizu (1800-te god.). Širenje, sveprisutnost i rastuća moć kompjuterske tehnologije je dramatično povećala prikupljanje podataka, skladišni prostor i mogućnost manipulacije njima. Pošto su skupovi podataka postali veći i kompleksniji, direktni analiza podataka je poboljšavana indirektnom, automatskom obradom podataka, uz pomoć drugih otkrića u informatici poput neuronske mreže, analize klastera, genetskih algoritama, (1950-te god.) stabla odlučivanja i pravila odlučivanja (1960.) i metode potpornih vektora (1990-te god.). Istraživanje podataka je proces primenjivanja ovih metoda sa namerom otkrivanja skrivenih šablona u velikim skupovima podataka. Prevazilazi jaz između primenjene statistike i veštačke inteligencije (koja uglavnom pruža matematičku potporu) u upravljanju bazama podataka korišćenjem načina na koji se podaci skladište i indeksiraju u bazama podataka kako bi se algoritmi za učenje i otkrivanje izveli efikasnije, omogućavajući takvim metodama da budu primenjene na sve većim skupovima podataka.
Proces
Proces otkrivanja znanja u bazama podataka je obično definisan sledećim koracima: Selekcija Pretprocesiranje Transformacija Istraživanje podataka Interpretacija/procena
Međutim, postoji mnogo varijacija ovog modela, kao što je Među-industrijski standardni proces za istraživanje podataka (engl. CRISP DM - Cross-industry standard process for data mining), koji definiše šest faza: Razumevanje poslovanja Razumevanje podataka Priprema podataka Modelovanje Procena Razvoj
ili pojednostavljen proces kao što je (1) pretprocesiranje, (2) istraživanje podataka i (3) potvrđivanje rezultata.
Ankete sprovedene u 2002, 2004, 2007. I 2014. godini, pokazuju da je CRISP-DM metodologija najkorišćenija među rudarima podataka.Gregory Piatetsky-Shapiro (2002) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2004) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2007) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2014) KDnuggets Methodology Poll SEMMA je bio jedini drugi standard istraživanja podataka u ovim anketama. Međutim, 3 do 4 puta više ljudi je reklo da koristi CRISP-DM metodologiju. Nekoliko timova istraživača je objavilo preglede modela procesa istraživanje podataka,Óscar Marbán, Gonzalo Mariscal and Javier Segovia (2009); . In Data Mining and Knowledge Discovery in Real Life Applications, Book edited by: Julio Ponce and Adem Karahoca. , February 2009, I-Tech, Vienna, Austria. a Azvedo i Santos su sproveli poređenje CRISP-DM i SEMMA modela 2008. godine.. In Proceedings of the IADIS European Conference on Data Mining 2008.
Pretprocesiranje
Pre korišćenja algoritama za istraživanje podataka, mora se sastaviti ciljani skup podataka. Kako istraživanje podataka može da otkrije jedino šablone koji zapravo postoje u podacima, ciljani skup podataka mora da bude dovoljno veliki da sadrži te šablone, ali i da bude dovoljno mali da bi mogao da se istražuje u prihvatljivim vremenskim granicama. Čest izvor podataka jesu tržište podataka i skladište podataka. Pretprocesiranje je neophodno za analizu multivarijabilnih skupova podataka pre istraživanja podataka. Ciljani skup podataka se zatim sređuje. Sređivanje podataka uklanja sva posmatranja koja sadrže šum ili kojima nedostaju vrednosti.
Istraživanje podataka
Istraživanje podataka se sastoji iz šest čestih tipova zadataka: Otkrivanje nepravilnosti(atipičnih podataka/promena/odstupanja) - otkrivanje neobičnih zapisa podataka koji mogu biti zanimljivi ili grešaka u podacima koje zahtevaju dalje istraživanje. Učenje pravilom asocijacije(modelovanje zavisnosti) - traganje za vezama između promenljivih. Na primer, supermarket može da skuplja podatke o kupovnim navikama kupaca. Korišćenjem učenja pravilom asocijacije, supermarket može da odredi koji proizvodi se često kupuju zajedno, a zatim da iskoristi tu informaciju za potrebe marketinga. Ovo se ponekad naziva analiza potrošačke korpe. Klasterovanje - zadatak otkrivanja grupa i struktura u podacima koji su na neki način slični, bez korišćenja već poznatih struktura u podacima. Klasifikacija - zadatak generalizacije poznatih struktura koje je potrebno primeniti nad novim podacima. Na primer, imejl program može da klasifikuje imejlove kao „legitimni” ili kao „spem”. Regresija - pokušava da pronađe funkciju koja oblikuje podatke sa najmanjom greškom, tj. Za procenu veza između podataka ili skupova podataka. Sažimanje - pruža kompaktniji uvid u skup podataka, uključujući vizualizacije i generisanje izveštaja.
Potvrđivanje rezultata мини|Primer podataka proizvedenih kopanjem podataka preko bota kojim je upravljao statističar Tajler Vigen, koji pokazuju usku vezu između reči koje su donele pobedu na „speling” (eng. spelling bee) takmičenju i broja ljudi koji su umrli od ujeda otrovnih pauka u Sjedinjenim Američkim Državama. Sličnost u trendovima je očigledno slučajnost. Istraživanje podataka se može nesvesno loše iskoristiti, što zatim dovodi do rezultata koji na prvi pogled deluju bitno; ali zapravo ne predviđaju buduće ponašanje niti mogu biti reprodukovani na novim uzorcima podataka, te nemaju nikakve koristi. Ovakvi rezultati su česti nakon istraživanja previše hipoteza i nakon lošeg statističkog testiranja hipoteza. Jednostavan oblik ovog problema u mašinskom učenju se zove preprilagođavanje modela. Kako se taj problem može pojaviti u različitim fazama procesa, to dovodi do toga da razdvajanje na trening i test skupove - kada je to uopšte moguće - nije dovoljno da spreči pojavu ovog problema.