miniatura|Minaría de datos ou datamining. A minaría de datos ou exploración de datos (a etapa de análise de knowledge discovery in databases ou KDD) é un campo da estatística e das ciencias da computación referido aos procesos que tentan descubrir patróns en grandes volumes de conxuntos de datos. Emprega métodos de intelixencia artificial, aprendizaxe automática, estatística e sistemas xestores de bases de datos. O obxectivo xeral do proceso de minaría é a extracción de información dun conxunto de datos para a súa transformación posterior nunha estrutura adecuada para analizar e sacar conclusións dos grandes volumes de información.
Ademais da etapa de análise en bruto, a minaría supón xestionar:
Bases de datos. Consideracións do modelo e de inferencia. Métricas de intereses. Consideracións da teoría da complexidade computacional. Post-procesamento de estruturas descubertas. Visualización e actualización en liña da información.
O termo é frecuentemente mal utilizado para referirse a calquera forma de datos a gran escala ou procesamiento da información (recolección, extracción, almacenamento, análise e estatísticas). Tamén se emprega con calquera tipo de sistema informático de apoio a decisións, incluíndo a intelixencia artificial, aprendizaxe automática e intelixencia empresarial. miniatura|Relación xeral entre os procesos de minado web (web mining) e a minaría de datos. No uso da palabra, o termo clave é o descubrimento (KDD). Defínese como «detección de algo novo». A miúdo, os termos máis xerais «análises de datos», «análises»; ou, cando se refiren aos métodos actuais, «intelixencia artificial» e «aprendizaxe automática», son máis apropiados para moitos casos que simplemente «minaría de datos».
A tarefa da minaría de datos real é a análise automática ou semiautomática de grandes cantidades de datos coa intención de extraer patróns de interese (descoñecidos en primeira instancia) como:
Grupos de rexistros de datos (análises clúster) Rexistros pouco usuais (detección de anomalías) Dependencias (minaría por regras de asociación).
Empréganse técnicas de bases de datos como os índices espaciais. Estes patróns poden ser vistos como unha especie de resumo dos datos de entrada que xogan un papel importante na análise adicional ou, por exemplo, na aprendizaxe automática e análise predictivo. miniatura|Ordenación dos datos desordenados para obter coñecemento útil (KDD). Por exemplo, o procedemento de minaría de datos podería identificar varios grupos nos datos, que logo serían utilizados para obter resultados máis precisos de predición por un sistema de soporte de decisións. Nin a recolección de datos, a preparación de datos, nin a interpretación dos resultados e a información son parte da etapa de minaría de datos, pero é común considerar que pertencen a todo o proceso KDD como pasos adicionais.
Os termos relacionados coa obtención de datos, a pesca de datos e espionaxe dos datos refírense á utilización de métodos de minaría de datos sobre partes pequenas dun conxunto poboacional de grandes dimensións. As inferencias estatísticas destes métodos téñense que mirar con escepticismo, pois están tratando con mostras pequenas. Estes métodos poden, con todo, ser utilizados na creación de novas hipóteses que se proban contra poboacións de datos máis grandes.
As vantaxes da minaría de datos están relacionadas coa capacidade de compartir información e aprender patróns descoñecidos sobre datos "opacos" a primeira vista.
As desvantaxes teñen que ver coa privacidade do minado de datos. Ao facer que a información estea dispoñible, as empresas poden promover problemas de privacidade e seguridade dos seus usuarios. Algunhas solucións suxeridas polos investigadores implican limitar o acceso aos datos, eliminar agrupacións que non son esenciais ou o aumentar o tamaño do dataset para que sexa moito máis difícil extraer conclusións específicas de individuos.
Proceso de minaría Un proceso típico de minaría de datos consta dos seguintes pasos xerais:
Selección do conxunto de datos (dataset), tanto no que se refire ás variables obxectivo (aquelas coas que se quere traballar: predicir, calcular ou inferir), como ás variables independentes (empregadas para facer o cálculo ou proceso), como posiblemente á mostraxe dos rexistros dispoñibles. Análise das propiedades dos datos, en especial os histogramas, diagramas de dispersión, presenza de valores atípicos e ausencia de datos (valores nulos NULL). Transformación do conxunto de datos de entrada, tamén coñecido como preprocesamento dos datos, co obxectivo de preparalos para aplicar técnicas de minaría de datos que se adapten correctamente ao problema. Un problema substancial asociado ao desenvolvemento deste tipo de sistemas cando conteñen texto en inglés é o tamaño do seu vocabulario, que é máis grande que o de calquera outra lingua. Un método que se aplica nestes casos é o de simplificación, previo ao proceso en si, por medio de converter devandito texto a inglés básico; mesmo que contén só 1.000 palabras que tamén se utilizan para describir en notas ao pé o sentido das máis de 30.000 palabras definidas no «Dicionario Básico de Ciencias».miniatura|Workflow dun proceso de minaría de datos. Selección e aplicación da técnica de minaría de datos, constrúese o modelo predictivo, de clasificación ou segmentación. Extracción de coñecemento (Knowledge Discovery), mediante unha técnica de minaría de datos, obtense un modelo de coñecemento, que representa patróns de comportamento observados nos valores das variables do problema ou relacións de asociación entre devanditas variables. Tamén poden usarse varias técnicas á vez para xerar distintos modelos, aínda que xeralmente cada técnica obriga a un preprocesado diferente dos datos. Interpretación e avaliación de datos. Unha vez obtido o modelo, procédese á súa validación comprobando que as conclusións que lanza son válidas e suficientemente satisfactorias. No caso de obter varios modelos mediante o uso de distintas técnicas, débense comparar os modelos en busca daquel que se axuste mellor ao problema. Se ningún dos modelos alcanza os resultados esperados, debe alterarse algún dos pasos anteriores para xerar novos modelos.
O modelo final pode non superar a avaliación descrita. Nese caso, o proceso poderíase repetirse desde o principio ou a partir de calquera dos pasos anteriores. Esta retroalimentación («feedback») poderase repetir cantas veces sexa necesario até obter un modelo válido. Unha vez validado o modelo, se resulta aceptable (proporciona saídas axeitadas e/ou con marxes de erro admisibles) este está listo para a súa explotación por parte da organización. Os modelos obtidos por técnicas de minaría de datos aplícanse incorporándoos nos sistemas de análises de información, e mesmo nos sistemas transaccionais. Neste sentido cabe destacar os esforzos do Data Mining Group, que se ocupa de estandarizar a linguaxe PMML (Predictive Model Markup Language), de maneira que os modelos de minaría de datos sexan interoperables en distintas plataformas (datos intercambiados de forma segura e sen perda), con independencia do sistema co que foron construídos. Os principais fabricantes de sistemas de bases de datos e programas de análises da información fan uso do estándar PMML.miniatura|Esquema dun almacén de datos (Data Warehouse). Minaría de datos en almacén, cando as técnicas se aplican sobre información contida en almacéns de datos (Data Warehouse). Grandes organizacións crean e alimentan bases de datos especialmente deseñadas para proxectos de minaría de datos nas que centralizan información potencialmente útil de todas as súas áreas de negocio. Minaría de datos desestructurados, como información contida en ficheiros de texto dispoñibles en Internet e fontes dispersas.
Protocolo de proxecto As cinco fases necesarias dun proxecto de minado de datos son, esencialmente: miniatura|Data Mining - The Noun Project.
Comprensión do negocio e do problema que se quere resolver. Determinación, obtención e limpeza: dos datos necesarios. Creación de modelos matemáticos. Validación, comunicación dos resultados obtidos. Integración dos resultados nun sistema transaccional ou similar.
A realidade afai ser moito máis complexa que os cinco pasos. Outras metoloxías permiten xestionar a complexidade dun proceso de minaría dunha maneira máis ou menos uniforme.
Técnicas de minaría de datos As técnicas da minaría de datos proveñen da intelixencia artificial e da estatística. Devanditas técnicas non son máis que algoritmos de menor ou maior sofisticación que se aplican sobre un conxunto de datos para obter os resultados.
As técnicas máis representativas son:
miniatura|Rede neural de varias capas.Redes neuronais. Paradigma de aprendizaxe e procesamento automático inspirado na forma en que funciona o sistema nervioso dos animais. Trátase dun sistema de interconexión de neuronas nunha rede que colabora para producir un estímulo de saída. Algúns exemplos de rede neuronal de emprego común son: O perceptrón. O perceptrón multicapa. Os mapas autoorganizados, tamén coñecidos como redes de Kohonen.
miniatura|Regresión linear en dúas dimensións.Regresión linear. Dos métodos de aprendizaxe estatística é o máis coñecido e sinxelo de poñer en práctica. É un procedemento rápido e eficaz pero insuficiente en espazos multidimensionais onde poidan relacionarse máis de 2 variables (a solución é a regresión linear multivariante).
miniatura|Árbore de decisión.Árbores de decisión. Unha árbore de decisión é un modelo de predición utilizado no ámbito da intelixencia artificial e análise predictiva. Dada unha base de datos constrúense estes diagramas de construcións lóxicas, moi similares aos sistemas de predición baseados en regras, que serven para representar e categorizar unha serie de condicións que suceden de forma sucesiva para resolver un problema. Exemplos: Algoritmo ID3. Algoritmo C4.5 miniatura|Distribución exponencial. Modelos estadísticos. Indican os factores que modifican a variable resposta. Empregados en regresión e outras técnicas de aprendizaxe estatística. miniatura|Análise clúster ou agrupamento. Agrupamento ou Clustering. Procedemento de agrupación dunha serie de vectores segundo criterios habitualmente de distancia: os vectores de entrada máis próximos terán características comúns. Exemplos: Algoritmo K-means Algoritmo K-medoids
Regras de asociación. Utilízanse para descubrir feitos que ocorren en común dentro dun determinado conxunto de datos.
Os algoritmos de análise de datos clasifícanse en supervisados e non supervisados (Weiss e Indurkhya, 1998):
Algoritmos supervisados (preditivos): predín un dato (ou un conxunto deles) descoñecido a priori, a partir doutros coñecidos. Algoritmos non supervisados (ou do descubrimento do coñecemento): descóbrense patróns e tendencias nos datos, o que é a base do propio KDD (Knowledge Discovery in Databases).
Casos de uso e aplicacións
Negocios A minaría de datos pode contribuír significativamente nas aplicacións de administración empresarial baseada na relación co cliente (CRM). O contacto cliente-empresa realízase tradicioanalmente a través de
Centros de chamadas. Correos electrónicos.
miniatura|Aproximación CRM. A minaría de datos e os procesos de KDD poden percibir os clientes que teñen unha maior probabilidade de responder positivamente a unha determinada oferta, promoción ou acercamento.
As empresas que empregan minaría de datos habitualmente ven o retorno do investimento, pero tamén recoñecen que o número de modelos preditivos desenvolvidos pode crecer moi rapidamente.
En lugar de crear modelos para predicir os clientes que son susceptibles de cambiar, a empresa pode construír modelos separados para cada rexión e/ou tipo de cliente.