En l'analítica predictiva, la ciència de dades, l'aprenentatge automàtic i camps relacionats, la deriva conceptual o deriva és una evolució de les dades que invalida el model de dades. Passa quan les propietats estadístiques de la variable objectiu, que el model intenta predir, canvien amb el temps de maneres imprevistes. Això causa problemes perquè les prediccions es tornen menys precises a mesura que passa el temps. La detecció i l'adaptació a la deriva són de suma importància en els camps que impliquen canvis dinàmics de dades i models de dades.
Decaïment del model predictiu En l'aprenentatge automàtic i l'analítica predictiva, aquest fenomen de deriva s'anomena deriva conceptual. En l'aprenentatge automàtic, un element comú d'un model de dades són les propietats estadístiques, com ara la distribució de probabilitat de les dades reals. Si es desvien de les propietats estadístiques del conjunt de dades d'entrenament, les prediccions apreses poden esdevenir invàlides si no s'aborda la deriva.
Decaïment de la configuració de dades Una altra àrea important és l'enginyeria de programari, on es poden reconèixer tres tipus de deriva de dades que afecten la fidelitat de les dades. Els canvis en l'entorn del programari ("deriva d'infraestructura") poden invalidar la configuració de la infraestructura del programari. La "deriva estructural" es produeix quan l'esquema de dades canvia, cosa que pot invalidar les bases de dades. La "deriva semàntica" són canvis en el significat de les dades mentre que l'estructura no canvia. En molts casos, això pot passar en aplicacions complicades quan molts desenvolupadors independents introdueixen canvis sense ser conscients dels efectes dels seus canvis en altres àrees del sistema de programari."Driftctl and Terraform, they're two of a kind!"Girish Pancha, Big Data's Hidden Scourge: Data Drift, CMSWire, April 8, 2016
Per a molts sistemes d'aplicació, la naturalesa de les dades amb què operen està subjecta a canvis per diverses raons, per exemple, a causa de canvis en el model de negoci, actualitzacions del sistema o canvi de plataforma en què opera el sistema.
En el cas de la computació en núvol, la deriva de la infraestructura que pot afectar les aplicacions que s'executen al núvol pot ser causada per les actualitzacions del programari del núvol.
Hi ha diversos tipus d'efectes perjudicials de la deriva de dades sobre la fidelitat de les dades. La corrosió de dades consisteix a passar les dades desviades al sistema sense ser detectades. La pèrdua de dades es produeix quan s'ignoren les dades vàlides a causa de la no conformitat amb l'esquema aplicat. El malbaratament és el fenomen quan s'introdueixen nous camps de dades aigües amunt en el procés de processament de dades, però en algun lloc aigües avall aquests camps de dades són absents. Les enquestes del sector també han identificat la deriva de models com un dels diversos contribuents als errors dels projectes d'IA. Una enquesta del 2026 realitzada per Radixweb va informar que la deriva tècnica del model representava el 6,5% dels incidents d'errors d'IA reportats entre els seus enquestats.
Dades inconsistents La "deriva de dades" pot referir-se al fenomen en què els registres de la base de dades no coincideixen amb les dades del món real a causa dels canvis en aquestes últimes al llarg del temps. Aquest és un problema comú amb les bases de dades que impliquen persones, com ara clients, empleats, ciutadans, residents, etc. La deriva de dades humanes pot ser causada per canvis no registrats en dades personals, com ara el lloc de residència o el nom, així com per errors durant l'entrada de dades.Matthew Magne, "Data Drift Happens: 7 Pesky Problems with People Data", InformationWeek, July 19, 2017
La "deriva de dades" també es pot referir a la inconsistència dels elements de dades entre diverses rèpliques d'una base de dades. Els motius poden ser difícils d'identificar. Una detecció simple de la deriva és executar la suma de verificació regularment. Tanmateix, el remei pot no ser tan fàcil.Daniel Nichter, Efficient MySQL Performance, 2021, , p. 299
Exemples El comportament dels clients en una botiga en línia pot canviar amb el temps. Per exemple, si es volen predir les vendes setmanals de mercaderies i s'ha desenvolupat un model predictiu que funcioni satisfactòriament. El model pot utilitzar entrades com ara la quantitat de diners gastats en publicitat, les promocions que es duen a terme i altres mètriques que poden afectar les vendes. És probable que el model esdevingui cada cop menys precís amb el temps: això és la deriva de conceptes. En l'aplicació de vendes de mercaderies, una de les raons de la deriva de conceptes pot ser l'estacionalitat, la qual cosa significa que el comportament de compra canvia estacionalment. Potser hi haurà vendes més altes durant la temporada de vacances d'hivern que durant l'estiu, per exemple. La deriva de conceptes generalment es produeix quan les covariables que componen el conjunt de dades comencen a explicar la variació del vostre conjunt d'objectius amb menys precisió; pot haver-hi algunes variables confuses que han sorgit i que simplement no es poden tenir en compte, cosa que fa que la precisió del model disminueixi progressivament amb el temps. En general, es recomana realitzar comprovacions de salut com a part de l'anàlisi de postproducció i tornar a entrenar el model amb noves suposicions davant de signes de deriva de conceptes.
Possibles remeis Per evitar el deteriorament de la precisió de la predicció a causa de la deriva del concepte, es poden adoptar solucions reactives i de seguiment. Les solucions reactives reentrenen el model en reacció a un mecanisme desencadenant, com ara una prova de detecció de canvis o gràfics de control del control estadístic de processos, per detectar explícitament la deriva del concepte com un canvi en les estadístiques del procés de generació de dades. Quan es detecta la deriva del concepte, el model actual ja no està actualitzat i s'ha de substituir per un de nou per restaurar la precisió de la predicció. Una deficiència dels enfocaments reactius és que el rendiment pot decaure fins que es detecta el canvi. Les solucions de seguiment busquen rastrejar els canvis en el concepte actualitzant contínuament el model. Els mètodes per aconseguir-ho inclouen l'aprenentatge automàtic en línia, el reentrenament freqüent en les mostres observades més recentment i el manteniment d'un conjunt de classificadors on un nou classificador s'entrena en el lot d'exemples més recent i substitueix el classificador més antic del conjunt.
La informació contextual, quan està disponible, es pot utilitzar per explicar millor les causes de la deriva conceptual: per exemple, en l'aplicació de predicció de vendes, la deriva conceptual es podria compensar afegint informació sobre la temporada al model. Si proporcioneu informació sobre l'època de l'any, és probable que la taxa de deteriorament del vostre model disminueixi, però és poc probable que la deriva conceptual s'elimini del tot. Això es deu al fet que el comportament de compra real no segueix cap model estàtic i finit. En qualsevol moment poden sorgir nous factors que influeixin en el comportament de compra, la influència dels factors coneguts o les seves interaccions poden canviar.
La deriva conceptual no es pot evitar per a fenòmens complexos que no es regeixen per lleis fixes de la natura. Tots els processos que sorgeixen de l'activitat humana, com ara els processos socioeconòmics i els processos biològics, són susceptibles d'experimentar una deriva conceptual. Per tant, cal un reentrenament periòdic, també conegut com a actualització, de qualsevol model.
Mètodes de remei DDM (Mètode de Detecció de Deriva): detecta la deriva monitoritzant la taxa d'error del model al llarg del temps. Quan la taxa d'error supera un llindar establert, entra en una fase d'advertència i, si supera un altre llindar, entra en una fase de deriva. EDDM (Mètode de Detecció de Deriva Precoç): millora la taxa de detecció del DDM fent un seguiment de la distància mitjana entre dos errors en lloc de només la taxa d'error. ADWIN (Adaptive Windowing): emmagatzema dinàmicament una finestra de dades recents i avisa l'usuari si detecta un canvi significatiu entre les estadístiques de les dades anteriors de la finestra en comparació amb les dades més recents. KSWIN (Kolmogorov-Smirnov Windowing): detecta la deriva basant-se en la prova estadística de Kolmogorov-Smirnov.
DDM i EDDM: Detecció de la deriva conceptual
Mètodes supervisats en línia que es basen en la monitorització seqüencial d'errors per estimar l'evolució de la taxa d'errors.
ADWIN i KSWIN: Finestres
manté una "finestra", un subconjunt de les dades més recents del flux de dades, que comprova si hi ha diferències estadístiques a través de la finestra.
Aplicacions en seguretat La deriva conceptual és un problema recurrent en l'anàlisi de seguretat, especialment en la detecció de programari maliciós i intrusions. En aquests sistemes, els models sovint s'entrenen en registres, binaris o traces de xarxa anteriors, però el comportament dels atacants canvia amb el temps a mesura que apareixen noves famílies de programari maliciós, tècniques d'ofuscació i campanyes. Quan les dades ja no s'assemblen al conjunt d'entrenament, els límits de decisió apresos pels classificadors o detectors d'anomalies poden desalinear-se amb el panorama d'amenaces actual i el rendiment de la detecció pot disminuir tret que els models s'actualitzin o es reemplacin.
Diversos estudis sobre la detecció de models de programari maliciós de Windows com un flux de dades en evolució i fan un seguiment de com canvia el rendiment a mesura que passa el temps. Demostren que els classificadors entrenats en una finestra de temps fixa poden funcionar bé amb dades properes, però es deterioren ràpidament quan s'avaluen en mostres recollides mesos o anys després, fins i tot quan hi ha grans quantitats de dades d'entrenament disponibles. Per mantenir-se al dia amb això, els sistemes de seguretat sovint utilitzen finestres lliscants o adaptatives, que restringeixen l'entrenament a la part més recent de les dades de manera que els exemples més antics i menys rellevants es descarten gradualment. També utilitzen detectors de deriva com ADWIN i KSWIN que controlen les taxes d'error o els canvis en la distribució d'observacions recents i indiquen quan les estadístiques del flux entrant difereixen significativament del passat, cosa que provoca un reentrenament o la substitució del model.
Problemes relacionats apareixen en el filtratge de correu brossa, la detecció de fraus i la detecció d'intrusions, on els adversaris canvien el contingut, els patrons d'activitat o el comportament de la xarxa per evadir models entrenats amb dades històriques. En aquests entorns, la deriva pot ser gradual, a mesura que sorgeixen nous tipus de correu brossa o frau, o brusca, després d'un canvi sobtat en les tècniques d'atac. Les estratègies habituals per mantenir-se eficaços inclouen l'actualització de models amb exemples etiquetats recents, l'ús de conjunts que donen més pes als classificadors entrenats amb dades més noves i el disseny de funcions que siguin menys sensibles als canvis superficials en la manera com es duen a terme els atacs.