Nell'ambito dell'apprendimento automatico e discipline affini la maledizione della dimensionalità (curse of dimensionality, termine coniato da Richard Bellman nel 1957 ) si riferisce alla problematica causata dalla relazione inversa tra l'aumento delle dimensioni del modello e la diminuzione della sua capacità di generalizzare i dati, con la conseguente diminuzione della accuratezza predittiva dei modelli risultanti: modelli statistici addestrati su dataset ad alta dimensionalità spesso generalizzano in modo scadente.
Con l'aumentare del numero di variabili di input del modello (feature osservate), aumentano le dimensioni del relativo spazio. Se il numero di osservazioni rimane invariato, però, i dati diventano sparsi: la maggior parte dello spazio delle feature (le variabili di input o predittive) del modello è vuoto, privo di dati osservati. Con l'aumentare della scarsità dei dati, i punti dello spazio (le osservazioni) diventano così distanti (risp. diverse) che i modelli predittivi risultanti tendono a perdere la loro efficacia.
Nel tentativo di ricercare pattern utili in dati sparsi, risulta più facile il verificarsi il fenomeno del sovradattamento (overfitting) dei dati di addestramento da parte dei modelli. L'alta dimensionalità può inficiare ulteriormente l'interpretabilità del modello inducendo multicollinearità: con l'aumentare della quantità di variabili del modello, cresce anche la possibilità che alcune variabili siano ridondanti o correlate.
La raccolta di più dati può ridurre la scarsità dei dati e quindi compensare il problema della dimensionalità. Al crescere del numero di dimensioni in un modello, però, il numero di dati necessari per impedire il problema della dimensionalità aumenta in modo esponenziale. La raccolta di dati sufficienti non è, ovviamente, sempre possibile. Di qui la necessità di metodi di riduzione della dimensionalità. Dataset ad alta dimensionalità sono molto comuni in settori come la visione artificiale, la biostatistica e le scienze sociali, in cui il numero di osservazioni supera il numero di variabili predittive. Tali dataset pongono anche una serie di problemi pratici di efficienza agli algoritmi di apprendimento automatico, come l'aumento dei tempi di calcolo e dello spazio necessario allo storage dei dati.
Note
Categoria:Statistica multivariata Categoria:Apprendimento automatico