Il markerless motion capture (spesso abbreviato in MMC e traducibile come "analisi del movimento senza marcatori") è una tecnica utilizzata per registrare e analizzare il movimento umano senza applicare marcatori fisici o hardware sul corpo del soggetto. A differenza dei sistemi optoelettronici tradizionali, che tracciano marcatori retroriflettenti o attivi, gli approcci senza marcatori si basano su dati video acquisiti da una o più telecamere e su software tipicamente basati sull'apprendimento profondo, per identificare e tracciare i punti anatomici del movimento umano.
Il settore si è evoluto rapidamente a partire dai primi anni 2000, grazie ai progressi nella visione artificiale e alla disponibilità di numerosi dataset di addestramento.
I sistemi sono in grado di stimare la postura dell'intero corpo in due o tre dimensioni e in tempo reale, utilizzando una o più telecamere a seconda del livello di precisione richiesto. Tale flessibilità ne ha consentito l'impiego in ambito clinico, sportivo, nell'intrattenimento e nella robotica.
Storia Il primo studio sui modelli MMC fu pubblicato nel 1985 e rappresentò il primo tentativo di ricostruire la struttura corporea 3D di una persona a partire da una singola visuale. Nel 1996, diverse ricerche si concentrarono sull'estrazione di parti specifiche del corpo umano, come gli arti, individuati mediante tre telecamere sincronizzate associando primitive geometriche a contorni provenienti da più viste, oppure sul tracciamento di testa e mani attraverso l'utilizzo di telecamere stereoscopiche e la modellazione con blob gaussiani.
Nel 2000, l'individuazione di punti anatomici tramite bounding box consentì di estrapolare uno scheletro a 13 articolazioni. Nel 2004, applicando la cinematica inversa, si ottenne uno scheletro a 16 articolazioni. Nel 2008, l'elaborazione dei dati integrò rappresentazioni volumetriche a voxel per il tracciamento multi-vista, ricostruendo l'inviluppo visivo del corpo mediante blob gaussiani.
La transizione verso l'apprendimento profondo A partire dal 2013, l'apprendimento profondo è diventato l'approccio principale per la markerless motion capture. DeepPose è stato tra i primi sistemi a dimostrare le potenzialità di questa evoluzione, impiegando una cascata di reti neurali convoluzionali con funzioni di attivazione ReLU (Rectified Linear Unit) per affinare iterativamente le stime della posizione delle articolazioni. Questo approccio ha raggiunto livelli di accuratezza e velocità superiori rispetto ai metodi precedenti, contribuendo alla diffusione su larga scala dell'apprendimento profondo nell'ambito della stima delle pose umane. Negli anni successivi sono stati rilasciati diversi framework open source. OpenPose, introdotto nel 2017, è stato uno dei primi sistemi a consentire la stima della posa 2D in tempo reale per più persone contemporaneamente. Il sistema supporta il rilevamento di un massimo di 135 punti anatomici per individuo, coprendo l'intero corpo, inclusi mani, piedi e volto.
Dal 2020, grandi aziende tecnologiche hanno fatto il loro ingresso nel settore con soluzioni proprie. Ad esempio, Google ha rilasciato il framework MediaPipe, progettato specificamente per l'esecuzione in tempo reale direttamente su dispositivi "edge", come gli smartphone.
Principi di funzionamento Una volta addestrato il modello, l'estrazione di punti anatomici da immagini o video grezzi prevede una sequenza di fasi di elaborazione:
Acquisizione dei dati: le riprese vengono effettuate utilizzando una delle due principali categorie di hardware: Fotocamere RGB standard, che acquisiscono informazioni sul colore ma non forniscono dati sulla profondità Sensori sensibili alla profondità: tra cui le telecamere RGB-D, che acquisiscono sia informazioni visive che di profondità, nonché i dispositivi Time-of-Flight (ToF) e gli scanner LiDAR, che generano una mappa di profondità fisica. Rilevamento e isolamento: a seconda dell'architettura, il sistema elabora la scena utilizzando uno dei due metodi principali: Metodi "top-down": rilevano uno o più individui nel fotogramma, tipicamente tramite una bounding box, per poi stimare i punti anatomici di ciascuna persona. Metodi "bottom-up": rilevano tutti i punti anatomici presenti nell'immagine senza una fase preliminare di rilevamento delle persone, procedendo direttamente alla mappatura anatomica. Mappatura anatomica: il modello analizza il soggetto e identifica la posizione di specifici punti chiave del corpo attraverso l'estrazione di caratteristiche. Ricostruzione dello scheletro: in alcuni algoritmi, anziché restituire un insieme di coordinate indipendenti dei punti anatomici, questi sistemi collegano i punti identificati secondo un modello corporeo predefinito, producendo una rappresentazione scheletrica che rende esplicita la posa.
Tecnologia e metodologia La componente fondamentale della maggior parte dei sistemi *markerless* è un modello di apprendimento profondo, tipicamente una rete neurale convoluzionale (CNN) o un vision transformer addestrato a localizzare punti anatomici direttamente nello spazio bidimensionale dell'immagine. Qualora siano necessarie informazioni tridimensionali, si ricorre a un'ulteriore fase nota come "3D lifting".
Tale approccio varia in base alla configurazione delle telecamere impiegate:
Nei sistemi monoculari, che operano da un unico punto di vista, l'algoritmo deve affidarsi a reti neurali addestrate a inferire tale informazione sfruttando conoscenze apprese durante il training del modello, in merito alle proporzioni del corpo umano e alle posture tipiche. Nei sistemi multicamera è possibile ricavare le coordinate 3D mediante la geometria epipolare e la triangolazione, sfruttando le relazioni geometriche tra punti di vista calibrati.
Dataset I modelli di apprendimento profondo per il markerless motion capture vengono addestrati e valutati utilizzando dataset che associano riprese video a dati affidabili (definiti come "ground truth"). Tali acquisizioni sono solitamente ottenute mediante sistemi di motion capture basati su marcatori, che rimangono lo standard di riferimento del settore.
Una strategia alternativa, adottata da diversi dataset, consiste nell'aggregare e unificare registrazioni esistenti da molteplici studi, creando così dataset di addestramento più ampi senza la necessità di nuove sessioni di acquisizione.
I primi benchmark, come Human3., sono stati registrati in studi controllati coinvolgendo un numero limitato di attori e utilizzando telecamere sincronizzate insieme a dati di riferimento basati su motion capture con marcatori. I dataset successivi, come MPI-INF-3DHP, hanno introdotto acquisizioni multi-vista in scenari con green screen, nonché in ambienti interni ed esterni. Il dataset 3D Poses in the Wild (3DPW) comprende attività quotidiane all'aperto registrate mediante una telecamera portatile abbinata a sensori inerziali indossati dai soggetti.
Per la stima della postura 2D, il dataset COCO fornisce annotazioni dei punti anatomici su un elevato numero di immagini ed è comunemente utilizzato per addestrare o valutare le stime 2D di algoritmi come OpenPose.
Un approccio diverso è adottato da AMASS, che unifica numerosi archivi esistenti basati su marcatori sotto il modello corporeo SMPL, generando un vasto numero di dati di movimento per l'addestramento e la creazione di dati sintetici. Inoltre, si trovano dataset completamente privi di marcatori come FreeMan, i quali puntano a migliorare la capacità di generalizzazione in contesti reali, utilizzando riprese multi-vista su soggetti e in ambienti eterogenei, senza ricorrere ad un hardware specializzato.
Esistono infine dataset specifici per applicazioni cliniche. Alcuni ad esempio associano sequenze di movimento 3D a punteggi di gravità della patologia (come valutazioni basate sulla scala UPDRS), al fine di supportare la valutazione della qualità del movimento. + Dataset usati per addestramento e benchmarkingDatasetAnnoTipoSetup camereHuman3.20143D, indoor4 camere + motion capture con marcatoriMPI-INF-3DHP20173D, indoor/outdoorMulti-vista, markerless motion capture come riferimentoCOCO20142D, immaginiImmagini singole3DPW20183D, outdoor, nella naturaSingola camera + sensori inerzialiAMASS20193D, sinteticheArchivio unificatoFreeMan20233D, nella naturaMulti-vista
Bias demografico ed equità I sistemi markerless possono ereditare i bias presenti nei dataset utilizzati per addestrare i propri modelli. Ad esempio è emerso che il dataset COCO sottorappresenta le donne, gli anziani e le persone con tonalità di pelle più scure. Tale squilibrio può comportare minore accuratezza nel rilevamento di questi gruppi, causando preoccupazione laddove la tecnologia venga impiegata in contesti sensibili.
Di conseguenza, le prestazioni dei sistemi sono sempre più spesso comunicate suddividendo i dati per sottogruppi demografici, anziché fornire un unico valore aggregato di accuratezza. Le "model card" e le schede tecniche dei dataset sono due formati sviluppati proprio a questo scopo, la cui adozione è in costante crescita.
Sistemi disponibili Gli algoritmi possono variare in base al numero di telecamere richieste e alla capacità di identificare un singolo soggetto o più contemporaneamente. Inoltre, esistono implementazioni sia sotto forma di framework di ricerca open source che di sistemi commerciali. Framework open source Un numero crescente di framework open source per il motion capture senza marcatori è reso disponibile al pubblico mediante piattaforme di condivisione come GitHub. + Markerless open source frameworkAlgoritmo2D/3DCamere necessarieMultipersonaVNect3D1NoOpenPose2D1YesDeepLabCut2D1YesBlazePose3D1NoSportsCap3D1NoAlphaPose2D1YesYOLO-Pose2D1YesOpenCap3D2No Sistemi commerciali Oltre ai framework open source, il mercato offre una serie di sistemi commerciali progettati per ambienti in cui l'elevata fedeltà cinematica è necessaria. Tali soluzioni integrano hardware e software proprietari in configurazioni multicamera pre-calibrate. Tra le soluzioni commerciali di markerless motion capture figurano sistemi quali Vicon, OptiTrack, Qualisys, The Captury e Theia.
Applicazioni La possibilità di impiego del markerless al di fuori dei tradizionali laboratori di analisi del movimento ha permesso l'adozione di questa tecnologia in diversi ambiti.
Clinica
In ambito clinico, i sistemi markerless sono stati studiati per diverse applicazioni, in particolare nel campo della riabilitazione. I pazienti affetti da malattia di Parkinson costituiscono uno dei gruppi più numerosi sottoposti a valutazioni di questo tipo; la maggior parte degli studi si è concentrata su parametri della deambulazione quali la lunghezza del passo, la cadenza e l'oscillazione delle braccia.
Poiché non richiedono marcatori né dispositivi indossabili, tali valutazioni possono essere eseguite in normali ambienti clinici o presso il domicilio del paziente, riducendo così il divario tra le misurazioni controllate di laboratorio e la funzionalità nella vita reale. Tuttavia, l'utilizzo in ambito clinico rimane cauto, in quanto gli studi di validazione hanno evidenziato che l'accuratezza nella rilevazione di alcune rotazioni articolari, in particolare a livello del tronco e dell'anca, può risultare ancora inferiore rispetto a quella offerta dai sistemi basati su marcatori.
Sport