Un corpus è una raccolta di testi selezionati e organizzati per compiere analisi linguistiche.
L'idea di selezione può anche mancare: il termine corpus può riferirsi anche ad una raccolta completa di testimonianze linguistiche riguardanti una certa materiaDizionario De Mauro, voce Corpus, ad esempio: "corpus della lingua sannita". Infine, un corpus può essere inteso come una raccolta completa costituita secondo un particolare criterioDizionario Sabatini-Coletti, voce [Raccolta completa di testi e di opere costituita secondo un particolare criterio Corpus]..
Il termine è noto fin dai tempi più antichi; a tal proposito può essere utile pensare al Corpus Iuris CivilisÈ un'opera monumentale realizzata da una commissione di giuristi diretta da Triboniano, voluta dall'imperatore Giustiniano (527-565) per riordinare il sistema giuridico dell'imperatore. La raccolta è divisa in tre parti: le Istituzioni, che espongono i principi generali del diritto; il Digesto, che contiene gli scritti dei giuristi classici; il Codice, che raccoglie le leggi promulgate dagli imperatori romani, a partire da Adriano., al Corpus Inscriptionum LatinarumÈ una raccolta di iscrizioni latine sino alla caduta dell'impero di Roma, di qualsiasi natura (pubblica, sacra, sepolcrale, onoraria, rupestre, graffiti etc.), e su ogni supporto epigrafico (per lo più pietra e bronzo) tranne che su papiro. e a molti altri che sono andati sviluppandosi nel tempo.
I corpora possono essere creati su carta oppure oralmente; oggi, tuttavia, il ruolo del computer nell'uso dei corpora è diventato così preponderante che ormai il termine stesso di corpus non di rado è sinonimo di corpus elettronico.
Il settore della linguistica in cui vengono usati i corpora è noto pure come Linguistica dei corpora. Altri rami degni di menzione, in cui i corpora sono utilizzati, sono i seguenti: la Linguistica storico-comparativa in Italia, la Comparative grammar negli Stati Uniti, e la Comparative philology nel Regno Unito.
Linguistica dei Corpora
La linguistica dei corpora rappresenta una disciplina scientifica ormai giunta alla sua compiutezza; in cinquant'anni di attività, grazie alla moltitudine dei gruppi di ricerca in essa operanti, è riuscita a conquistarsi una posizione di centralità indiscussa nel panorama scientifico nazionale e internazionale.
Servendosi di strumenti di analisi quantitativa e statistica, esplora le regolarità linguistiche che emergono dai testi e che costituiscono la base per la descrizione della struttura del linguaggio.
L'obiettivo principale è quello di sviluppare modelli del funzionamento del linguaggio umano traducibili in programmi che possano essere eseguiti da calcolatore elettronico; in tal modo, esso può acquisire le competenze necessarie per comunicare direttamente nella nostra lingua.
Si tratta di un àmbito di ricerca e di lavoro tipicamente interdisciplinare. Infatti, da un lato, per qualificare le attività rivolte allo sviluppo di applicativi basati sulle tecnologie del linguaggio, essa si intreccia con l'informatica e l'ingegneria; dall'altro lato, invece, dialoga con la linguistica, le scienze cognitive, la psicologia, la filosofia e le scienze umane in generale, con le quali condivide appunto l'obiettivo di indagare la struttura, il funzionamento e l'uso del linguaggio, nonché il suo rapporto con le altre facoltà cognitive dell'uomo.
La storia La linguistica dei corpora nasce nella seconda metà del Novecento come disciplina di frontiera rispetto sia al mondo umanistico che alle applicazioni più centrali delle scienze dell'informazione.
Tra i primi risultati della disciplina troviamo lo sviluppo di programmi per lo spoglio elettronico dei testi, il calcolo della frequenza delle parole, la compilazione di indici e concordanzeLe concordanze rappresentano una lista delle occorrenze di una parola presenti in un contesto linguistico., come pure la creazione di ripetitori lessicali elettronici, conosciuti anche come dizionari elettronici.
Negli anni Cinquanta e Sessanta, Roberto Busa S. J. realizza il primo corpus elettronico delle opere di Tommaso d'Aquino presso il Centro per l'Automazione dell'Analisi Linguistica di Gallarate: si tratta di un corpus di circa 10 milioni di parole, una cifra enorme per le capacità dei computer del tempo.
Nel 1957, parallelamente al diffondersi della grammatica generativa, in area anglosassone continua a svilupparsi una tradizione di ricerca linguistica ancorata a una metodologia di derivazione empirista, la quale fonda l'indagine linguistica sulla raccolta e analisi di corpora.
Successivamente, nel 1964, alla Brown University negli Stati Uniti, Henry Kucera e W. Nelson Francis realizzano il Brown Corpus: lungo circa un milione di parole, è il primo corpus elettronico progettato e costruito per lo studio di una particolare varietà linguistica contemporanea (nel caso specifico, l'inglese americano degli anni Sessanta).
In seguito, la dimensione dei corpora è andata sempre più crescendo, e la loro disponibilità è diventata una variabile fondamentale in ogni fase di sviluppo e di valutazione degli strumenti per il TALTrattamento Automatico del Linguaggio Naturale.. Al tempo stesso, la crescita del web – con la sua grande quantità di materiale testuale multiforme, e in continua evoluzione – ha reso necessario lo sviluppo di tecnologie linguistiche in grado di confrontarsi con testi reali e non più con testi da laboratorio.
La crescente disponibilità di corpora testuali ha facilitato l'innovazione metodologica in linguistica dei corpora, fornendo i dati linguisticiRappresentano i prodotti del linguaggio che sono oggetto di un processo di analisi, e che formano l'evidenza empirica su cui fondare lo sviluppo di modelli e teorie linguistiche. Fra le fonti dei dati linguistici, troviamo dati linguistici controllati (raccolti in contesti sperimentali e in situazioni idealizzate), i quali si basano sulle intuizioni linguistiche dei parlanti; dati linguistici ecologici, nati da osservazioni degli usi linguistici in contesti e situazioni reali, fondati appunto su testi prodotti dai parlanti; testi, ovvero qualsiasi prodotto dell'attività linguistica dei parlanti, elaborato o trascritto come sequenza di caratteri. necessari per un uso intensivo dei metodi statistici. Inoltre, i primi linguaggi standard di marcatura del testo (come l'XML) hanno migliorato il processo di creazione, uso e interscambio dei corpora: di fatto, oggi il computer permette di immagazzinare quantità di dati testuali prima inimmaginabili, e di interrogare in maniera avanzata il contenuto del corpus. Al contempo, tali linguaggi hanno reso possibile l'annotazione linguisticaAnnotare un corpus significa aggiungere a un corpus codici che rendono esplicita e machine readable l'informazione relativa alla struttura linguistica del testo. È possibile individuare diversi livelli di annotazione linguistica: oltre alla lemmatizzazione, quella sintattica, morfosintatica, semantica, fonetica (per quanto riguarda i corpora di parlato) e così via. del testo su ampia scala, la quale consente di rappresentare in maniera esplicita e dettagliata la struttura e l'organizzazione linguistica del testo stesso, offrendo l'occasione per una riflessione rigorosa sulla natura dei dati annotati e sui modelli interpretativi più adatti per darne conto.
Classificazione La scelta dei testi può essere fatta su criteri diversi.
Generalità Il grado di generalità di un corpus dipende dalla misura in cui i suoi testi sono stati selezionati rispetto a varietà diverse di una lingua. I corpora specialistici sono orientati alla descrizione di una particolare varietà linguistica (sublanguage) o ad un ristretto dominio applicativo (si pensi al linguaggio giornalistico, infantile, giuridico, medico, ecc.); per questo motivo hanno il grado minimo di generalità. Al contrario, i testi dei corpora generali appartengono a diverse varietà linguistiche e sono selezionati per comporre il quadro descrittivo della lingua nel suo complesso. Si tratta, quindi, di corpora plurifunzionali che sono spesso progettati come risorse trasversali di riferimento per lo studio di una lingua, ad esempio come fonte di dati per sviluppare un dizionario. Spesso i corpora generali sono articolati in vari sottocorpora, ovvero in sottoinsiemi di testi che appartengono ad una particolare varietà.
Modalità La grande diversità che caratterizza a tutti i livelli la lingua scritta e quella parlata rende la modalità (scritta e orale) di produzione dei testi un parametro estremamente rilevante per definire la fisionomia del corpus e anche deciderne gli usi più opportuni. Rispetto a questa dimensione possiamo suddividere i corpora in:
corpora di lingua scritta; corpora di lingua parlata; corpora misti.
I corpora di lingua scritta contengono solo testi prodotti originariamente in forma scritta, come libri o articoli di giornale, ecc. (si pensi, ad esempio, al Brown Corpus). I corpora di lingua parlata contengono solo testi originariamente prodotti in modalità orale e successivamente trascritti, come conversazioni spontanee, trasmissioni radiofoniche, ecc. (ad esempio il corpus CHILDES).
Da questi ultimi si distinguono i corpora audio, ovvero i campioni di linguaggio parlato in forma di segnale acustico, eventualmente accompagnati dalla loro trascrizione. Questi stanno acquistando sempre più importanza come strumenti per lo sviluppo di applicazioni per il riconoscimento o la sintesi automatica del parlato, in cui è necessario accedere a dati acustici. Un tipo di corpus ancora più di frontiera, ma in rapida diffusione, è il corpus multimediale (o corpus audio-visivo), che contiene le registrazioni audio-video di scambi comunicativi. Queste consentono di acquisire dati importanti non solo sulla struttura linguistica, ma anche sugli aspetti gestuali, facciali, emozionali e ambientali della comunicazione. I corpora misti contengono in proporzioni variabili sia testi prodotti in modalità scritta sia trascrizioni di lingua parlata (ad esempio è composto in questo modo il British National Corpus).
Cronologia I corpora differiscono anche per il modo in cui i testi sono selezionati rispetto all'asse temporale. In base alla cronologia è possibile distinguere corpora sincronici e corpora diacronici. I corpora sincronici includono testi che appartengono a una stessa finestra temporale, selezionata per lo studio di una particolare fase della lingua. I corpora diacronici comprendono, invece, testi appartenenti a periodi diversi, con lo scopo di descrivere il mutamento linguistico.
Lingua In base alla lingua esistono corpora monolingui e corpora bilingui (o multilingui), che possono essere ulteriormente distinti in corpora paralleli e corpora comparabili. I corpora monolingui contengono testi di una sola lingua. I corpora bilingui (o multilingui) contengono testi di due (o più) lingue. I corpora paralleli comprendono testi sia nella loro lingua originaria sia in traduzione in un'altra lingua. Se le unità linguistiche dei testi nella loro lingua originaria sono esplicitamente collegate alle unità linguistiche nei testi in traduzione in un'altra lingua che ne costituiscono le traduzioni, si parla di corpora paralleli allineati: l'unità tipica di allineamento è la frase. I corpora comparabili non contengono, invece, testi in traduzione, ma testi originali in lingue diverse. Questi corpora permettono di confrontare due o più lingue rispetto allo stesso genere testuale o dominio tematico; dal momento che i testi sono tutti originali, i dati raccolti possiedono un maggiore grado di naturalezza, evitando le artificiosità che talvolta conseguono dall'opera di traduzione.
Integrità I corpora possono contenere testi interi oppure porzioni di testi di lunghezza prefissata. Ad esempio, il Brown Corpus include campioni di 2000 parole, mentre i testi in "Parole" e in "Coris" sono integrali.
Codifica digitale dei testi