Il tuo corpus in lingua rara è introvabile per l'IA

Le intelligenze artificiali sono, di default, anglofone: sono state nutrite da un web dominato da una manciata di lingue principali. Per i dialetti, le lingue regionali e le lingue dei segni, i dati di addestramento rimangono massicciamente insufficienti. E contrariamente all'inglese, non c'è quasi nulla da recuperare online per una lingua poco scritta o poco digitalizzata: i dati devono essere prodotti, registrati e poi trascritti a mano.

Questo sforzo ha un costo, che è precisamente ciò che ne fa il valore. Trascrivere un'ora di audio in una lingua sottodimensionata può richiedere dell'ordine di 30-36 ore di lavoro umano, mentre l'inglese richiede solo una frazione di questo tempo (arXiv, 2025). Sul fronte dei prezzi, l'audio annotato di qualità si aggira intorno ai 90-180 dollari per ora di audio in inglese, con un premio da 3 a 6 volte per le lingue specializzate o rare.

Gli attori interessati producono, spesso senza saperlo, un parlato raro: i call center multilingue o dialettali, i media regionali e le radio locali, le associazioni di sordi e i servizi di interpretariato in lingua dei segni, ma anche il settore educativo, la traduzione e le comunità linguistiche. Ciò che ha valore è la registrazione audio o video accompagnata dalla sua trascrizione: parlato in lingua o dialetto raro, video in lingua dei segni annotato, parlato spontaneo di bambini, anziani o sul campo.

I dati linguistici riguardano persone e comunità: un quadro etico — consenso esplicito, anonimizzazione, rispetto della comunità — non è un'opzione, ed è anche ciò che rende i dati cedibili e quindi valorizzabili. Il primo passo concreto è sapere se il tuo corpus è valorizzabile: avvia una diagnosi gratuita su d-nvest.