Mille parole francesi coprono l'80% — e non ti dicono nulla

Che cosa misura davvero la cifra dell'80%

La misura dietro l'affermazione è semplice ed è onesta. Prendi una grande massa di francese, conta ogni occorrenza di parola, ordina le forme distinte per frequenza e poi chiedi: se attraversassi il testo conoscendo solo le N forme più frequenti, quale frazione delle parole incontrate riconoscerei? Quella frazione si chiama copertura. Le nostre cifre vengono da 312 994 233 parole di sottotitoli francesi, in cui sono state contate 50 000 forme distinte. Le 10 forme più frequenti coprono da sole il 18,54% di tutto ciò che viene detto. Le prime 100 coprono il 57,68%. Le prime 1 000 coprono l'80,77%, e le prime 2 000 l'85,90%.

Vale la pena guardare la testa di quella lista prima di trarne qualcosa. Nell'ordine, le venti forme più frequenti del francese in questo corpus sono: de, je, est, pas, le, que, la, vous, tu, un, c', à, et, il, a, l', ne, les, j', en. Non un sostantivo fra esse, non un aggettivo, e non un verbo che nomini un'azione anziché un ausiliare. Sono il tessuto connettivo della lingua — preposizioni, pronomi, articoli, negazione, copula. È esattamente per questo che sono frequenti: il francese ne ha bisogno in quasi ogni frase, qualunque ne sia l'argomento.

La curva che quelle forme tracciano è ripidissima all'inizio e poi quasi piatta, che è la forma generale della frequenza delle parole in ogni lingua — l'articolo del sito sulla legge di Zipf stima la pendenza su sei libri in sei lingue e qui non verrà ridimostrata. Ciò che conta per chi impara è la conseguenza pratica di quella forma. Andare da zero all'80% di copertura costa circa mille forme. Andare dall'80% al 90% ne costa circa quattromila in più. Andare dal 90% al 95% ne costa novemila ancora. Ogni punto di copertura in più si compra a un prezzo che sale a picco, e le quattro riserve di questo articolo dicono tutte perché quegli ultimi punti contano molto più dei primi ottanta.

Riserva 1: il denominatore è una fetta di 50 000 forme, non il francese

Ogni cifra della prima colonna della tabella è una percentuale di una lista che si ferma a 50 000 forme. Il francese vero non si ferma lì. Lo stesso editore pubblica anche la lista non troncata di questo corpus, e contiene 834 768 forme distinte su 318 214 450 parole — di cui la fetta da 50 000 forme rappresenta il 98,360%. La fetta non è dunque un campione piccolo, ma non è neppure il tutto, e ogni copertura calcolata al suo interno è gonfiata di un fattore di circa 1,017. Rispetto al denominatore vero, le prime 1 000 forme coprono il 79,45% e non l'80,77%, e le prime 2 000 l'84,49% e non l'85,90%. Entrambe le colonne sono in tabella perché tu veda la dimensione della correzione invece di prenderla per buona.

Un punto e mezzo suona come un errore di arrotondamento. Non lo è, per via del punto della curva in cui l'errore cade. Girata al contrario — quante forme servono per raggiungere una data copertura —, la fetta troncata dice che 9 556 forme raggiungono il 95% e 20 984 il 98%. L'intero corpus dice che 13 909 forme raggiungono il 95% e 40 652 il 98%. Dove la curva è piatta, un piccolo errore di copertura diventa un errore enorme di dimensione del lessico: alla soglia del 98%, il denominatore troncato sottostima il requisito di quasi un fattore due. Chi cita un obiettivo lessicale ricavato da una lista di frequenza troncata cita un numero sbagliato nella direzione che gli fa comodo.

Nemmeno la coda è vuota di ciò che vorresti. Delle 834 768 forme della lista completa, 389 191 — quasi metà del lessico del corpus — compaiono esattamente una volta in 318 milioni di parole. Sono nomi propri, refusi, parole straniere e vere rarità; singolarmente trascurabili, insieme lo 0,12% del testo. Ma la fascia fra il rango 20 000 e il 50 000 non è fatta di rumore: contiene francese ordinario, noioso, perfettamente imparabile, che un sottotitolatore ha usato qualche centinaio di volte e che una tabella di copertura arrotonda a nulla.

Riserva 2: questo è dialogo cinematografico, e la classifica lo mostra

Il corpus è OpenSubtitles: quello che le persone si dicono sullo schermo. Il registro si vede nella classifica senza alcun apparato statistico. je è la seconda forma più frequente della lingua secondo questa lista; vous è ottava e tu nona. In massa di occorrenze, i pronomi personali di prima e seconda persona — je, j', me, m', moi, nous, tu, t', te, toi, vous — pesano il 9,09% di tutte le parole del corpus, mentre i pronomi soggetto di terza persona il, elle, ils ed elles insieme pesano il 2,10%. In prosa narrativa o giornalistica quel rapporto è invertito. Ventitré delle cento forme più frequenti sono marche di prima o seconda persona, e la lista contiene inoltre non al rango 42, oui al 54, quoi al 61, pourquoi al 75, bon al 93 e merci al 95.

C'è una seconda impronta, più netta. Fra le prime 2 000 forme, 67 sono blocchi con trattino formati da un verbo e dal suo pronome: est-ce, avez-vous, a-t-il, es-tu, dis-moi, laissez-moi, allez-y, vas-y, excusez-moi. Sono cose che si dicono ad alta voce a qualcuno che ti sta davanti. Un giornale francese non ne contiene quasi nessuna. La descrizione onesta della prima colonna della tabella non è quindi «copertura del francese» ma «copertura del francese parlato così come lo scrivono i sottotitolatori», e la curva di copertura di un romanzo o di un quotidiano sarebbe più piatta e più bassa a ogni rango, perché i registri scritti distribuiscono le loro occorrenze su un lessico più ampio. Di quanto, non possiamo dirlo: servirebbe un secondo corpus, e questo articolo misura solo quello che ha.

Riserva 3: le forme non sono voci di dizionario — ma lo scarto è solo del nove per cento

Una lista di frequenza conta forme di superficie. est, a, été, sont e ont vi fanno cinque voci e, in un dizionario, due verbi. Quindi «1 000 parole» non è ciò che la lista dà: dà 1 000 forme, che sono meno parole. Abbiamo misurato la contrazione sul lessico francese del sito stesso, 46 159 voci importate dal Wiktionnaire, risolvendo ogni forma nel suo lemma quando la voce si dichiara flessione di un'altra. Le prime 100 forme sono 91 lemmi distinti, di cui 21 forme flesse. Le prime 500 sono 453 lemmi, con 120 flessioni. Le prime 1 000 sono 912 lemmi, con 239 flessioni. Le prime 2 000 sono 1 816 lemmi, con 480 flessioni. La contrazione è rispettivamente del 9,0%, 9,4%, 8,8% e 9,2%.

La cosa notevole è quanto sia poco. La correzione che ci si aspetta qui è drammatica — dimezza il numero, si dice, perché i verbi francesi si coniugano. È del nove per cento, ed è stabile su tutto l'intervallo. Il motivo è che la testa della lista è in larga parte invariabile: preposizioni, articoli, pronomi e avverbi non hanno paradigmi da contrarre, e i verbi che compaiono in cima sono così pochi che perfino tutte le loro forme insieme intaccano appena il conteggio. Altra questione è se quelle forme siano affatto in un dizionario: il 94,0% delle prime 2 000 ha una voce nel lessico del sito. Il 6% restante è dominato da stringhe di cui nessun dizionario fa un lemma — i 14 clitici elisi c', j', l', d', qu', n', s', t', m' e simili, i 67 blocchi verbo-pronome con trattino, e due abbreviazioni. Le elisioni da sole sono 14 forme: non possono essere l'intero di uno scarto di circa 120. L'enunciato onesto è che la maggior parte dello scarto è strutturale, e il resto è la normale incompletezza di qualsiasi dizionario.

Riserva 4: l'80% che conosci non porta quasi nulla del significato

Le prime tre riserve limano la cifra. Questa la smonta. La copertura pesa ogni occorrenza allo stesso modo: le conta quanto prévenu. Ma le due non portano la stessa quantità di informazione, e la classifica è costruita in modo che le occorrenze che ne portano meno stiano proprio in cima. Dell'80,77% che le prime mille forme coprono, le prime cento ne forniscono il 71,4% — l'intero tratto di 900 forme dal rango 101 al 1 000 aggiunge al totale solo 23,09 punti. E che cosa c'è in quel primo centinaio? Preposizioni, articoli, pronomi, la negazione, gli ausiliari, una manciata di verbi frequentissimi come faire, dire e savoir, e i riempitivi di conversazione oui, non, bon e merci. Il nome comune meglio piazzato dell'intero centinaio è chose — «cosa» — al rango 92. Un lessico che non nomina nulla non può dirti di che cosa parla una frase.

Ecco la dimostrazione, su una frase di francese perfettamente ordinaria: «Il a dit qu'on ne pouvait pas savoir si le prévenu avait été mis en examen pour recel aggravé.» Ha venti occorrenze. Sedici stanno nelle prime 1 000 — il al rango 14, a al 15, dit al 71, qu' al 26, on al 21, ne al 17, pouvait al 697, pas al 4, savoir al 200, si al 38, le al 5, avait al 125, été al 99, mis al 397, en al 20, pour al 27. È esattamente l'80% di copertura, la cifra di richiamo, ottenuta su una frase vera. Le quattro occorrenze rimaste fuori sono prévenu (rango 2 710), examen (2 175), recel (26 425) e aggravé (20 608).

Leggi ora ciò che vede davvero il lettore che padroneggia alla perfezione le prime 1 000 e nulla oltre: «Il a dit qu'on ne pouvait pas savoir si le ___ avait été mis en ___ pour ___ ___.» Sa che c'è un uomo, che qualcuno ha detto qualcosa su di lui, che non era conoscibile, e che il tempo è passato. Non sa chi sia quell'uomo, che cosa gli sia accaduto, né di che cosa lo si accusi — cioè l'intero contenuto della frase. Peggio: una delle quattro incognite è una trappola per chi sa a metà. examen sembra un esame scolastico, e mis en examen è una locuzione giuridica fissa. Capire i pezzi produce qui una lettura sbagliata e sicura di sé anziché un vuoto. È questa la distanza fra l'80% di copertura e la comprensione, e non si chiude gradualmente — si chiude quando arrivano le parole piene, migliaia di ranghi più in basso nella lista.

La cifra che vale la pena inseguire, e quanto costa in ore di studio

La letteratura sulla dimensione del lessico non usa l'80% come soglia di nulla, perché nessuno legge all'80%. Lo studio di Nation del 2006 pone la copertura necessaria a una comprensione autonoma al 98%, e stima il lessico richiesto per raggiungerla in inglese fra 8 000 e 9 000 famiglie di parole per il testo scritto e fra 6 000 e 7 000 per il parlato. Laufer e Ravenhorst-Kalovski ritrovano la stessa soglia ottimale del 98%, attorno a 8 000 famiglie, con una soglia minima del 95% a 4 000-5 000 famiglie sotto la quale la comprensione degrada bruscamente. Il lavoro di Cobb sulla stessa questione è dove guardare se vuoi il dibattito sulla capacità della sola lettura di portarti lì. I loro numeri sono famiglie di parole inglesi e i nostri forme di superficie francesi: le due dimensioni lessicali non sono confrontabili — ma le soglie di copertura sì, e dicono la stessa cosa: l'80% non è un traguardo, è la linea di partenza.

Applicate a questo corpus, quelle soglie hanno un prezzo. Raggiungere il 95% del francese parlato così com'è sottotitolato costa circa 13 909 forme. Raggiungere il 98% ne costa circa 40 652. Non è un motivo per disperare, è un motivo per smettere di trattare le prime mille come una conquista e cominciare a trattarle come gratuite. Lo sono: arrivano da sole in poche settimane, perché non si legge una pagina senza incontrare più volte de, je, est e pas. Ciò che costa tempo è tutto quello che viene dopo, e ciò che ne abbassa il costo è scegliere il registro che vuoi. Se intendi leggere i giornali, la lista di frequenza dei sottotitoli non ti darà il lessico dei giornali, per quanto a fondo tu vi scenda.

Per un budget di tempo anziché di parole, il calcolatore di questa pagina è lo strumento onesto. Scala le categorie di difficoltà del Foreign Service Institute, che collocano il francese nel gruppo più facile per un anglofono, e chiede il tuo ritmo reale. Con le sue ipotesi predefinite — francese, livello obiettivo B2, prima lingua straniera, un'ora al giorno cinque giorni a settimana — restituisce 600 ore di studio, che a quel ritmo sono 120 settimane, poco meno di ventotto mesi. Porta il ritmo a due ore al giorno sei giorni a settimana e le stesse 600 ore stanno in 50 settimane. La curva del lessico ti dice che cosa compri con quelle ore; il calcolatore ti dice quante ne servono al ritmo che manterrai davvero.

Domande frequenti

Quindi «1 000 parole sono l'80% del francese» è semplicemente falso?

È aritmeticamente difendibile e retoricamente disonesta, che è una combinazione peggiore dell'essere falsa. L'aritmetica: su questo corpus le prime 1 000 forme valgono davvero l'80,77% delle occorrenze dentro la fetta da 50 000 forme, e il 79,45% dell'intero corpus. La disonestà sta in ciò che la frase invita a concludere. «L'80% del francese» suona come «capirai quattro frasi su cinque», e significa «quattro parole su cinque ti saranno familiari»: due affermazioni radicalmente diverse, perché la quinta parola è dove abita il significato. Una versione più esatta dello stesso fatto vero sarebbe: le prime mille forme del francese sono la grammatica, arrivano in fretta, e una volta acquisite la lingua non è ancora cominciata.

Quante parole francesi mi servono davvero, allora?

Punta a una cifra di copertura, non a un numero di parole, e poi converti. Il consenso della ricerca è che la comprensione autonoma richieda circa il 98% di copertura, e che il 95% sia il pavimento sotto il quale leggere diventa decifrare. Su questo corpus di francese parlato, il 95% di copertura costa circa 13 909 forme e il 98% circa 40 652. Sono forme di superficie in un solo registro: maggiorano quindi il numero di voci di dizionario e minorano ciò che un giornale richiederebbe — il nove per cento di esse si ripiega su lemmi condivisi, e un corpus scritto distribuirebbe la stessa copertura su più lessico. Ogni risposta nell'ordine delle poche migliaia risponde a un'altra domanda: quante parole per seguire una conversazione semplice su cose familiari, che è reale, utile, e non è la stessa cosa che capire il francese.

Conta davvero che la lista conti forme e non parole da dizionario?

Meno di quanto si creda, almeno in cima alla lista. L'abbiamo misurato: le prime 1 000 forme si risolvono in 912 lemmi distinti, e la cifra è 91 per le prime 100, 453 per le prime 500 e 1 816 per le prime 2 000 — una contrazione fra l'8,8% e il 9,4% dappertutto. L'intuizione che la coniugazione francese debba dimezzare il conteggio è falsa per questa parte della lista, perché la testa è dominata da parole invariabili. Dove conta è sul piano pratico, non statistico: la lista ti darà avait ed été come due voci separate, e se le impari separatamente hai imparato due fatti invece di un sistema. Il rimedio non costa nulla — cerca la forma, e la voce del dizionario ti dirà che è una forma di avoir o di être e non una parola a sé.

I numeri sarebbero diversi per un giornale o un romanzo?

Sì, e nella direzione che peggiora l'affermazione dell'80% invece di migliorarla. I registri scritti usano un lessico più ampio per dire la stessa quantità di cose, quindi le loro curve di frequenza sono più piatte: le prime mille forme coprirebbero meno, e ogni soglia starebbe più in basso nella lista. La prova dentro i nostri stessi dati è l'impronta di registro — pronomi di prima e seconda persona al 9,09% di tutte le occorrenze, 67 forme di inversione parlata come avez-vous e dis-moi dentro le prime 2 000, merci al rango 95. Nulla di tutto ciò appartiene al francese dei giornali. Ciò che non possiamo fare è darti la dimensione della differenza, perché servirebbe un secondo corpus di francese scritto misurato allo stesso modo, e questo articolo misura il corpus che ha invece di stimare l'altro.

Questi numeri valgono anche per inglese, tedesco o italiano?

La forma sì, i numeri no. Ogni lingua produce la stessa curva di frequenza, ripida e poi piatta, che è la legge di Zipf, e l'articolo del sito su di essa stima quella pendenza su sei lingue. Ma le cifre precise qui — 80,77% al rango 1 000, 13 909 forme per il 95%, la contrazione forma-lemma del 9% — sono state misurate sul francese e appartengono al francese. Una lingua morfologicamente più ricca distribuisce le sue occorrenze su più forme e si contrarrebbe di più sui lemmi; una più analitica farebbe il contrario. Non le abbiamo misurate, quindi non le citeremo. Tutto in questa pagina riguarda quanto francese ti serve, che è esattamente ciò che vuoi sapere qualunque sia la lingua in cui la stai leggendo.