Mil palavras francesas cobrem 80% — e não lhe dizem nada

O que o número dos 80% mede realmente

A medição por trás da afirmação é simples e é honesta. Pegue num grande conjunto de francês, conte cada ocorrência de palavra, ordene as formas distintas por frequência e pergunte: se percorresse o texto conhecendo apenas as N formas mais frequentes, que fração das palavras encontradas reconheceria? Essa fração chama-se cobertura. Os nossos números vêm de 312 994 233 palavras de legendas francesas, onde se contaram 50 000 formas distintas. As 10 formas mais frequentes cobrem sozinhas 18,54 % de tudo o que é dito. As 100 primeiras cobrem 57,68 %. As 1 000 primeiras cobrem 80,77 %, e as 2 000 primeiras 85,90 %.

Vale a pena ver a cabeça dessa lista antes de dela tirar seja o que for. Por ordem, as vinte formas mais frequentes do francês neste corpus são: de, je, est, pas, le, que, la, vous, tu, un, c', à, et, il, a, l', ne, les, j', en. Nem um substantivo entre elas, nem um adjetivo, nem um verbo que nomeie uma ação em vez de um auxiliar. São o tecido conjuntivo da língua — preposições, pronomes, artigos, negação, cópula. É precisamente por isso que são frequentes: o francês precisa delas em quase todas as frases, seja qual for o assunto da frase.

A curva que essas formas traçam é muito íngreme no início e depois quase plana, que é a forma geral da frequência de palavras em todas as línguas — o artigo do site sobre a lei de Zipf ajusta o declive em seis livros em seis línguas e não será aqui redemonstrado. O que importa para quem aprende é a consequência prática dessa forma. Ir de zero a 80 % de cobertura custa cerca de mil formas. Ir de 80 % para 90 % custa cerca de quatro mil mais. Ir de 90 % para 95 % custa nove mil mais por cima. Cada ponto adicional de cobertura compra-se a um preço que sobe a pique, e as quatro reservas deste artigo dizem todas porque é que esses últimos pontos importam muito mais do que os oitenta primeiros.

Reserva 1: o denominador é uma fatia de 50 000 formas, não o francês

Cada número da primeira coluna da tabela é uma percentagem de uma lista que para nas 50 000 formas. O francês real não para aí. O mesmo editor publica também a lista não truncada deste corpus, e ela contém 834 768 formas distintas em 318 214 450 palavras — das quais a fatia de 50 000 formas representa 98,360 %. A fatia não é uma amostra pequena, mas também não é o todo, e cada cobertura calculada lá dentro está inflacionada por um fator de cerca de 1,017. Face ao denominador real, as 1 000 primeiras formas cobrem 79,45 % e não 80,77 %, e as 2 000 primeiras 84,49 % e não 85,90 %. As duas colunas estão na tabela para que veja o tamanho da correção em vez de a aceitar de palavra.

Um ponto e meio parece um erro de arredondamento. Não é, por causa do sítio da curva onde o erro cai. Formulado ao contrário — quantas formas são precisas para atingir uma dada cobertura —, a fatia truncada diz que 9 556 formas atingem 95 % e 20 984 atingem 98 %. O corpus inteiro diz que 13 909 formas atingem 95 % e 40 652 atingem 98 %. Onde a curva é plana, um erro pequeno de cobertura torna-se um erro enorme de tamanho de vocabulário: no limiar dos 98 %, o denominador truncado subestima a exigência por um fator de quase dois. Quem cite um objetivo de vocabulário tirado de uma lista de frequência truncada cita um número errado na direção que lhe convém.

A cauda também não está vazia daquilo que lhe interessaria. Das 834 768 formas da lista completa, 389 191 — quase metade do vocabulário do corpus — aparecem exatamente uma vez em 318 milhões de palavras. São nomes próprios, gralhas, palavras estrangeiras e raridades genuínas; individualmente insignificantes, coletivamente 0,12 % do texto. Mas a faixa entre o lugar 20 000 e o 50 000 não é feita de ruído: contém francês corrente, aborrecido, perfeitamente aprendível, que um legendador usou algumas centenas de vezes e que uma tabela de cobertura arredonda para nada.

Reserva 2: isto é diálogo de cinema, e a classificação mostra-o

O corpus é o OpenSubtitles: o que as pessoas dizem umas às outras no ecrã. O registo vê-se na classificação sem qualquer aparelho estatístico. je é a segunda forma mais frequente da língua segundo esta lista; vous é oitava e tu nona. Em massa de ocorrências, os pronomes pessoais de primeira e segunda pessoa — je, j', me, m', moi, nous, tu, t', te, toi, vous — pesam 9,09 % de todas as palavras do corpus, ao passo que os pronomes sujeito de terceira pessoa il, elle, ils e elles somados pesam 2,10 %. Em prosa narrativa ou em imprensa essa proporção está invertida. Vinte e três das cem formas mais frequentes são marcas de primeira ou segunda pessoa, e a lista contém ainda non no lugar 42, oui no 54, quoi no 61, pourquoi no 75, bon no 93 e merci no 95.

Há uma segunda impressão digital, mais nítida. Entre as 2 000 primeiras formas, 67 são blocos com hífen formados por um verbo e o seu pronome: est-ce, avez-vous, a-t-il, es-tu, dis-moi, laissez-moi, allez-y, vas-y, excusez-moi. São coisas que se dizem em voz alta a alguém que está à nossa frente. Um jornal francês quase não contém nenhuma. A descrição honesta da primeira coluna da tabela não é, pois, «cobertura do francês» mas «cobertura do francês falado tal como os legendadores o escrevem», e a curva de cobertura de um romance ou de um diário seria mais plana e mais baixa em cada posição, porque os registos escritos espalham as suas ocorrências por um vocabulário mais largo. Quanto, não o podemos dizer: seria preciso um segundo corpus, e este artigo mede apenas o que tem.

Reserva 3: uma forma não é uma entrada de dicionário — mas a diferença é só de nove por cento

Uma lista de frequência conta formas de superfície. est, a, été, sont e ont são nela cinco entradas e, num dicionário, dois verbos. Portanto «1 000 palavras» não é o que a lista dá: dá 1 000 formas, que são menos palavras. Medimos a contração contra o próprio léxico francês do site, 46 159 entradas importadas do Wiktionnaire, resolvendo cada forma para o seu lema quando a entrada se declara flexão de outra. As 100 primeiras formas são 91 lemas distintos, dos quais 21 são formas flexionadas. As 500 primeiras são 453 lemas, com 120 flexões. As 1 000 primeiras são 912 lemas, com 239 flexões. As 2 000 primeiras são 1 816 lemas, com 480 flexões. A contração é de 9,0 %, 9,4 %, 8,8 % e 9,2 % respetivamente.

O que impressiona é como isso é pouco. A correção que aqui se espera é espetacular — divida por dois, diz-se, porque os verbos franceses se conjugam. É de nove por cento, e é estável em toda a gama. A razão é que a cabeça da lista é maioritariamente invariável: preposições, artigos, pronomes e advérbios não têm paradigma para contrair, e os verbos que aparecem no topo são tão poucos que nem todas as suas formas juntas beliscam a contagem. Outra questão é se essas formas estão sequer num dicionário: 94,0 % das 2 000 primeiras têm entrada no léxico do site. Os 6 % restantes são dominados por cadeias de que nenhum dicionário faz um lema — os 14 clíticos elididos c', j', l', d', qu', n', s', t', m' e seus semelhantes, os 67 blocos verbo-pronome com hífen, e duas abreviaturas. As elisões sozinhas são 14 formas: não podem ser a totalidade de uma lacuna de cerca de 120. O enunciado honesto é que a maior parte da lacuna é estrutural, e o resto é a incompletude ordinária de qualquer dicionário.

Reserva 4: os 80% que conhece não carregam quase nenhum sentido

As três primeiras reservas aparam o número. Esta desmonta-o. A cobertura pesa cada ocorrência por igual: le conta tanto como prévenu. Mas as duas não carregam a mesma quantidade de informação, e a classificação está construída de modo que as ocorrências que menos carregam ficam mesmo no topo. Dos 80,77 % que as mil primeiras formas cobrem, as cem primeiras dão 71,4 % — todo o troço de 900 formas do lugar 101 ao 1 000 acrescenta apenas 23,09 pontos ao total. E o que há nessa primeira centena? Preposições, artigos, pronomes, a negação, os auxiliares, um punhado de verbos muito frequentes como faire, dire e savoir, e as bengalas de conversa oui, non, bon e merci. O substantivo comum mais bem classificado de toda a centena é chose — «coisa» — no lugar 92. Um vocabulário que não nomeia nada não lhe pode dizer de que trata uma frase.

Eis a demonstração, sobre uma frase de francês perfeitamente vulgar: «Il a dit qu'on ne pouvait pas savoir si le prévenu avait été mis en examen pour recel aggravé.» Tem vinte ocorrências. Dezasseis estão dentro do top 1 000 — il no lugar 14, a no 15, dit no 71, qu' no 26, on no 21, ne no 17, pouvait no 697, pas no 4, savoir no 200, si no 38, le no 5, avait no 125, été no 99, mis no 397, en no 20, pour no 27. Isso é exatamente 80 % de cobertura, o número de montra, obtido numa frase real. As quatro ocorrências que ficam de fora são prévenu (lugar 2 710), examen (2 175), recel (26 425) e aggravé (20 608).

Leia agora o que vê realmente o leitor que domina na perfeição o top 1 000 e nada além dele: «Il a dit qu'on ne pouvait pas savoir si le ___ avait été mis en ___ pour ___ ___.» Sabe que há um homem, que alguém disse algo a seu respeito, que não era determinável, e que o tempo é passado. Não sabe quem é esse homem, o que lhe aconteceu, nem de que é acusado — ou seja, todo o conteúdo da frase. Pior: uma das quatro incógnitas é uma armadilha para quem sabe pela metade. examen parece um exame escolar, e mis en examen é uma locução jurídica fixa. Compreender as peças produz aqui uma leitura falsa e confiante em vez de um vazio. É esta a distância entre 80 % de cobertura e compreensão, e ela não se fecha aos poucos — fecha-se quando chegam as palavras plenas, milhares de lugares mais abaixo na lista.

O número que vale a pena perseguir, e o que custa em horas de estudo

A literatura sobre tamanho de vocabulário não usa os 80% como limiar de nada, porque ninguém lê a 80%. O estudo de Nation de 2006 coloca a cobertura necessária a uma compreensão autónoma nos 98%, e estima o vocabulário exigido para lá chegar em inglês entre 8 000 e 9 000 famílias de palavras para o texto escrito e entre 6 000 e 7 000 para o falado. Laufer e Ravenhorst-Kalovski encontram o mesmo limiar ótimo de 98%, à volta de 8 000 famílias, com um limiar mínimo de 95% nas 4 000-5 000 famílias abaixo do qual a compreensão se degrada bruscamente. O trabalho de Cobb sobre a mesma questão é onde olhar se quiser o debate sobre se a leitura sozinha o pode lá levar. Os números deles são famílias de palavras inglesas e os nossos formas de superfície francesas: os dois tamanhos de vocabulário não são comparáveis — mas os limiares de cobertura são, e dizem o mesmo: 80% não é um marco, é a linha de partida.

Aplicados a este corpus, esses limiares têm preço. Atingir 95% do francês falado tal como é legendado custa cerca de 13 909 formas. Atingir 98% custa cerca de 40 652. Não é motivo de desespero, é motivo para deixar de tratar as mil primeiras como uma conquista e começar a tratá-las como gratuitas. São-no: chegam sozinhas em semanas, porque não se lê uma página sem cruzar várias vezes de, je, est e pas. O que custa tempo é tudo o que vem depois, e o que baixa esse custo é escolher o registo que quer. Se tenciona ler jornais, a lista de frequência das legendas não lhe dará o vocabulário dos jornais, por mais fundo que desça nela.

Para um orçamento de tempo em vez de um de palavras, a calculadora desta página é o instrumento honesto. Escala as categorias de dificuldade do Foreign Service Institute, que colocam o francês no grupo mais fácil para um anglófono, e pergunta pelo seu ritmo real. Com os pressupostos por defeito — francês, nível alvo B2, primeira língua estrangeira, uma hora por dia cinco dias por semana — devolve 600 horas de estudo, que a esse ritmo são 120 semanas, pouco menos de vinte e oito meses. Mude o ritmo para duas horas por dia seis dias por semana e essas mesmas 600 horas cabem em 50 semanas. A curva de vocabulário diz-lhe o que compra com essas horas; a calculadora diz-lhe quantas são precisas ao ritmo que vai realmente manter.

Perguntas frequentes

Então «1 000 palavras são 80% do francês» é simplesmente falso?

É aritmeticamente defensável e retoricamente desonesto, o que é pior combinação do que ser falso. A aritmética: neste corpus as 1 000 primeiras formas valem de facto 80,77 % das ocorrências dentro da fatia de 50 000 formas, e 79,45 % do corpus inteiro. A desonestidade está no que a frase convida a concluir. «80% do francês» soa a «vai perceber quatro frases em cada cinco», e significa «quatro palavras em cada cinco ser-lhe-ão familiares»: duas afirmações radicalmente diferentes, porque a quinta palavra é onde mora o sentido. Uma versão mais exata do mesmo facto verdadeiro seria: as mil primeiras formas do francês são a gramática, chegam depressa, e depois de as ter a língua ainda não começou.

Então de quantas palavras francesas preciso realmente?

Aponte a um valor de cobertura, não a um número de palavras, e depois converta. O consenso da investigação é que a compreensão autónoma exige cerca de 98% de cobertura, e que 95% é o chão abaixo do qual ler se torna decifrar. Neste corpus de francês falado, 95% de cobertura custam cerca de 13 909 formas e 98% cerca de 40 652. São formas de superfície num só registo: majoram portanto o número de entradas de dicionário e minoram o que um jornal exigiria — nove por cento delas dobram-se sobre lemas partilhados, e um corpus escrito espalharia a mesma cobertura por mais vocabulário. Qualquer resposta na ordem dos poucos milhares responde a outra pergunta: quantas palavras para acompanhar uma conversa simples sobre coisas familiares, o que é real, útil, e não é o mesmo que perceber francês.

Importa mesmo que a lista conte formas e não palavras de dicionário?

Menos do que se supõe, pelo menos na cabeça da lista. Medimo-lo: as 1 000 primeiras formas resolvem-se em 912 lemas distintos, e o número é 91 para as 100 primeiras, 453 para as 500 primeiras e 1 816 para as 2 000 primeiras — uma contração entre 8,8 % e 9,4 % em toda a gama. A intuição de que a conjugação francesa deve cortar a contagem a meio é falsa para esta parte da lista, porque a cabeça é dominada por palavras invariáveis. Onde importa é na prática, não na estatística: a lista dar-lhe-á avait e été como duas entradas separadas, e se as aprender em separado aprendeu dois factos em vez de um sistema. O remédio não custa nada — procure a forma, e a entrada do dicionário dir-lhe-á que é uma forma de avoir ou de être e não uma palavra por direito próprio.

Os números seriam diferentes para um jornal ou um romance?

Sim, e na direção que piora a afirmação dos 80% em vez de a melhorar. Os registos escritos usam um vocabulário mais largo para dizer o mesmo, pelo que as suas curvas de frequência são mais planas: as mil primeiras formas cobririam menos, e cada limiar ficaria mais abaixo na lista. A prova dentro dos nossos próprios dados é a impressão digital de registo — pronomes de primeira e segunda pessoa a 9,09 % de todas as ocorrências, 67 formas de inversão oral como avez-vous e dis-moi dentro das 2 000 primeiras, merci no lugar 95. Nada disso pertence ao francês de imprensa. O que não podemos fazer é dar-lhe o tamanho da diferença, porque seria preciso um segundo corpus de francês escrito medido da mesma maneira, e este artigo mede o corpus que tem em vez de estimar o outro.

Estes números valem também para o inglês, o alemão ou o italiano?

A forma sim; os números não. Toda a língua produz a mesma curva de frequência, íngreme e depois plana, que é a lei de Zipf, e o artigo do site sobre ela ajusta esse declive em seis línguas. Mas os números concretos daqui — 80,77 % no lugar 1 000, 13 909 formas para 95 %, a contração forma-lema de 9 % — foram medidos sobre o francês e pertencem ao francês. Uma língua morfologicamente mais rica espalha as suas ocorrências por mais formas e contrair-se-ia mais para os lemas; uma mais analítica faria o contrário. Não as medimos, por isso não as vamos citar. Tudo nesta página é sobre quanto francês precisa, que é exatamente o que quer saber seja qual for a língua em que lê esta página.