O que medem realmente os índices de legibilidade (e as três coisas que não veem)

As duas fórmulas, completas, sem nada escondido

Rudolf Flesch publicou o Reading Ease em 1948; uma equipa da Marinha dos EUA liderada por J. Peter Kincaid reajustou as mesmas duas entradas a uma escala de ano escolar em 1975. Ambas usam apenas dois quocientes. ASL é o comprimento médio de frase em palavras: total de palavras a dividir pelo total de frases. ASW é o comprimento médio de palavra em sílabas: total de sílabas a dividir pelo total de palavras. Depois: Reading Ease = 206,835 - 1,015 x ASL - 84,6 x ASW, e Nível = 0,39 x ASL + 11,8 x ASW - 15,59.

Repare no que falta. Não há lista de palavras, nem tabela de frequências, nem gramática, nem modelo do discurso, nem verificação de factos. Uma palavra é difícil se tiver muitas sílabas e fácil se não tiver. É toda a teoria da dificuldade dentro das duas fórmulas, e tudo o que se segue neste artigo decorre daí.

Uma passagem, pontuada de ponta a ponta

Pegue em três frases de prosa profissional corrente: a nossa nova política entra em vigor em março; cada colaborador deve concluir a formação online antes do prazo; as chefias receberão um relatório com os nomes de quem não terminou. São 32 palavras em 3 frases e 47 sílabas contadas à mão no original inglês. Logo ASL = 32 / 3 = 10,6667 e ASW = 47 / 32 = 1,46875.

Reading Ease: 206,835 - 1,015 x 10,6667 - 84,6 x 1,46875 = 206,835 - 10,8267 - 124,2563 = 71,75, que arredonda para 71,8. Nível: 0,39 x 10,6667 + 11,8 x 1,46875 - 15,59 = 4,16 + 17,3313 - 15,59 = 5,90. Dois números, um texto. Não se contradizem: são dois reescalonamentos lineares do mesmo par de quocientes, por isso movem-se sempre juntos.

Uma pontuação de 71,8 cai na banda a que Flesch chamava razoavelmente fácil, e um nível de 5,9 diz que uma criança competente de onze anos conseguiria descodificá-lo. Se essa criança sabe o que é um prazo de formação obrigatória, a fórmula não tem opinião.

Ponto cego um: a dificuldade do vocabulário

Eis duas frases inglesas de doze palavras cada, cada palavra de uma sílaba, uma frase cada. The boy fed the dog and then took it for a walk. The bank must mark the swap to fair worth at each close. Ambas têm ASL 12,00 e ASW 1,000, pelo que ambas pontuam exatamente 206,835 - 12,18 - 84,6 = 110,06 no Reading Ease e 4,68 + 11,8 - 15,59 = 0,89 no nível.

Uma conta uma história de cães. A outra exige que o leitor saiba o que é um swap, o que significa a mensuração pelo justo valor e porque tem de ser refeita a cada fecho de mercado. As fórmulas não as conseguem distinguir, porque a contagem de sílabas é o seu único indicador de dificuldade lexical e ambas as frases têm o mesmo. Qualquer campo técnico com jargão curto - obrigação, swap, núcleo, monte, penhor, nó - sai sistematicamente favorecido por estes índices.

Repare também que 110,06 ultrapassa 100. O Reading Ease não tem teto nem chão: é uma função linear não limitada, e uma frase jurídica de 60 palavras com média de duas sílabas dará um número negativo sem que nada tenha corrido mal.

Pontos cegos dois e três: a ordem e a verdade

Pegue na passagem de 32 palavras e inverta a ordem das suas três frases. Contagem de palavras inalterada, de frases inalterada, de sílabas inalterada: o Reading Ease continua em 71,8 e o nível continua em 5,90. O texto anuncia agora a consequência antes da regra e menciona um prazo antes de dizer de que é prazo, o que é um custo real de compreensão que o índice é estruturalmente incapaz de registar.

O mesmo vale para a exatidão factual, e convém dizê-lo sem rodeios porque as ferramentas de legibilidade são vendidas em fluxos de conteúdo onde as duas coisas se confundem. Troque março por um mês errado: o índice não se mexe. Substitua toda a passagem por uma descrição confiante, bem pontuada e inteiramente falsa de uma política inexistente: o índice será excelente. A legibilidade é uma propriedade da superfície; a correção é uma propriedade das afirmações. Nenhuma fórmula que só conta sílabas pode substituir a segunda.

O truque da vírgula: 3,90 anos ganhos, zero palavras alteradas

Esta é a manipulação que toda a gente faz, em geral sem saber que o é. Pegue numa frase de 20 palavras e 33 sílabas: The board approved the revised budget on Tuesday, the finance committee had explained why the original estimate was too low. Como uma só frase, ASL vale 20,00 e ASW 1,65: o Reading Ease é 206,835 - 20,30 - 139,59 = 46,95 e o nível 7,80 + 19,47 - 15,59 = 11,68.

Agora substitua a vírgula por um ponto final. Mais nada muda: as mesmas 20 palavras, as mesmas 33 sílabas, a mesma ordem, o mesmo sentido. Mas o ASL cai para metade, 10,00: o Reading Ease passa a 206,835 - 10,15 - 139,59 = 57,10 e o nível a 3,90 + 19,47 - 15,59 = 7,78. O nível caiu 3,90 - quase quatro anos de escolaridade - e o Reading Ease subiu 10,15 pontos, apenas porque o ASL é multiplicado por -1,015 numa fórmula e por 0,39 na outra, e foi dividido por dois.

Às vezes partir ajuda mesmo. Às vezes elimina o conector que dizia ao leitor porque a segunda oração se segue à primeira, e o texto fica mais difícil enquanto o índice melhora. A fórmula não distingue os dois casos: se editar para atingir um número-alvo, fará ambas as alterações sem critério e só uma será uma melhoria.

Estas fórmulas foram calibradas sobre o inglês, e só o inglês

As constantes 206,835, 1,015, 84,6, 0,39, 11,8 e 15,59 não são verdades universais. Foram ajustadas a dados de compreensão de leitura em inglês: Flesch contra testes de leitura para adultos, a equipa de Kincaid contra pessoal alistado da Marinha dos EUA. Aplicá-las ao francês, ao alemão, ao espanhol, ao português ou ao italiano produz um número, porque a aritmética produz sempre um número, mas esse número não tem relação estabelecida nenhuma com a dificuldade real do texto para um leitor dessa língua.

A falha não é subtil. O alemão aglutina um sintagma nominal numa só palavra longa, o que inflaciona as sílabas por palavra sem tornar o texto mais difícil para um leitor alemão: Geschwindigkeitsbegrenzung tem seis sílabas e é perfeitamente banal. O italiano e o espanhol têm sistematicamente mais sílabas por palavra do que o inglês por razões fonológicas, não de dificuldade. O francês elide e faz ligações de um modo que torna discutível a própria contagem silábica. Aplicar os coeficientes ingleses a qualquer uma delas mede sobretudo a língua, não o texto.

Use antes um índice calibrado localmente. Para o francês, Kandel e Moles reestimaram os coeficientes de Flesch sobre textos franceses nos anos cinquenta: use a versão deles, não as constantes cruas de Flesch. Para o alemão, a Wiener Sachtextformel foi desenvolvida e validada sobre textos escolares e informativos alemães. O italiano tem o índice Gulpease, construído sobre letras e não sílabas precisamente porque a silabação é pouco fiável de automatizar. O espanhol tem a adaptação de Fernandez Huerta e a posterior escala INFLESZ. E um índice é mesmo agnóstico por construção: o LIX de Bjornsson, que são as palavras por frase mais a percentagem de palavras com mais de seis caracteres. Na passagem de 32 palavras acima isso dá 32/3 + 7 x 100/32 = 10,67 + 21,88 = 32,54, já que sete das suas palavras excedem seis caracteres. O LIX conta caracteres, não sílabas, pelo que se transfere entre línguas muito melhor do que o Flesch - ainda que as suas bandas tenham sido fixadas sobre material sueco e devam ler-se como indicativas.

Como usar o número sem que o número o use a si

Trate o índice como um detetor de fumo, não como um termóstato. Um nível que salta de 9 para 16 entre dois rascunhos merece investigação; 8,4 contra 8,9 é ruído. Leia os dois quocientes subjacentes em vez do composto: se o ASL for 28, tem um problema de comprimento de frase; se o ASW for 1,9, de comprimento de palavra. O índice composto não lhe diz nem uma coisa nem outra.

E nunca fixe uma pontuação como critério de aceitação para um redator. Assim que um número se torna alvo, a forma mais barata de o atingir é o truque da vírgula: obterá um texto picado em fragmentos, despido dos conectores que sustentam o argumento e mensuravelmente mais fácil segundo uma fórmula que não sabe ler.

Perguntas frequentes

O que conta como uma boa pontuação Flesch Reading Ease?

As bandas do próprio Flesch colocam 90-100 em muito fácil, 60-70 em padrão e 0-30 em muito difícil, pelo que a prosa para público geral costuma apontar a 60-70. Mas bom depende inteiramente do público: um manual de manutenção para técnicos formados com 45 pode estar certíssimo, e um formulário de consentimento com 75 continuar ilegível por causa dos conceitos, não das sílabas. Nenhum limiar é correto independentemente de quem lê.

Porque é que duas ferramentas dão pontuações diferentes para o mesmo texto?

As fórmulas são fixas; a contagem não. A deteção de sílabas é heurística: nenhuma ferramenta traz um dicionário de pronúncia completo, pelo que palavras como fire, business ou every são contadas de forma diferente conforme a implementação. A deteção de frases falha com abreviaturas, decimais e reticências. E as ferramentas divergem sobre se títulos, listas, código e legendas são frases. Duas implementações podem diferir num ano escolar inteiro sobre o mesmo texto: a direção da variação entre rascunhos é fiável, o valor absoluto não.

A legibilidade é um fator de classificação do Google?

O Google nunca publicou uma pontuação de legibilidade como sinal de classificação, e as suas orientações sobre conteúdo útil falam de experiência, originalidade e satisfação do leitor, não de contagens de sílabas. O que é verdade é que uma página ilegível perde leitores, e o comportamento do leitor condiciona tudo o resto. Otimizar um número Flesch não é SEO; escrever algo que o leitor termine, é.

Posso aplicar o Flesch-Kincaid a um texto em francês, alemão ou italiano?

Pode calculá-lo, mas o resultado não é válido. Os coeficientes foram estimados sobre dados de compreensão em inglês e não existe correspondência publicada entre um nível Flesch-Kincaid inglês e um nível de leitura francês, alemão ou italiano. Use Kandel-Moles para o francês, a Wiener Sachtextformel para o alemão, o Gulpease para o italiano, Fernandez Huerta ou INFLESZ para o espanhol. Se precisar de um único número para todas as suas línguas, o LIX é a escolha menos indefensável porque conta caracteres e não sílabas - mas nunca compare um valor LIX com um valor Flesch.

Partir as frases longas torna mesmo o texto mais claro?

Muitas vezes sim: uma frase de 40 palavras com três subordinadas costuma ficar mais clara como duas ou três frases. Mas a fórmula premeia a divisão tenha ela ajudado ou não, e premeia-a igualmente quando a divisão apaga um porque ou um embora que sustentava a lógica. O teste fiável não é o índice: releia a versão dividida e confirme que o leitor ainda consegue dizer porque é que a segunda frase se segue à primeira. Se não conseguir, trocou compreensão por um número mais baixo.