Die Sprache eines Textes erkennen — und warum kurze Texte scheitern

Was das Werkzeug tatsächlich tut, in vier Stufen

Stufe eins ist das Alphabet, und es ist das billigste zuverlässige Signal überhaupt. Der Code hält elf reguläre Ausdrücke über Unicode-Blöcke — Hangul, Kana, Han, Kyrillisch, Griechisch, Arabisch, Hebräisch, Devanagari, Thai, Armenisch und Georgisch —, zählt, wie viele Buchstaben des Textes in jeden fallen, und antwortet sofort, sobald einer mehr als 30 % der Buchstaben auf sich vereint. Kein Trigrammmodell übertrifft das, und deshalb kommt eine Zeile Japanisch oder Griechisch schon ab vier oder fünf Zeichen mit voller Sicherheit zurück, weit unter der Untergrenze für lateinischen Text.

Stufe zwei ist diese Untergrenze: zwölf Buchstaben. Nicht zwölf Zeichen — der Code zählt Buchstaben über eine Unicode-Eigenschaft, Ziffern, Leerzeichen und Satzzeichen helfen also nicht. Unter zwölf gibt er gar nichts zurück, und die Oberfläche sagt, der Text sei zu kurz. Das ist der Teil, der funktioniert, geprüft durch wortweises Kürzen von Sätzen: bei zehn und elf Buchstaben wurden zwölf von zwölf Eingaben abgelehnt.

Stufe drei ist ein Trigrammmodell. Es zerlegt den Text in überlappende Dreizeichenfolgen und vergleicht deren Häufigkeiten mit einem gespeicherten Profil je Sprache; die Sprache mit dem nächstliegenden Profil gewinnt. Das ist der klassische Ansatz und bei Absätzen wirklich gut, weil Dreibuchstabenmuster wie „ent“, „ung“, „ção“ und „gli“ sich über die Sprachen sehr unterschiedlich verteilen. Bei Bruchstücken ist er aus dem naheliegenden Grund schwach: Eine Drei-Wort-Wendung ergibt ein Dutzend Trigramme, und ein Dutzend Stichproben bestimmt keine Verteilung.

Stufe vier ist ein Stechen, und nur das. Kandidaten, deren Trigrammwert weniger als 0,4 unter dem Führenden liegt, werden mit zwei zusätzlichen Belegen neu geordnet: handgeschriebenen Listen von Funktionswörtern, jedes Wort gewichtet mit eins geteilt durch die Zahl der Listen, in denen es steht, und ganz verworfen, wenn es in mehr als dreien steht, sowie einem regulären Ausdruck je Sprache für Schreibungen, die die Sprache beinahe festlegen — ß und sch fürs Deutsche, ñ und das umgekehrte Fragezeichen fürs Spanische, ã, nh und lh fürs Portugiesische, gli und zione fürs Italienische. Global angewandt verschlechterte das die Ergebnisse, weil „du“ zugleich Französisch, Deutsch und Schwedisch ist. Auf Kandidaten beschränkt, die das Trigrammmodell bereits gleichauf sieht, klärt es die Verwechslungen, auf die es ankommt.

Wo es zu irren beginnt, gemessen

Zwei Prüfreihen liefen. Die erste kürzte 24 Sätze — vier in jeder der sechs Sprachen dieser Website — an jeder Wortgrenze und ergab 348 Eingaben von sechs bis etwa neunzig Buchstaben. Ergebnisse je Bereich: alles mit zehn und elf Buchstaben wurde abgelehnt; zwölf bis vierzehn Buchstaben 92 %, fünfzehn bis neunzehn 85 %, zwanzig bis vierundzwanzig 85 %, fünfundzwanzig bis neunundzwanzig 93 %, dreißig bis neununddreißig 96 %, über vierzig Buchstaben 200 von 201. Der Punkt, ab dem ein Satz richtig wurde und richtig blieb, lag im Median bei fünfzehn Buchstaben, im schlimmsten Fall aber bei sechsundvierzig: Ein portugiesischer Satz, der mit „Ela abriu a janela porque o quarto“ beginnt, wurde als Spanisch gelesen, bei einundzwanzig Buchstaben mit 100 % Sicherheit, und das bis fünfundvierzig.

Die zweite Reihe zählt, denn sie besteht aus dem, was Leute wirklich einfügen: 90 kurze Wendungen in den sechs Sprachen — Grüße, Abschiedsformeln, Bestellbestätigungen, Fehlermeldungen, „anbei finden Sie“ — von zwölf bis vierunddreißig Buchstaben. Keine einzige wurde abgelehnt. Achtundsechzig waren richtig: 76 % insgesamt, 64 % im Bereich zwölf bis fünfzehn, 78 % von sechzehn bis neunzehn, 82 % von zwanzig bis vierundzwanzig. Bei dem Material, das dieses Werkzeug am häufigsten bekommt, ist etwa jede vierte Antwort falsch.

Die Fehler machen kein Geheimnis daraus. „Merci beaucoup“, dreizehn Buchstaben, kommt als Indonesisch mit 100 % Sicherheit zurück. „Bis Montag dann“ kommt als Indonesisch mit 100 % zurück. „À lundi prochain“ und „Tu pedido ha salido“ kommen beide als Italienisch mit 100 % zurück. „Encomenda confirmada“ kommt als Spanisch mit 100 % zurück. „Buenos días a todos“ kommt als Portugiesisch mit 91 % zurück. Neun der zweiundzwanzig Fehler lagen bei 75 % oder darüber — genau der Bereich, den die Oberfläche grün färbt.

Sicherheit misst Trennung, nicht Richtigkeit

Der Prozentwert neben der Antwort ist keine Wahrscheinlichkeit, richtig zu liegen, und ihn so zu lesen ist die Hauptart, wie dieses Werkzeug in die Irre führt. Er wird aus dem relativen Abstand zwischen dem Wert des Siegers und dem des Zweiten berechnet, mit drei multipliziert und verschoben — ein großer Abstand ergibt 100 %, ein kleiner etwas um 45 %, und das Ganze wird zwischen 35 % und 100 % begrenzt.

Das heißt: Eine sichere Antwort ist eine, an die keine andere Sprache herankam, nicht eine, die wahrscheinlich richtig ist. Bei „Bis Montag dann“ kam nichts an Indonesisch heran, also druckte das Werkzeug 100 % und lag falsch. Umgekehrt heißt es auch, dass die niedrigen Zahlen in die richtige Richtung informieren: Sagt das Werkzeug 46 %, ist der zweite Kandidat wirklich konkurrenzfähig und oft der richtige, und die Oberfläche tut das Redliche, indem sie die Zweitplatzierten mit eigenen Balken darunter auflistet.

Die Leseregel ist also einfach und kehrt den üblichen Instinkt um. Ein grüner Balken bei einem langen Text ist vertrauenswürdig. Ein grüner Balken bei drei Wörtern sagt dir nur, dass das Modell nicht schwankte — und bei drei Wörtern schwankt es selten. Unter etwa vierzig Buchstaben sieh dir den zweiten Kandidaten an, bevor du dem ersten glaubst.

Neunzehn Sprachen, die das Werkzeug führt und nie antworten kann

Das ist der strukturelle Mangel, und er ist von der Oberfläche aus unsichtbar. Der Code führt eine Liste von fünfunddreißig lateinschriftlichen Sprachen, die er das Trigrammmodell prüfen lässt, und eine Tabelle mit zweiundfünfzig Sprachnamen in der jeweiligen Sprache, bereit zum Anzeigen. Das Trigrammmodell, franc-min, hat nur Profile für vierundvierzig lateinschriftliche Sprachen, und siebzehn der fünfunddreißig angefragten sind darunter. Die anderen achtzehn fallen stillschweigend weg, dazu Mazedonisch auf der kyrillischen Seite.

Neunzehn der zweiundfünfzig Namen in jener Tabelle können daher nie die Antwort sein: Dänisch, Norwegisch Bokmål, Finnisch, Slowakisch, Slowenisch, Litauisch, Lettisch, Estnisch, Katalanisch, Baskisch, Galicisch, Afrikaans, Malaiisch, Albanisch, Walisisch, Irisch, Isländisch, Esperanto und Mazedonisch. Füge Dänisch ein, und du bekommst kein „nicht sicher“: Du bekommst etwas anderes, mit Nachdruck. „Jeg vil gerne bestille en kop kaffe og et stykke kage, tak.“ kommt als Niederländisch mit 75 % zurück. Die norwegische Fassung desselben Satzes kommt ebenfalls als Niederländisch zurück, mit 48 %. Die schwedische Fassung stimmt, weil Schwedisch zu den siebzehn gehört.

Der kyrillische Zweig hat eine mildere Fassung desselben Problems. Sechs der sieben von ihm betrachteten Sprachen gibt es im Modell, Russisch und Ukrainisch kommen also richtig heraus, aber der zweite Versuch innerhalb einer Familie bleibt ein Versuch: „Здравейте, как сте?“ ist Bulgarisch und kommt als Russisch mit 85 % zurück. Die Schriftstufe traf die Schrift, die Familienstufe verfehlte die Sprache — die ehrliche Zusammenfassung dessen, was Alphabeterkennung leisten kann und was nicht.

Einzelne Wörter, nahe Verwandte, Eigennamen und Dinge, die keine Prosa sind

Ein einzelnes Wort, das mehreren Sprachen gehört, wird richtig behandelt — und zwar zufällig. „information“ hat elf Buchstaben, „important“ neun, „national“ acht — alle unter der Zwölf-Buchstaben-Grenze, das Werkzeug lehnt also alle drei ab, was für ein Wort, das wirklich zugleich englisch und französisch ist, die richtige Antwort ist. Reihe sie zu „innovation, information, important“ aneinander, und du überschreitest die Grenze bei dreißig Buchstaben: Die Antwort ist Englisch mit 46 % — bei genau gleichem Trigrammwert für Französisch, 1,00 gegen 1,00, und nur das Stechen trennt sie. Die niedrige Zahl ist das Werkzeug, das dir die Wahrheit sagt.

Nah verwandte Paare verhalten sich genau wie erwartet: gut bei Sätzen, hoffnungslos bei Bruchstücken. Sechs vollständige spanische und portugiesische Sätze wurden alle richtig erkannt, darunter das nahezu minimale Paar „Es importante para todos.“ und „É importante para todos.“, das nur ein Akzent trennt. Kürze sie, und es bricht zusammen: „Pedido confirmado“ wird als Portugiesisch mit 95 % gelesen, „Encomenda confirmada“ als Spanisch mit 100 %, „Buenos días a todos“ als Portugiesisch mit 91 %. Dänisch und Norwegisch machen es hier schlimmer als verwechselbar — keines von beiden kann überhaupt zurückgegeben werden.

Ein Eigenname für sich ist der klarste Fall eines Werkzeugs, das eine Frage beantwortet, die es nicht beantworten kann. „Emmanuel Macron“ kommt als Tagalog mit 100 % zurück. „Jean-Baptiste Poquelin“ als Niederländisch mit 100 %. „Wolfgang Amadeus Mozart“ als Tagalog mit 79 %. „Antonio Vivaldi“ als Italienisch mit 100 % — richtig aus Glück, nicht aus Belegen. Ein Name trägt keine Grammatik und fast keine Funktionswörter; das Trigrammmodell vergleicht Buchstabenmuster, ohne sonst etwas zu haben.

Dasselbe gilt für alles, was keine fortlaufende Prosa ist. Eine SQL-Zeile kommt als Englisch mit 100 % zurück, was vertretbar ist, da ihre Schlüsselwörter englische Wörter sind. Eine JavaScript-Zeile kommt als Portugiesisch mit 58 % zurück. Ein HTML-Schnipsel — ein div mit einem Klassenattribut, das ein span mit dem Wort Hello umschließt — kommt als Spanisch mit 91 % zurück. Eine URL als Portugiesisch mit 71 %, eine französische Postanschrift als Spanisch mit 49 %, die ersten zwölf Buchstaben des Alphabets als Niederländisch mit 100 % und sechzehn aufeinanderfolgende a als Niederländisch mit 61 %. Keine Stufe der Verarbeitung fragt, ob die Eingabe überhaupt Sprache ist; das einzige Tor ist die Buchstabenzahl.

Gemischter Text, Akzente und wie man das Ding benutzt

Gemischtsprachiger Text bekommt eine Antwort, und zwar die Mehrheitssprache statt einer Warnung. „Hello, merci beaucoup for your quick reply.“ kommt als Englisch mit 100 % zurück. „Bonjour, I would like to confirm notre réunion de demain matin à dix heures.“ kommt als Französisch mit 67 % zurück, Englisch als Zweites mit 0,93 gegen 1,00 — nah genug, dass die Liste der Zweitplatzierten tatsächlich etwas aussagt. Ist dein Text eine zweisprachige E-Mail oder eine Zeile aus einem Translation Memory, teile ihn, bevor du fragst.

Eine Erwartung erwies sich als falsch, und das gehört festgehalten. Jeden Akzent aus einem Satz zu entfernen sieht so aus, als müsste es den Erkenner zerlegen, da das Stechen sich auf ñ, ã, ß, ç und dergleichen stützt. Tut es nicht. Fünf lange Sätze wurden auf reines ASCII gebracht, und alle fünf kamen mit derselben Sprache und derselben Sicherheit von 100 % zurück: Das Trigrammmodell entschied bereits, und die Orthografietabelle kommt nur zu Wort, wenn das Modell schwankt. Akzente zählen für die kurzen Fälle, und die kurzen Fälle waren ohnehin unzuverlässig.

Also: Gib ihm einen Absatz. Drei oder vier vollständige Sätze derselben Sprache bringen dich mit Reserve über vierzig Buchstaben, und über vierzig Buchstaben lag es bei 200 von 201 Eingaben richtig. Hast du nur ein Bruchstück, lies die Zweitplatzierten, und halte einen Namen, eine Anschrift, eine URL oder eine Codezeile für unbeantwortbar, gleich welcher Prozentwert danebensteht. Und wenn die erwartete Antwort Dänisch, Norwegisch, Finnisch, Katalanisch, Baskisch, Galicisch, Isländisch oder eine der anderen zwölf jener Liste ist, wird keine Textmenge sie hervorbringen.

Häufige Fragen

Wie viel Text braucht es tatsächlich?

Etwa vierzig Buchstaben zusammenhängender Prosa, also drei oder vier Teilsätze. Die harte Grenze im Code liegt bei zwölf Buchstaben, darunter lehnt es rundheraus ab, und dieser Teil funktioniert: zwölf von zwölf Kürzungen auf zehn und elf Buchstaben wurden abgewiesen. Zwischen zwölf und vierzig Buchstaben antwortet es immer und irrt oft — über 348 Kürzungen von 24 Sätzen lag die Trefferquote bei zwölf bis vierzehn Buchstaben bei 92 %, von fünfzehn bis vierundzwanzig bei 85 %, von fünfundzwanzig bis neunundzwanzig bei 93 %, von dreißig bis neununddreißig bei 96 % und über vierzig bei 200 von 201. Bei eigenständigen kurzen Wendungen statt gekürzter Sätze ist es noch schlechter: 68 von 90 richtig, keine abgelehnt. Ein vollständiger Satz genügt also meist, ein Absatz bequem; eine Grußformel nicht.

Warum sagte es 100 % und lag falsch?

Weil der Prozentwert keine Wahrscheinlichkeit ist, richtig zu liegen. Er wird aus dem relativen Abstand zwischen dem Wert des Spitzenkandidaten und dem des Zweiten abgeleitet: großer Abstand ergibt 100, kleiner etwa 45, und das Ergebnis wird zwischen 35 und 100 begrenzt. Eine sichere Antwort heißt also, dass keine andere Sprache herankam, nicht dass die Antwort wahrscheinlich stimmt. Bei dreizehn Buchstaben Deutsch kam keine andere Sprache an Indonesisch heran, also stand da 100, und es war falsch. Der übliche Instinkt — hohe Zahl heißt vertrauenswürdig — ist bei kurzen Eingaben genau verkehrt. Wofür die Zahl wirklich taugt, ist die Gegenrichtung: Steht da 46, ist der Zweite konkurrenzfähig und oft der richtige, und genau deshalb listet die Oberfläche die Zweitplatzierten darunter auf.

Es sagt Niederländisch zu meinem dänischen Text. Ist das ein Fehler?

Ja, und ein struktureller. Der Code lässt sein Trigrammmodell fünfunddreißig lateinschriftliche Sprachen prüfen, aber das Modell — franc-min — hat nur Profile für siebzehn davon. Die anderen achtzehn fallen kommentarlos weg, also können Dänisch, Norwegisch Bokmål, Finnisch, Slowakisch, Slowenisch, Litauisch, Lettisch, Estnisch, Katalanisch, Baskisch, Galicisch, Afrikaans, Malaiisch, Albanisch, Walisisch, Irisch, Isländisch und Esperanto nie die Antwort sein, und Mazedonisch auf der kyrillischen Seite ebenso wenig. Das sind neunzehn der zweiundfünfzig Namen, die das Werkzeug anzuzeigen bereit ist. Ein dänischer Satz über eine Bestellung von Kaffee und Kuchen kam als Niederländisch mit 75 % zurück, die norwegische Fassung desselben Satzes als Niederländisch mit 48 %. Schwedisch funktioniert, weil es zu den siebzehn gehört. Steht deine Sprache auf jener Liste, hilft keine zusätzliche Textmenge.

Unterscheidet es Spanisch von Portugiesisch oder Dänisch von Norwegisch?

Spanisch von Portugiesisch ja, bei einem vollständigen Satz: Sechs vollständige Sätze wurden geprüft und alle sechs waren richtig, darunter das nahezu minimale Paar „Es importante para todos.“ und „É importante para todos.“, die sich um einen Akzent unterscheiden. Die Stechen-Stufe gibt es vor allem dafür — sie hält Schreibmuster wie ã, nh, lh und ção fürs Portugiesische sowie ñ und das umgekehrte Fragezeichen fürs Spanische. Bei Bruchstücken versagt sie: „Pedido confirmado“ wurde als Portugiesisch gelesen, „Encomenda confirmada“ als Spanisch, beides mit 95 % oder mehr. Dänisch von Norwegisch nein, und nicht weil sie sich ähneln — keine der beiden Sprachen existiert im zugrunde liegenden Modell, also kommen beide als Niederländisch zurück. Schwedisch und Niederländisch sind die beiden germanischen Sprachen jener Gegend, die das Werkzeug tatsächlich benennen kann.

Zerstört das Entfernen der Akzente die Erkennung?

Bei einem vollständigen Satz nicht, was überraschend genug war, um es zu prüfen. Fünf lange Sätze auf Französisch, Spanisch, Portugiesisch, Deutsch und Italienisch wurden auf reines ASCII gebracht, und alle fünf kamen mit derselben Sprache und derselben Sicherheit von 100 % zurück wie zuvor. Der Grund liegt im Aufbau: Die Orthografiemuster laufen nur als Stechen, auf Kandidaten, die das Trigrammmodell bereits innerhalb von 0,4 zueinander bewertet hat, und bei einem langen Satz schwankt das Modell nicht. Akzente wiegen bei kurzen Eingaben durchaus — aber kurze Eingaben waren aus anderen Gründen ohnehin unzuverlässig, der praktische Rat ändert sich also nicht. Entfernst du Akzente, um eine Spalte für Suche oder Sortierung zu normalisieren, erkenne die Sprache vor dem Entfernen, nicht danach.