Wörter zu zählen ist mehrdeutig, und jedes Werkzeug antwortet anders

Vier Verfahren, ein Absatz, vier Antworten

Hier der verwendete Absatz, 188 Zeichen lang und typisch für technisches Schreiben: „The state-of-the-art model doesn't stop at 1,234 tokens—it reads the whole page, including https://example.com/docs, and re-runs the check twice. That's 98.6% coverage, up from two-thirds.“ Nichts daran ist gekünstelt; jedes seiner Merkmale kommt in gewöhnlicher Produktdokumentation vor.

Trennen an Leerraumfolgen ergibt 25 Einheiten. Das ist die einfachste denkbare Definition und die, auf die die meisten von selbst kommen: Ein Wort ist das, was zwischen zwei Leerzeichen steht. Sie behandelt state-of-the-art als ein Wort, die ganze URL als ein Wort und tokens—it als ein Wort, weil der Geviertstrich keine Leerzeichen um sich hat.

Der reguläre Ausdruck, der Wortzeichen zwischen Wortgrenzen trifft, ergibt 38. Er zerlegt state-of-the-art in vier, doesn't in zwei, 1,234 in zwei, 98.6 in zwei und die URL in https, example, com und docs. Jede dieser Trennungen ist genau das, was das Muster verlangt: Ein Wortzeichen ist dort ein Buchstabe, eine Ziffer oder ein Unterstrich, also sind Bindestrich, Apostroph und Komma allesamt Grenzen. Das Ergebnis liegt um die Hälfte über der Leerraumzählung.

Die Unicode-Wortsegmentierung, im Browser und in Node als Intl.Segmenter mit granularity „word“ verfügbar, ergibt 33. Sie ist die einzige der vier mit einer Spezifikation dahinter, und ihre Entscheidungen sind spürbar menschlicher: Sie hält doesn't und That's zusammen, hält 1,234 zusammen, hält example.com zusammen und zerlegt state-of-the-art in vier, weil der Standard den Bindestrich als Bruch behandelt. Eine vierte Regel, geschrieben, um Buchstaben und Ziffern über innere Bindestriche, Apostrophe, Punkte und Kommata hinweg zusammenzuhalten, ergibt 28 — von den maschinellen Regeln die nächste an dem, was ein Mensch sagen würde, den man laut zählen ließe.

Die ehrliche Richtigstellung: bei schlichter Prosa stimmen alle überein

Es wäre ordentlicher, zu behaupten, Wortzahlen wichen überall voneinander ab, und es stimmt nicht. Wir haben einen 160 Zeichen langen Absatz gewöhnlicher erzählender Prosa gezählt — keine Komposita, keine Zahlen, keine Adressen — und alle vier Verfahren lieferten genau 29. Dann haben wir 49.616 Zeichen des englischen Artikeltexts dieser Website gezählt und erhielten 8.622 durch Leerraumtrennung, 8.537 durch die Bindestrichregel, 8.729 durch Segmentierung und 8.917 durch den regulären Ausdruck. Von niedrigst bis höchst ist das eine Spanne von 4,5 %.

Die wirkliche Aussage ist also enger und nützlicher als „Wortzahlen sind unzuverlässig“. Sie sind bei Prosa zuverlässig und unzuverlässig, sobald ein Text Prosa mit maschinenlesbarem Material mischt. Unser technischer Absatz spannt sich über 188 Zeichen von 25 bis 38, ein Abstand von 52 %. Eine Vertragsklausel mit einer Zahl, einem zusammengesetzten Adjektiv, einer URL und einer Uhrzeit spannt sich von 24 bis 33, also 38 %. Der Prädiktor ist nicht die Länge des Texts, sondern die Dichte dessen, was keine gewöhnlichen Wörter sind.

Wo genau die Verfahren auseinandergehen

Bindestrichkomposita sind die größte einzelne Quelle der Uneinigkeit. state-of-the-art zählt bei Leerraumtrennung und bei der Bindestrichregel als eins, beim regulären Ausdruck wie bei der Unicode-Segmentierung als vier. Jeder Text mit mehreren solcher Komposita — eine Spezifikation, eine Produktseite, ein juristisches Dokument — zeigt schon deshalb einen sichtbaren Abstand zwischen Werkzeugen.

Kurzformen teilen das Feld anders. doesn't ist ein Wort für Leerraumtrennung, eines für die Segmentierung und eines für die Bindestrichregel, aber zwei für den regulären Ausdruck, der den Apostroph als Grenze behandelt und ein einzelnes t übrig lässt. Der typografische Apostroph verhält sich genauso, ein Dokument auf typografische Anführungen umzustellen behebt es also nicht. Der possessive Plural ist unauffälliger: the students' work zählt bei jedem Verfahren drei, weil der Apostroph am Ende einer Einheit steht und nicht darin.

Zahlen und Adressen besorgen den Rest. 1,234 und 98.6 zählen je eins bei drei Verfahren und zwei beim regulären Ausdruck, der ein Tausendertrennzeichen oder ein Dezimalzeichen nicht von Satzzeichen unterscheiden kann. Eine E-Mail-Adresse zählt je nach Verfahren eins, zwei oder drei; eine URL eins, drei oder vier. Und eine mit Punkten geschriebene Abkürzung — U.S.A. — ist ein Wort für Leerraumtrennung, Segmentierung und Bindestrichregel, aber drei für den regulären Ausdruck. Satzzeichen, die zwei Wörter ohne Leerraum verbinden, trennen alles außer der Leerraumtrennung: tokens—it, 2024–2026, and/or und wait…what zählen alle zwei bei drei Verfahren und eins beim vierten.

Chinesisch und Japanisch, wo die Leerraumtrennung 1 liefert

Nimm einen chinesischen Satz aus sechzehn Zeichen ohne Leerzeichen, wie chinesische Sätze in der Regel keine haben. Leerraumtrennung liefert 1 — der ganze Satz ist eine Einheit. Der Wortzeichen-Ausdruck liefert 0, denn die Wortzeichenklasse in einem Muster ohne Unicode-Flag umfasst nur ASCII-Buchstaben, Ziffern und den Unterstrich, und ein chinesisches Zeichen ist nichts davon. Die Unicode-Bindestrichregel liefert 2, weil der Satz ein inneres Komma hat und die Regel zwei Buchstabenläufe sieht.

Die Unicode-Wortsegmentierung liefert 8, und die acht gefundenen Einheiten sind die Wörter, die eine Leserin bestimmen würde. Der entsprechende japanische Satz aus einundzwanzig Zeichen zerfällt in elf. Das ist Wörterbucharbeit statt Mustervergleich, und darum lohnt die Segmentierung auch in einem Produkt in lateinischer Schrift: Sie ist das einzige Verfahren der Liste, das bei Text, für den es nicht gemacht wurde, nicht stillschweigend eine falsche Antwort liefert. Sie verlangt auch keine Vorkenntnis der Sprache — den chinesischen Satz mit englischer Locale zu segmentieren ergab dieselben acht Einheiten.

Warum die Zählung eines Verlags und die einer Textverarbeitung auseinandergehen

Eine Textverarbeitung zählt das, was ihre Autorin für ein Wort hielt, was in der Praxis der Leerraumtrennung mit ein paar Anpassungen nahekommt — sie ist auf Menschen optimiert, die Prosa schreiben, und will, dass die Zahl in der Statusleiste stimmig wirkt. Ein Redaktionssystem zählt oft mit einem regulären Ausdruck, weil das in der Sprache, in der es geschrieben wurde, verfügbar war. Ein Verlag, der nach Wörtern zahlt, zählt womöglich keines von beiden, sondern teilt die Zeichenzahl durch einen festen Wert, weil damit der Streit über Komposita ganz entfällt.

Keines davon ist Betrug. Es sind drei Antworten auf eine Frage ohne kanonische Form, und schiefgeht allein der Vergleich. Sagt man dir, ein Text habe 1.500 Wörter, ist die Zahl bedeutungslos, solange du nicht weißt, welche Zählung sie erzeugt hat. In unserem Testabsatz bedeuten tausend Wörter 7.520 Zeichen, wenn leerraumbasiert gezählt wird, und 4.947 Zeichen, wenn per Regex gezählt wird — dieselbe nominelle Menge liefert in der einen Lesart die Hälfte mehr als in der anderen.

Zeichenzahlen entkommen dem Problem nicht, sie verschieben es. Ein Zeichen ist eine ebenso umstrittene Einheit wie ein Wort — Codeeinheiten, Codepunkte und Graphemcluster liefern für dieselbe Zeichenkette drei verschiedene Zahlen, und jeder Text mit einem Emoji oder einem kombinierenden Akzent bringt alle drei hervor. Das haben wir in einem eigenen Beitrag über Zeichenlimits auseinandergenommen; kurz gesagt sind beide Zählungen Definitionen, und ein in einer von beiden genanntes Limit bleibt unvollständig, solange es die Definition nicht benennt.

Was tun, wenn das Limit vertraglich ist

Nenne den Zähler, nicht nur die Zahl. „Nicht mehr als 2.000 Wörter“ ist keine Spezifikation; „nicht mehr als 2.000 Wörter, gezählt durch X“ ist eine. Sich auf ein Werkzeug zu einigen genügt: Beide Seiten fügen den Text in denselben Zähler ein und bekommen dieselbe Antwort, gleich welche Definition er umsetzt. Nicht passieren darf, dass jede Seite ihren eigenen verwendet und den Abstand erst nach der Lieferung entdeckt.

Kannst du kein Werkzeug nennen, nenne eine Regel in Worten: ob Bindestrichkomposita als eins oder als mehrere zählen, ob eine URL als eins zählt, ob Zahlen überhaupt zählen. Diese drei Sätze räumen den Großteil der Uneinigkeit aus, denn diese drei Kategorien machen fast die gesamte von uns gemessene Spanne von 52 % aus. Und willst du eine Einheit, über die sich wirklich schwer streiten lässt, nimm Zeichen ohne Leerzeichen und sage, welches Zeichen du meinst — als Maß für Aufwand schlechter, als Maß für Länge weit besser.

Häufige Fragen

Welche Wortzahl ist die richtige?

Es gibt keine richtige, nur eine passende. Existiert die Zahl, damit eine Leserin die Länge einschätzt, taugen Leerraumtrennung und Unicode-Segmentierung beide, und die Segmentierung deckt mehr Sprachen ab. Existiert sie, damit eine Maschine indiziert oder kürzt, ist die Segmentierung die einzige mit veröffentlichter Spezifikation. Existiert sie, damit Geld fließt, ist die richtige die, auf die sich beide Seiten vorher geeinigt haben.

Warum springt meine Wortzahl, wenn ich von einer Website einfüge?

Meist weil der eingefügte Text URLs, Zahlen und Bindestrichbegriffe mitgebracht hat, und das sind die drei Kategorien, bei denen die Zählverfahren am stärksten auseinandergehen. Unser technischer Testabsatz schwankt zwischen niedrigstem und höchstem Verfahren um 52 %, während ein gewöhnlicher erzählender Absatz bei allen vier dieselbe Zahl liefert. Eine zweite Ursache sind unsichtbare Zeichen — geschützte Leerzeichen aus einer formatierten Zahl, ein Verbinder ohne Breite aus einem Emoji —, die Einheiten verschmelzen oder trennen können, ohne dass am Bildschirm etwas zu sehen wäre.

Funktioniert die Wortzeichen-Regex für Sprachen mit Akzenten?

Nicht ohne Hilfe. In ihrer schlichten Form umfasst die Wortzeichenklasse ASCII-Buchstaben, Ziffern und den Unterstrich, ein Buchstabe mit Akzent ist also eine Grenze und kein Wortteil. Ein französischer oder portugiesischer Text wird dadurch überzählt, jedes akzentuierte Wort am Akzent getrennt. Abhilfe schafft, das Muster über die Unicode-Eigenschaften für Buchstabe und Zahl zu schreiben, wie es die Bindestrichregel in diesem Artikel tut, oder Segmentierung zu nutzen und die Frage zu überspringen.

Ist Intl.Segmenter überall verfügbar?

Er gehört zum ECMAScript-Internationalisierungsstandard und ist in aktuellen Browsern und in Node vorhanden, wo wir jede Zahl dieses Artikels erzeugt haben. Der praktische Vorbehalt betrifft nicht die Verfügbarkeit, sondern die Daten: Die Segmentierungsqualität hängt von den mitgelieferten Locale-Daten ab, sodass zwei Umgebungen bei demselben Text leicht abweichen können. Beim Zählen lateinschriftlicher Prosa ist der Unterschied vernachlässigbar; beim Japanischen, wo Segmentierung ein echtes Wörterbuchproblem ist, nicht.

Wie sollte ein Wortzähler mit Emoji umgehen?

Konsequent, und meist indem man sie nicht als Wörter zählt. In unserem Test ergibt „Great work 👍 thanks“ bei Leerraumtrennung vier, die das Emoji als Wort zählt, und drei bei den anderen Verfahren, die es nicht tun. Keines ist falsch, aber ein Zähler, der vier meldet, sollte es sagen, sonst plant jemand mit Wortlimit ein Wort ein, das keinen Text trägt. Wie du dich auch entscheidest: Wende es auf das ganze Dokument an, nicht auf einzelne Emoji.

Kann ich Wortzahlen mit einem festen Verhältnis umrechnen?

Nur sehr grob und nur für Prosa. Über 50.000 Zeichen gewöhnlichen Artikeltexts blieben die vier Verfahren innerhalb von 4,5 % zueinander, dort ist ein einziges Verhältnis eine brauchbare Näherung. Auf einem technischen Absatz spreizen sich dieselben vier um 52 %, was kein Verhältnis übersteht. Musst du schätzen, schätze aus den Zeichen: Unsere englische Artikelprosa liegt bei 5,75 Zeichen pro leerraumgetrenntem Wort, und dieser Wert ist über Textsorten hinweg weit stabiler als das Verhältnis zwischen zwei Zählregeln.