Markdown strippen: wat platte tekst verliest, en wat een regex verkeerd doet
Gepubliceerd op 3-6-2025 · 13 min leestijd · Tekst- & taaltools
Daniel Okonkwo — Front-enddeveloper en techredacteur bij OneKitly
Webprestaties · Bestandsformaten
Getoetst aan 5 bronnen
Markdown bewaart betekenis in zijn interpunctie, dus wist de syntaxis wissen informatie. Laat een naïeve stripper over een kort rapport lopen en de verliezen zijn concreet: [volledige uitsplitsing](https://example.com/q3.pdf) wordt „volledige uitsplitsing” en de bestemming is weg zonder enig spoor dat er ooit een link was; een lijst van twee niveaus met regio's en kanalen komt links uitgelijnd terug, zodat „Winkel: +4%” en „Winkel: stabiel” niet meer bij een regio horen; en een tabel wordt een rij woorden waarvan de scheidingsrij met --- als letterlijke tekst overleeft. Daaronder zit een tweede probleem: markdown heeft geen enkele specificatie. CommonMark en GitHub Flavored Markdown zijn het oneens — een tabel met pijpen, ~~doorhaling~~, een kale URL en een takenlijst zijn uitbreidingen van GFM en blijven onder CommonMark letterlijke tekst — en een regexstripper doet bovendien gevallen verkeerd die een parser goed doet. Nagegaan in Node: een naïeve stripper maakt van report_final_v2.txt reportfinalv2.txt en van 2 * 3 * 4 2 3 4, en hij bewerkt de binnenkant van een codeblok met backticks, terwijl een CommonMark-parser alle drie onaangeroerd laat. Houd de tekst van een link plus zijn bestemming tussen haakjes, houd lijstmarkeringen als opsommingstekens en de inhoud van codeblokken letterlijk; laat de tekens voor nadruk en de hekjes van koppen vallen.
Een link wordt tekst met zijn bestemming gewist, een geneste lijst verliest zijn hiërarchie, een tabel wordt een rij woorden. Daarna de technische helft: markdown heeft geen enkele specificatie, en een regexstripper verknoeit een bestandsnaam, een maalteken en de binnenkant van een codeblok — alles getoond tegenover een echte parser.
Markdown bewaart betekenis in zijn interpunctie
Markdown ziet uit als platte tekst met versiering, en dat laat de versiering weghalen gratis voelen. Dat is het niet. Drie van zijn constructies dragen informatie die nergens anders in het document leeft. Een link houdt twee dingen vast, de tekst en de bestemming, en maar een van de twee is zichtbaar; wis de syntaxis en de bestemming gaat mee. Een geneste lijst houdt een verhouding vast — dit kanaal hoort bij die regio — volledig gecodeerd als indentatie. En een tabel houdt een raster vast, en een raster is twee dimensies die in één dimensie tekst zijn geschreven.
Neem een kort rapport: een kop van het tweede niveau, een zin met een link, en een lijst van twee niveaus met regio's en hun kanalen. Laat er een naïeve stripper over lopen — de gebruikelijke lijst patronen voor koppen, nadruk, inline code, links en opsommingstekens — en het komt ongeveer een derde korter terug, wat klinkt als goed werk tot je het leest. „Zie de volledige uitsplitsing voor de ruwe cijfers” wijst nu nergens naar. „Winkel: +4%”, „Online: +11%” en „Winkel: stabiel” staan links uitgelijnd tegen „Noord-Amerika” en „Europa”, op dezelfde indentatie, dus zegt niets meer bij welke regio elk cijfer hoort — en het document bevat twee verschillende regels „Winkel” die elkaar nu tegenspreken.
Markdown heeft geen enkele specificatie
De oorspronkelijke beschrijving uit 2004 was een Perl-script en een pagina proza, geen grammatica, en de dubbelzinnigheden zijn door elke implementatie die erop volgde anders opgelost. CommonMark bestaat om dat te repareren: het is een precieze specificatie met een testsuite. GitHub Flavored Markdown is CommonMark plus vier uitbreidingen, en die uitbreidingen zijn precies de constructies waarvan mensen aannemen dat ze bij markdown horen. Haal dezelfde invoer door een parser met de GFM-uitbreidingen aan en uit en het verschil is zichtbaar.
Een tabel met pijpen wordt onder GFM een echte tabel en blijft onder CommonMark een alinea met letterlijke pijpen. Twee tildes om een woord worden onder GFM een doorhaling en blijven onder CommonMark twee tildes. Een kaal https://-adres wordt onder GFM een link en blijft onder CommonMark tekst. En een lijstitem dat begint met een spatie of een x tussen haken wordt onder GFM een vinkvakje en houdt onder CommonMark zijn letterlijke haken. Elk daarvan is een constructie die je stripper wel of niet herkent, afhankelijk van een instelling die niemand heeft opgeschreven.
Er is ook een constructie die beide specificaties delen en die bijna elke regexstripper vergeet: de setext-kop, een regel tekst met daaronder een rij isgelijktekens of streepjes. Zowel CommonMark als GFM maken er een kop van. Een stripper waarvan de enige regel voor koppen op voorafgaande hekjes matcht, laat de rij isgelijktekens als een regel interpunctie in de uitvoer staan.
Drie dingen die een regex verkeerd doet en een parser goed
Ten eerste het liggende streepje in een bestandsnaam. Laat een naïeve stripper over „Open report_final_v2.txt en daarna archive_2026_q1.csv” lopen en het patroon voor nadruk met liggende streepjes eet ze beide op: reportfinalv2.txt en archive2026q1.csv. Een CommonMark-parser laat de zin precies zoals hij was, want de specificatie zegt dat een liggend streepje binnen een woord geen nadruk opent of sluit — die regel bestaat juist zodat snake_case het overleeft. Het sterretje gedraagt zich hier anders dan het liggende streepje, en dat is zelf al een regel die een regex niet kan uitdrukken.
Ten tweede het sterretje als operator. „De oppervlakte is 2 * breedte * hoogte, dus 2 * 3 * 4 = 24” komt uit de naïeve stripper als „De oppervlakte is 2 breedte hoogte, dus 2 3 4 = 24”, met elk sterretje verdwenen en een dubbele spatie op zijn plaats. De parser raakt het niet aan, want de flankeringsregels van CommonMark zeggen dat een delimiter met aan beide kanten witruimte nadruk niet kan openen en niet kan sluiten. De regel is precies, goed gedocumenteerd en ongeveer drie zinnen lang — en het is een regel over context, en dat is wat reguliere expressies per constructie niet kunnen zien.
Ten derde de link per referentie, waarvan de bestemming helemaal niet naast de tekst staat. Schrijf „Zie [het volledige rapport][rap] voor details” en zet „[rap]: https://example.com/rapport-2026.pdf” onderaan het document, en een parser voegt de twee tot één link samen. Het linkpatroon van de naïeve stripper verwacht een ronde haak, matcht niets, en laat zowel de vierkante haken in de zin als de definitieregel aan de voet van het document staan, zodat de uitvoer op twee plekken tegelijk slechter is dan de invoer. Niets daarvan is op te lossen door er één patroon bij te zetten: een link per referentie oplossen betekent toestand over het hele document bijhouden, en dat is precies wat een parser is.
Codeblokken: de inhoud moet onaangeroerd overleven
Een codeblok is de ene plek in een markdowndocument waar markdownsyntaxis geen markdownsyntaxis is. Het bestaat juist om tekens vast te houden die precies moeten worden weergegeven, en die tekens zijn routinematig sterretjes, liggende streepjes en hekjes. Geef een naïeve stripper een Python-blok met backticks dat def f(*args) bevat, een commentaarregel die met een hekje begint, en een identifier met liggende streepjes, en hij doet drie afzonderlijke verkeerde dingen: hij eet met zijn patroon voor inline code een van de drie backticks van de afbakening op, hij stript de liggende streepjes uit de identifier, en hij laat het restant van de afbakening in de uitvoer staan. Een parser markeert het hele blok als code en kijkt er helemaal niet in.
Het codeblok met indentatie is dezelfde valkuil zonder de zichtbare afbakening. Vier spaties aan het begin van een regel maken in zowel CommonMark als GFM een codeblok, wat betekent dat een stripper die alleen backticks kent de inhoud vrolijk herschrijft: een identifier die a_b_c is geschreven, komt er als abc uit, en een commentaar dat met een hekje begint, is aan de genade van de koppenregel. Schrijf je de stripper zelf, spoor dan eerst de coderegio's op en maskeer ze, laat daarna elke andere regel over wat er overblijft lopen, en zet de gemaskeerde regio's daarna letterlijk terug. Dat is één extra ronde en het haalt een hele klasse storingen weg.
Wat te houden en wat te laten vallen
De nuttige regel is niet „haal de syntaxis weg” maar „haal de syntaxis weg die alleen opmaak droeg, en herschrijf de syntaxis die informatie droeg”. Laat de hekjes van koppen en de setext-onderstrepingen vallen, de tekens voor nadruk, de afbakeningen van code, de pijlen van een blokcitaat en de horizontale lijnen: geen ervan zegt iets wat de woorden niet zeggen. Herschrijf de rest. Een link wordt zijn tekst gevolgd door zijn bestemming tussen haakjes. Een lijstmarkering wordt een opsommingsteken, en de indentatie blijft, want daar woont de hiërarchie. Een tabel wordt één regel per rij met een zichtbaar scheidingsteken tussen de cellen, en de uitlijningsrij verdwijnt. Een afbeelding wordt haar alt-tekst, en dat is het enige deel ervan dat ooit woorden was.
Hetzelfde document zo behandeld houdt alles wat de naïeve ronde verloor. De kop is nog een regel woorden, de zin draagt zijn bestemming nog tussen haakjes, en de lijst van twee niveaus heeft nog twee niveaus, zodat de vier cijfers nog bij de twee regio's horen. Het is langer dan de naïeve uitvoer, en die extra lengte is precies de informatie die de naïeve uitvoer heeft gewist.
Eén kortere weg is het kennen waard, en er hoort één waarschuwing bij. Is er al een echte markdownparser beschikbaar, dan is de kortste juiste route naar platte tekst de markdown naar HTML renderen en daarna de tekst uit de HTML halen, want de parser heeft de links per referentie, de codeblokken en de flankeringsregels al voor je opgelost. De waarschuwing is dat de tweede helft van die route haar eigen probleem is — HTML strippen heeft zijn eigen volgorde van bewerkingen, behandeld in het bijbehorende artikel in deze reeks, en het met een tweede regex doen haalt precies de klasse fouten terug waaraan je net was ontsnapt.
| Constructie | Uitvoer van de naïeve regex | Wat een parser doet | Houden of laten vallen |
|---|---|---|---|
| Inline link [text](url) | Tekst behouden, bestemming gewist | Tekst en bestemming beide beschikbaar | Houd beide: de tekst, dan de URL tussen haakjes |
| Liggende streepjes in een bestandsnaam: report_final_v2.txt | reportfinalv2.txt | Onveranderd: liggende streepjes binnen een woord zijn geen nadruk | Houden |
| Sterretje als maalteken: 2 * 3 * 4 | 2 3 4 | Onveranderd: een delimiter met aan beide kanten een spatie opent niets | Houden |
| Codeblok met backticks | Eet een backtick van de afbakening op en bewerkt de code erbinnen | Inhoud letterlijk bewaard | Laat de afbakening vallen, houd elk teken erbinnen |
| Referentielink [text][ref] | De haken overleven en de definitieregel overleeft ook | Bestemming opgelost uit de definitie elders | Houd tekst en bestemming, laat de definitieregel vallen |
| Tabel met pijpen | Een rij woorden, met de rij --- die als tekst overleeft | Rijen en cellen, en alleen onder GFM — CommonMark heeft geen tabellen | Houd de cellen met een scheidingsteken, laat de uitlijningsrij vallen |
Veelgestelde vragen
- Waar gaat de URL van een link heen als markdown wordt gestript?
- In de meeste strippers nergens heen. Het gebruikelijke patroon vervangt de hele constructie [text](url) door de gevangen tekst, dus wordt „Zie de [volledige uitsplitsing](https://example.com/q3.pdf)” „Zie de volledige uitsplitsing” — een zin die een bestemming belooft die hij niet meer heeft. Is de platte tekst voor een mens, houd de bestemming dan tussen haakjes achter de tekst; is ze voor een zoekindex, houd dan de tekst en bewaar de URL als een apart veld. Haar stil wissen is de ene optie die geen enkel nut heeft.
- Waarom verknoeide markdown strippen mijn bestandsnamen?
- Omdat de stripper de liggende streepjes als nadruk behandelde. Een patroon als een liggend streepje, een luie capture en nog een liggend streepje matcht het midden van report_final_v2.txt en wist beide streepjes, wat reportfinalv2.txt geeft. CommonMark doet dat met opzet niet: liggende streepjes binnen een woord openen of sluiten nooit nadruk, en dat is de regel die identifiers in snake_case en bestandsnamen intact houdt. Elke stripper die dit verkeerd doet, implementeert geen markdown; hij implementeert een gok over markdown.
- Is markdown strippen hetzelfde als naar HTML omzetten en de tags strippen?
- Het is een goede route en niet dezelfde. Met een echte parser naar HTML renderen lost de links per referentie, de codeblokken en de regels voor nadruk juist op, en dat is het grootste deel van de moeilijkheid. Maar de tweede stap gooit precies weg wat je wilde houden, tenzij je het regelt: de href van een anker, de alt van een afbeelding, de celgrenzen van een tabel. Haal die attributen bewust eruit voordat je de tekstinhoud neemt, en onthoud dat HTML strippen zijn eigen probleem van de volgorde van bewerkingen heeft, dat apart in deze reeks wordt behandeld.
- Wat gebeurt er met een tabel?
- Onder een naïeve stripper wordt hij een rij woorden: de pijpen worden spaties en de uitlijningsrij met streepjes overleeft als een regel interpunctie, zodat een lezer vier kolommen cijfers krijgt zonder dat iets zegt welke welke is. Onder een parser is het een raster dat je opnieuw kunt weergeven — één regel per rij, cellen verbonden door een zichtbaar scheidingsteken, de uitlijningsrij weggegooid. Let op dat een tabel in strikte zin niet eens markdown is: het is een uitbreiding van GFM, en onder zuiver CommonMark zijn die regels met pijpen een gewone alinea.
- Moet de stripper de uitbreidingen van GFM kennen?
- Komen je documenten van een codehost, een issuetracker of een chattool, dan ja. Tabellen, doorhaling, autolinks van kale URL's en takenlijsten zijn uitbreidingen van GFM, en een stripper die alleen CommonMark kent, laat hun syntaxis als letterlijke tekens in de uitvoer staan — twee tildes om een woord, haken om een spatie, rijen pijpen. De omgekeerde fout bestaat ook: GFM-regels toepassen op een document dat voor een strikte CommonMark-renderer is geschreven, maakt van een alinea met pijpen een tabel die de auteur nooit heeft geschreven. Kies de variant die bij de bron past, en schrijf hem naast de code op.
- Moeten codeblokken worden gehouden of verwijderd?
- Houd hun inhoud en verwijder alleen de afbakening. Wat nooit mag gebeuren, is de middelste optie, waarin de afbakening weggaat en de regels voor nadruk, koppen en inline code daarna over de code erbinnen lopen — dat levert tekst op die op code lijkt maar niet de code is die er is geschreven, en dat is slechter dan beide uitersten. Voedt je platte tekst een samenvatter of een zoekindex en voegt code alleen ruis toe, laat het blok dan in zijn geheel vallen en zet er een markering voor in de plaats. De binnenkant van een codeblok bewerken is het ene ding waarvoor geen verdedigbare lezing bestaat.
Artikelen die je misschien interesseren
Alle gidsen →Vergelijkbare tools
Bronnen
- CommonMark — CommonMark Specification — emphasis and strong emphasis, code spans, fenced and indented code blocks, link reference definitions
- GitHub — GitHub Flavored Markdown Spec — tables, task list items, strikethrough and autolink extensions
- IETF — RFC 7763 and RFC 7764 — the text/markdown media type and known variants
- WHATWG — HTML Standard — parsing and the text content of elements
- MDN Web Docs — Node.textContent and the difference between text content and rendered text
Een fout in dit artikel gezien?