Verdoppelte Wörter, nochmals

Das Problem mit den verdoppelten Wörtern aus Kapitel 1 hat hoffentlich Ihren Appetit auf die Kraft von regulären Ausdrücken geweckt. Ich habe außerdem am Anfang dieses Kapitels ein paar wilde Zeilen Kode aufgetischt, die ich die Lösung des Problems genannt habe. Jetzt, da Sie etwas Perl verstehen, können Sie hoffentlich die generelle Form verstehen          das <>, die drei s/.../.../ und das print. Es ist wahrscheinlich noch immer verwirrend. Wenn dies Ihr erster Kontakt mit Perl (und mit regulären Ausdrücken) ist, mag das Folgende etwas schwer verständlich sein.

Von nahem besehen, sind die regulären Ausdrücke gar nicht so kompliziert. Bevor wir das aber tun, ist es sinnvoll, die Problemstellung genauer zu umschreiben, und ein Beispiel der Ausgabe des fertigen Programms anzusehen:

% perl -w FindDbl kap1.txt
kap1.txt: Text aufspürt. Solche Verdoppelungen (wie »das das«) entstehen
kap1.txt: Groß- und Kleinschreibung wie bei `Das das...' ignoriert,
kap1.txt: fett gedruckt hervorzuheben: `...das ist <B>sehr</B> 
kap1.txt:     sehr wichtig...'. 
kap1.txt: Ausdrücken denkt; so daß Sie sie anwenden
kap1.txt: sehr verschieden sein. Ein Programm kennt 
kap1.txt: kennt vielleicht dieses oder jenes Zeichen nicht,
   

»Verdoppelte Wörter« in modernem Perl

$/ = ".\n";  1 # ein spezieller Einlese-Modus  

while (<>)   2
{
    next unless s  3
    { # (Regex beginnt hier)
          ### Ein Wort erkennen:
          \b           # Wortanfang....
          ( [a-z]+ )   # Wort, setzt $1 (und \1).

          ### Whitespace und/oder <TAGS> dazwischen
          (            # Zwischenraum in $2 speichern.
              (        # (drittes Klammerpaar gruppiert nur)
                 \s       # Whitespace (inkl. Newline, gut in diesem Fall).
                |         # -oder-
                 <[^>]+>  # etwas wie <TAG>.
              )+       # Mindestens eins davon, aber auch mehr.
          )

          ### Und das gleiche Wort nochmal erkennen:
          (\1\b)       # \b, damit nicht Wortteile erkannt werden. Setzt $4.

      # (Regex endet hier)
    }
    # Ersatz-String folgt hier, mit den Modifiern /i, /g und /x
    "\e[7m$1\e[m$2\e[7m$4\e[m"igx;  4
   
    s/^([^\e]*\n)+//mg;   5  # Nicht markierte Zeilen löschen.
    s/^/$ARGV: /mg;       6  # Jeder Zeile Dateinamen voranstellen.
    print;
}

• 1. Weil verdoppelte Wörter in aufeinanderfolgenden Zeilen vorkommen können, funktioniert eine Lösung, die wie im E-Mail-Beispiel Zeile für Zeile arbeitet, nicht. Wenn die Spezialvariable $/ (ja, das ist eine Variable) auf den angegebenen Wert gesetzt wird, dann liest <> nicht Zeilen, sondern (mehr oder weniger) ganze Abschnitte. Zurückgegeben wird immer noch ein String, der nun aber Newlines und damit mehrere logische Zeilen enthalten kann.

• 2. Haben Sie bemerkt, daß der Wert von <> gar nicht einer Variablen zugewiesen wird? Wenn man <> im Bedingungsteil einer while-Anweisung auf diese Art benutzt, weist Perl das Eingelesene einer magischen Variablen ¹ zu. Diese Variable wird auch für den String benutzt, der von s/.../.../ bearbeitet wird, und wird von dem print am Ende ausgegeben. Das Arbeiten mit diesen voreingestellten Variablen macht das Programm sehr übersichtlich, aber für Ungeübte auch schwerer verständlich. Ich empfehle, die ausführliche Form zu benutzen, bis man sich an die voreingestellten Werte gewöhnt hat.

• 3. Das s auf dieser Zeile ist das vom Substitutions-Operator s/.../.../, der wesentlich flexibler ist, als wir ihn bisher benutzt haben. Ein wunderbares Feature ist, daß man nicht unbedingt drei Slashes benutzen muß, sondern daß fast jede Art von Begrenzungszeichen zulässig ist, so auch die Form s{ Regex }" Ersatz ", die ich hier benutze. Erst fast am Schluß bei 4 taucht der /x-Modifier auf (»extended«). Mit /x darf man innerhalb der Regex (aber nicht innerhalb des Ersatz-Strings) Whitespace und auch Kommentare anbringen. Das gute Dutzend Zeilen im Regex-Teil der Substitution enthält mehrheitlich Kommentar. Zusammengezogen ist der »wirkliche« reguläre Ausdruck Byte für Byte der gleiche wie der am Anfang des Kapitels.

  Mit dem next unless ² vor der Substitution geht Perl zum nächsten Zyklus der while-Schlaufe, wenn der reguläre Ausdruck in der Substitution nichts gefunden hat und die Substitution keine Wirkung hatte. Wenn keine verdoppelten Wörter gefunden werden, brauchen wir uns nicht weiter mit dem eingelesenen String zu befassen und lesen den nächsten.

• 4. Der Ersatz-String ist eigentlich nur "$1$2$4", mit einigen ANSI-Escape-Sequenzen dazwischen, die die gefundenen doppelten Wörter hervorheben, nicht aber, was dazwischen ist. Diese Sequenzen sind \e[7m (Anfang des Hervorhebens) und \e[m (Ende). \e ist Perls Abkürzung für das ASCII-ESC-Zeichen in Strings und regulären Ausdrücken, mit dem ANSI-Escape-Sequenzen beginnen.

  Wenn wir die Klammerung der Regex genau anschauen, sehen wir, daß "$1$2$4" alle Zeichen enthält, die auf die Regex gepaßt haben. Damit ist die ganze Substitution bis auf das Hinzufügen der Escape-Sequenzen eigentlich nur ein (langsames) NOP, eine »Nicht-Operation«.

  Wir wissen, daß $1 das gleiche enthält wie $4 (das ist ja der Sinn des Programms!), also könnte man im Ersatz-String zweimal $1 benutzen und auf das vierte Klammerpaar verzichten. Aber die zwei können sich bezüglich Groß- und Kleinschreibung unterscheiden, daher benutze ich beide.

• 5. Nachdem die Substitution im String (der ja mehrere logische Zeilen enthalten kann) alle verdoppelten Wörter markiert hat, möchten wir die nicht mit einem ESC-Zeichen markierten logischen Zeilen entfernen; übrig bleiben die markierten Zeilen. ³ Der /m-Modifier in dieser und der nächsten Substitution bewirkt, daß Perl den abzusuchenden String (hier wieder die voreingestellte Variable $_) auf magische Weise so behandelt, als ob er mehrere logische Zeilen enthielte. Damit ändert sich die Bedeutung des Zirkumflex von »String-Anfang« zu »Anfang-einer-logischen-Zeile«. Es kann damit mitten im String passen, wo eine logische Zeile beginnt. Der reguläre Ausdruck ^([^\e]*\n)+ findet Sequenzen von Zeichen außer ESC, die mit einem Newline enden. Die Substitution mit dieser Regex entfernt diese Sequenzen. Als Resultat bleiben die logischen Zeilen übrig, die mindestens ein ESC-Zeichen enthalten; mithin die logischen Zeilen, die verdoppelte Wörter enthalten.

• 6. Die Variable $ARGV enthält auf ebenso magische Weise den Namen der Input-Datei, von der zuletzt gelesen wurde. Zusammen mit /m und /g stellt diese Substitution jeder logischen Zeile im String diesen Dateinamen voran. Cool!