Die Programmiersprache AWK

Index

Allgemeines
Merkmale und Besonderheiten von AWK
Beispiele
Links und Literatur

1. Allgemeines

AWK: Abkürzung, die aus den Anfangsbuchstaben der Nachnamen der drei "Väter" der Sprache AWK besteht: Al Aho, Peter Weinberger, Brian Kernighan
allgemeingültige Programmier- bzw. Skriptsprache sowie gleichnamiges Werkzeug, das vor allem eine effektive, flexible und elegante Analyse und Manipulation von Daten im Text-Format gestattet
AWK-Programme werden in der Regel bei der Ausführung automatisch zunächst komplett in einen Zwischencode kompiliert, der dann interpretativ abgearbeitet wird
anders als z.B. bei Bash oder Python ist es in einem AWK-Programm nicht möglich, neue AWK-Anweisungen als Strings zu generieren und diese vom aktuellen Interpreter ausführen zu lassen

man kann aber generierte AWK-Anweisungen via File oder Pipe an eine andere Interpreter-Instanz übergeben und so von dieser ausführen lassen:

  # AWK-Skript generieren und von einem externen Interpreter ausführen lassen
  BEGIN {
    # Variante 1: via Pipe
    awk = "awk -f -"
    print "BEGIN { print 1/3 }" | awk
    close(awk)
  
    # Variante 2: via File
    awk_file = ENVIRON["HOME"] "/awk_file.awk"
    print "/^root:/" > awk_file
    close(awk_file)
    system(sprintf("awk -f %s /etc/passwd", awk_file))
    system("rm " awk_file)
  }

AWK ist ein schon lange existierendes UNIX-Standard-Werkzeug, das im Laufe der Entwicklung verschiedene Erweiterungen und Verbesserungen erfuhr und heute immer noch aktiv genutzt wird
es ist älter als z.B. die heute vielfach bekannteren Skriptsprachen Perl, Python, PHP, Tcl, ...
speziell kleinere AWK-Programme lassen sich gut in Shell-Skripte einbetten, was häufig genutzt wird
AWK steht für viele Betriebsysteme (u.a. verschiedene Unix-Versionen, Windows und DOS) zur Verfügung und ist somit prinzipiell portabel
es gibt eine Reihe unterschiedlicher AWK-Implementierungen mit differierendem Leistungsumfang
besonders leistungsfähige und aus Sicht des Autors empfehlenswerte Implementierung: Gawk (GNU awk)
Gawk ist der Standard bei Linux-Systemen und sollte nach Möglichkeit generell für praktische AWK-Projekte zum Einsatz kommen, da es viele nützliche Erweiterungen enthält
die Code-Beispiele dieser Seite wurden unter Gawk getestet und nutzen teilweise spezifische Gawk-Erweiterungen

2. Merkmale und Besonderheiten von AWK

regelbasierter Ansatz: AWK-Programme enthalten Folgen von Regeln, die aus Mustern und Aktionen bestehen und der Reihe nach auf die Datensätze (meist Zeilen) des Eingabe-Datenstromes angewendet werden
die Einlese-Schleife muss vom AWK-Anwender also nicht programmiert werden
AWK liest automatisch die als Argumente benannten Dateien oder, wenn diese fehlen, die Standard-Eingabe
neben den Regeln kann ein Programm noch Funktions-Definitionen enthalten
AWK-Programme bestehen also prinzipiell aus einer Folge von Regeln und Funktions-Definitionen:
```
  pattern { action statements }
  function name(parameter list) { statements }
```

Beispiel:

  # summiere und zähle die Werte der Spalte 2 derjenigen Zeilen einer Textdatei,
  # die mit dem String "daten" beginnen oder dem String "wert" enden
  
  function summiere(x)
  {
    summe += x
    anz++
  }
  
  /^daten|wert$/ {
    summiere($2)
  }
  
  # Summe und Durchschnitt formatiert ausgeben
  END {
    printf("Summe       : %6.2f\n", summe)
  
    if (anz)
    {
      # anz ist ungleich Null
      printf("Durchschnitt: %6.2f\n", summe / anz)
    }
    else
    {
      # anz ist Null
      printf("Durchschnitt: nicht ermittelbar, da 0 Werte addiert wurden\n")
    }
  }

Aufruf-Beispiel:

  awk -f summe_sp2.awk daten_summe_sp2.txt

das Muster oder die Aktion einer Regel kann fehlen:
- leeres Muster: Regel gilt für alle Datensätze
- leere Aktion: Ausgabe des aktuellen Datensatzes, also print

Aufbau der Muster:

  BEGIN
  END
  /regular expression/
  relational expression
  pattern && pattern
  pattern || pattern
  pattern ? pattern : pattern
  (pattern)
  ! pattern
  pattern1, pattern2

jeder Datensatz wird automatisch in Felder zerlegt, auf die man bequem zugreifen kann, z.B.

  $1  --> Feld 1 des aktuellen Satzes
  $NF --> letztes Feld des aktuellen Satzes
  NF  --> Anzahl der Felder des aktuellen Satzes (number of fields)
  $0  --> die komplette Eingabezeile

Feld- und Datensatz-Trenner sind für Ein- und Ausgabe getrennt über spezielle Variablen einstellbar:
- FS (field separator)
- OFS (output field separator)
- RS (record separator)
- ORS (output record separator)
Manipulationen an Feldern (Zuweisungen, Veränderung der Feld-Anzahl durch Änderung von NF) führen zu einer Neuberechnung von $0; dabei wird OFS als Feld-Trenner benutzt
AWK-Programme sind im allg. recht kompakt, aber dennoch lesbar
sinnvolle AWK-Programme sind nicht selten "One-liners", also sehr kurze Code-Stücke, die aus einer Zeile oder nur wenigen Zeilen bestehen

Beispiele:

  # das letzte Feld jeder Eingabezeile ausgeben
  awk '{ print $NF }' /etc/hosts
  
  # die 10. Eingabezeile ausgeben
  awk 'NR == 10' /etc/passwd
  
  # alle Zeilen ausgeben, die entweder "root" oder "false" enthalten
  # (also Suche wie bei egrep)
  awk '/root|false/' /etc/passwd
  
  # Gesamtzahl der Eingabe-Zeilen ausgeben
  awk 'END { print NR }' /etc/passwd
  
  # das erste und letzte Feld der Eingabezeilen 5 bis 10 ausgeben
  awk -F: 'NR == 5, NR == 10 { print $1, $NF }' /etc/passwd
  
  # das erste und vorletzte Feld der letzten Eingabezeile ausgeben
  awk -F: 'END { print $1, $(NF-1) }' /etc/passwd
  
  # passwd-Eintrag für die aktuelle UID ausgeben
  awk -F: "\$3 == $UID" /etc/passwd
  awk -F: -v uid=$UID '$3 == uid' /etc/passwd
  
  # Ausgabe von Zeilen mit mehr als 2 Feldern
  awk 'NF > 2' /etc/hosts
  
  # Ausgabe von Zeilen, deren Feld 3 kleiner als 50 ist
  awk -F: '$3 < 50' /etc/passwd
  
  # Ausgabe von Zeilen, deren letztes Feld "false" enthält
  awk -F: '$NF ~ /false/' /etc/passwd
  
  # Ausgabe der Anzahl von Zeilen, deren letztes Feld "false" enthält;
  # Anmerkung: das Semikolon vor END ist nicht nötig
  awk -F: '$NF ~ /false/ { anz++ } ; END { print anz }' /etc/passwd
  
  # Ausgabe von nicht leeren Zeilen
  awk NF /etc/hosts
  
  # ermittle, wie oft jeder Wert des letzten Feldes der Eingabezeilen vorkommt
  awk -F: '
    { ANZ[$NF]++ }
    END { for (w in ANZ) printf("%s: %d\n", w, ANZ[w]) }
  ' /etc/passwd
  
  # tausche Feld 1 und 2 der ersten 10 Eingabezeilen;
  # gib restliche Zeilen unverändert aus
  awk -F: '
    BEGIN { OFS = FS }
    NR < 11 { t = $1; $1 = $2; $2 = t }
    1
  ' /etc/passwd
  
  # ermittle die längste Eingabe-Zeile
  awk '
    length($0) > max { max = length($0) ; fn = FILENAME ; fnr = FNR ; line = $0 }
    END { if (fnr) printf("%d Zeichen in Zeile %d in Datei %s\n%s\n", max, fnr, fn, line) }
  ' /etc/{hosts,passwd}
  
  # gib die UIDs der Nutzer, die die bash als Login-Shell haben, fallend sortiert
  # aus; anschließend wird noch die Anzahl dieser Nutzer ausgegeben
  awk -F: '
    BEGIN { sort = "sort -rn" }
    $7 ~ /bash/ { print $3 | sort ; anz++ }
    END { close(sort) ; printf("Anzahl: %d\n", anz) }
  ' /etc/passwd

Funktionsumfang von AWK ist fest definiert und überschaubar
Erweiterungen durch Module/externe Bibliotheken sind standardmäßig nicht vorgesehen
Anmerkungen:
- die Gawk-spezifische Funktion extension() zum dynamischen Nachladen von Funktionen ist laut Handbuch ein experimentelles Feature, dessen Nutzung im allgemeinen nicht empfohlen wird
- das Shell-Skript igawk realisiert einen rein textuellen Include-Mechanismus zum Einfügen von AWK-Dateien in andere AWK-Programme:
```
  # die Datei "getopt.awk" einbinden
  @include getopt.awk
```
auf Grund einer klugen Mittel-Auswahl ist AWK in seinem Einsatzgebiet dennoch ausgesprochen flexibel
Integration regulärer Ausdrücke in die Sprache; aber weniger mächtig als bei Perl und Co. (z.B. fehlen Lookahead und Lookbehind)
nur zwei skalare Datentypen: Strings und Gleitpunktzahlen
Gleitpunktzahlen sind bei modernen Implementierungen double-precision floating-points

Achtung: die Locale (speziell der Dezimaltrenner der Locale) kann die Arbeit von AWK beeinflussen:

  # Wirkung der Locale auf AWK-Zahlen
  
  awk_command='BEGIN { print 1.5, a, a + 0, a + 1.2, a + 1/3, a "", a == 1.3 }'
  
  # Locales: de_DE.UTF-8, de_DE@euro
  #
  # Bei numerischen AWK-Konstanten auf der Kommandozeile (Option -v) sowie in
  # Programm-Quelltexten wird laut Handbuch generell der Dezimalpunkt akzeptiert.
  
  LC_ALL=de_DE.UTF-8 awk -v a=1.3 "$awk_command"
  LC_ALL=de_DE@euro awk -v a=1.3 "$awk_command"
  # Ausgabe:
  # 1.5 1.3 1.3 2.5 1.63333 1.3 1
  
  # Durch die Initalisierung einer Variablen (hier konkret "a") auf der
  # Kommandozeile in den obigen beiden Locales verlor der Dezimalpunkt innerhalb
  # des AWK-Programms bei Gawk 3.1.3 und 3.1.5 unter Scientific Linux 4.3 seine
  # Wirkung, so dass Floating-Point-Konstanten nur noch als ganzzahlige
  # Konstanten gewertet wurden. Die Ausgabe sah dort so aus:
  #
  # 1 1.3 1,3 2,3 1,63333 1.3 0
  
  LC_ALL=de_DE.UTF-8 awk "$awk_command"
  # Ausgabe:
  # 1.5  0 1.2 0.333333  0
  #
  # Bei den älteren AWK-Versionen sah die Ausgabe so aus:
  # 1,5  0 1,2 0,333333  0
  
  # Locale: C
  # Hier trat obiges Problem auch früher nicht auf.
  LC_ALL=C awk -v a=1.3 "$awk_command"
  # Ausgabe:
  # 1.5 1.3 1.3 2.5 1.63333 1.3 1

AWK kennt daneben noch numerische Strings: das sind Strings, die wie (gültige) Zahlen aussehen
dieses Konzept dient auch der Typ-Bestimmung von Variablen:
- numerische Konstanten sowie Ergebnisse numerischer Operationen haben den Typ NUMERIC
- String-Konstanten sowie Ergebnisse von String-Operationen haben den Typ STRING
- Felder, über getline() gelesene Eingaben, der Inhalte der Spezial-Variablen FILENAME, die Elemente der Felder ENVIRON und ARGV sowie die durch die Funktion split() generierten Feld-Elemente haben den Typ STRNUM, wenn ihre Werte numerische Strings sind, andernfalls den Typ STRING
- uninitialisierte Variablen haben auch den Typ STRNUM
Variablen werden bei Benutzung automatisch angelegt und im Falle einer Zuweisung auch initialisiert
uninitialisierte Variablen haben je nach Kontext als impliziten Wert den leeren String oder die Zahl Null
bei Zuweisungen des Inhalts einer Variablen an eine andere Variable wird auch der Typ der Ausgangs-Variablen mit zugewiesen
der Variablen-Typ bestimmt, wie deren Werte verglichen werden: numerisch oder als Strings
Vergleichs-Regeln:

Typ STRING NUMERIC STRNUM

STRING String String String

NUMERIC String numerisch numerisch

STRNUM String numerisch numerisch

Daten werden je nach Kontext automatisch von Strings in Zahlen und umgekehrt konvertiert

Beispiel:

  # automatische Datenkonvertierung
  BEGIN {
    print "String", 12 ""   # durch Verkettung mit dem leeren String
    print "Zahl", "23" + 0  # durch Addition einer Null
  }

im Booleschen Kontext (also bei Vergleichen) werden der leere String sowie die Zahl 0 als FALSE und alle anderen Werte als TRUE interpretiert
zusätzlich zu skalaren Variablen existieren mehrdimensionale assoziative Felder (Arrays, Hashes, Dictionaries) mit Strings als Schlüssel bzw. Index und Strings oder Zahlen als Werte; Felder als Feldinhalte sind also unzulässig
die verschiedenen Indexe werden de facto zu einem String zusammengefügt, wobei der Inhalt der Variablen SUBSEP als Trenner dient; intern handelt es sich also immer um eindimensionale Arrays
einmal erzeugte skalare Variablen sind nachfolgend nur skalar und Array-Variablen entsprechend nur als Array-Variablen nutzbar
Variablen sind standardmäßig global

Argumente benutzerdefinierter Funktionen sind lokal; manchmal nutzt man gezielt überzählige Argumente als lokale Variablen

Beispiel:

  # Demo zu lokalen/globalen Variablen
  
  # benutzerdefinierte Funktion, die den Inhalt der Variablen "str" an den
  # globalen Puffer "buffer" anhängt, wobei sie vorher alle Teilstrings löscht,
  # die aus mindestens 3 aufeinander folgenden Zeichen "x" sowie optional
  # folgenden Leerzeichen und Tabulatoren besteht
  function add_to_buffer(str,  diff, temp)
  {
    # diff und temp sind hier lokal
    temp = str
    # alle Teilstrings "xxx" löschen
    gsub(/xxxx*[ \t]*/, "", temp)
    # String an den Puffer anhängen
    buffer = buffer temp
    # Längendifferenz zwischen Orginal und modifizierter Form errechnen
    diff = length(str) - length(temp)
    # die maximale Differenz aktualisieren
    if (diff > max_diff)
    {
      max_diff = diff
    }
  }
  
  # Zeilen, die "xxx" enthalten, an die Funktion add_to_buffer übergeben
  /xxx/ {
    add_to_buffer($0)
  }
  
  # Ausgabe des Puffers sowie der maximalen Längendifferenz
  END {
    print "max_diff:", max_diff
    print "Puffer:", buffer
  }

Aufruf-Möglichkeit:

  awk -f lokale_vars.awk daten_lokale_vars.txt

automatisches Speicher-Management beim Anlegen von Variablen und Arrays sowie beim Löschen von Feld-Inhalten mittels delete
Operatoren und Anweisungen sind an die Sprache C angelehnt; zusätzlich existiert mit ^ bzw. ** der Potenz-Operator

3. Beispiele

die Beispiele der vorliegenden Seite als separate Dateien: CODE
weitere Beispiele: EXAMPLES

4. Links und Literatur

Wikipedia-Artikel zu AWK:
- deutsch: Awk
- englisch: AWK programming language
Homepage der Implementierung Gawk (GNU awk): http://www.gnu.org/software/gawk/gawk.html
hier findet sich neben der Software auch eine sehr umfangreiche AWK/Gawk-Dokumentation
AWK für Windows:
- Gawk als Paket der UNIX-artigen Umgebung Cygwin
- Gawk als natives Windows-Werkzeug: http://gnuwin32.sourceforge.net/packages/gawk.htm
- verschiedene AWK-Versionen für Windows: http://www.klabaster.com/freeware.htm#mawk
FAQ zu AWK: http://www.faqs.org/faqs/computer-lang/awk/faq
Online-Manuals unter Linux/Unix:
```
  man awk
  man gawk
  info awk
  info gawk
```
die Info-Seite ist deutlich umfangreicher als die Manual-Seite und enthält u.a. Beispiele
Gawk-Erweiterung für XML-Handling, PostgreSQL-Zugriff und Nutzung der Bibliothek MPFR (Multiple Precision Floating-Point Reliable Library): http://sourceforge.net/projects/gawkextlib/
Homepage des Buches "The AWK Programming Language" der "AWK-Väter": http://cm.bell-labs.com/cm/cs/awkbook/index.html
Online-Kurs-Material:
- Stephan Thesing, Uni Saarbrücken: http://rw4.cs.uni-sb.de/~thesing/Unix-Kurs/SS/Scriptum/Kapitel3.ps.gz
- Wikibook "AWK - von den Grundlagen zur Anwendung": http://de.wikibooks.org/wiki/Awk
- Holger Jakobs: https://www.bg.bib.de/portale/bes/Scripting/AWK/awk.pdf
- Karola und Bernd Klein: http://www.linux-schule.com/trans_html/007Awk/index.html
zusätzlicher Literatur-Hinweis:
Stephan Thesing
SED & AWK ge-packt
Editiervorgänge vereinfachen und automatisieren ; Textdateien manipulieren und filtern
zahlreiche Rezepte für Standardaufgaben
mitp-Verlag, 1. Aufl., 2004, 312 S.
ISBN: 3-8266-1427-5

Holger Trapp

letzte Modifikation: 10.02.2013

Typ	STRING	NUMERIC	STRNUM
STRING	String	String	String
NUMERIC	String	numerisch	numerisch
STRNUM	String	numerisch	numerisch