Stars der Physik: Claude Elwood Shannon

Zunächst stellen wir uns die Frage wie und mit welchen Erkenntnissen es ihm ­gelang ein Star der Elektrotechnikszene zu werden, sodass sein Name nicht vergessen werde sollte.

Erste Forschungen

Der erste Schritt zum späteren Ruhm war seine Abschlussarbeit zum Thema »A symbolic Analysis of Relay and Switching Circuits«. Darin analysierte er den Aufbau eines Differentialanalysators. Dieser war ein leistungs­fähiger Analogrechner. Dabei stellte er als erste Person den Zusammenhang zwischen Boolscher Algebra und elektronischen Schaltkreisen her und ordnete beispielsweise einem eingeschalteten Relais den Zustand 1 und einem ausgeschalteten Relais den ­Zustand 0 zu. So designte Shannon unter anderem Schaltkreise, die binäre Nummern addieren konnten. Damit konnten Schaltungen stark vereinfacht werden und das Zeitalter der Digitaltechnik wurde eingeläutet [1]. Die Verwendung von mathematischer Aussagenlogik zum Design von Schaltungen findet oft in der Programmierung von speicherprogrammierbaren Steuerungen Anwendung. Zum Beispiel werden bei einer Logo-Steuerung aus der Verknüpfung von Logikgattern Schaltkreise aufgebaut.

Seine ersten Projekte bei Bell Labs waren Verschlüsselungstechniken und die Steuerung von Flugabwehrgeschützen für das ­Militär. Über seine Arbeit sagte er: »Diese Flugabwehrsysteme waren extrem wichtig. Ich glaube, ohne sie wäre England komplett zerstört worden. Und eine meiner Aufgaben betraf eben solche Feuerleitsysteme, also Radargeräte, mit denen man ein Flugzeug erfasst und verfolgt. Um aus den Daten zu berechnen, wohin man zielen muss. Und das hat mit Kommunikationstheorie zu tun« [2]

Bei dem Thema Kryptographie suchte er nach unzerbrechlichen Systemen und Methoden. Dabei stellte er fest, dass Sprache redundant und vorhersehbar ist. Das führt dazu, dass »dser Txtabchtt trtz fhlnder Bchtaen lesbr st.« So zum Beispiel ist die relative Wahrscheinlichkeit des Buchstaben E in einem Text über 12 % [3] und die Wahrscheinlichkeit, dass ein U auf ein Q folgt ist höher, als dass ein X auf ein Q folgt. Diese Erkenntnis findet in seinen späteren Arbeiten erneut Anwendung.

Modell für die Nachrichtenübertragung

Mit der nächsten Veröffentlichung seiner ­Forschung 1948 im Bell System Technical Journal erlangte Shannon endgültig den Ruf eines renommierten Wissenschaftlers. Unter dem Titel »A Mathematical Theory of Communication« begründete er die wesentlichen Merkmale der Informationstheorie und Nachrichtenübertragung. Shannons Ziel war es zu Beginn den Übertragungsaufwand ­kodierter Nachrichten zu optimieren. Dabei ging er davon aus, dass jede Kommunikation gleich gedacht werden kann und jede Nachricht durch Rauschen gefährdet ist nicht ­korrekt übertragen zu werden. Darin liegt auch schon das größte Problem der Nachrichtenübertragung: die exakte oder annähernd exakte Wiederherstellung der Nachricht. Shannon definierte ein Übertragungsmodell und lieferte somit die erste komplette Beschreibung eines Kommunikationspro­zesses (Bild 1).

Dieses Modell ist immer noch aktuell und wird in der Nachrichtentechnik so gelehrt. Jeder Prozess besteht zuerst einmal aus einer Quelle, die Nachrichten sendet, einem Kanal, der diese überträgt und einem Ziel. Die möglichen Zeichen, die eine Quelle senden kann, nennt man Alphabet. Diese Zeichen gibt die Quelle mit den Wahrscheinlichkeiten p in beliebiger Reihenfolge aus. Der Sender wandelt die Zeichen auf ein geeignetes Signal für den verwendeten Kanal. In dem Kanal wird das Signal durch Rauschen gestört, Rauschen und Signal überlagern sich.

Der Empfänger rekonstruiert das Signal, sodass das Ziel, auch Senke genannt, die einzelnen Zeichen empfangen kann. Da die einzelnen Zeichen mit einer gewissen Wahrscheinlichkeit gesendet werden und diese auch noch mit Rauschen überlagert werden, muss der Empfänger nun die korrekte Nachricht aus einer Möglichkeit von Nachrichten auswählen. Dabei ist der Empfänger ungewiss über die gesendete Nachricht, er weiß also nicht, welche Zeichen die Quelle sendet. Bei gewissen Zeichen kann der Empfänger allerdings schon auf das nächste übertragene Zeichen schließen.

Ein Maß für diese Ungewissheit ist die Entropie. Ein Münzwurf hat maximale Entropie, da der Wurf vorher keine Aussage über den nächsten Wurf geben kann, die Wahrscheinlichkeit von Kopf und Zahl ist 50%, wohingegen die Sprache wegen ihrer Redundanz eine sehr geringe Entropie aufweist. Um die Nachricht möglichst effizient zu übertragen, muss diese codiert werden. Jedem Zeichen aus dem Alphabet wird dabei ein digitales Signal zugeordnet.

Shannon erkannte, dass die Binärcodierung hierbei am effizientesten ist. Bei einer Quellkodierung sollte Redundanz vermieden werden, z.B. durch Textcodierung oder Bildkompression, damit weniger Zeichen übertragen werden müssen. Durch eine Kanalcodierung kann verlorengegangene Information wiederhergestellt werden. So zum Beispiel kann eine CD trotz Kratzer korrekt wiedergegeben werden.

Mit diesen grundlegenden Definitionen traf Shannon auch den Nerv der Zeit, da die Informationstechnik gerade sehr am Kommen war. Erste Großrechner wurden entwickelt, der Funkverkehr wuchs und das Interesse Nachrichten auch über lange Strecken zu übertragen war groß. Das Problem an Shannons Arbeit ist die abstrakte Theorie, die für die Öffentlichkeit nicht greifbar ist. Mit seinen theoretischen Erkenntnissen legte er vor allem Grenzen fest, um Nachrichtenübertragungssysteme zu definieren und zu designen.