Informationsübertragung, kanalkapazität diskreter kanäle

Ein Übertragungskanal wird hauptsächlich durch seine Bandbreite und die in ihm auftretenden Störungen charakterisiert. Es soll nun untersucht werden, in welchem Maß über einen solchen Kanal Information fehlerfrei übertragen werden kann. Die kennzeichnende Größe dabei ist die sogenannte Kanalkapazität C. Sie ist definiert als der Maximalwert desjenigen Teils des Informationsflusses H', welcher von der Informationsquelle bei optimaler Codierung über den gegebenen Kanal fehlerfrei in den Empfänger bzw. an den Informationsverbraucher gelangen kann.

Wir betrachten nun einen gestörten Kanal, an dessen Anfang eine Informationsquelle der Entropie H(x) liegt. Als Folge der Störungen wird nicht jedes der von der Informationsquelle abgegebenen Zeichen xi am Kanalende richtig empfangen. Ein Teil der am Kanalende empfangenen Zeichen yi sei wegen der Störungen von den Zeichen xi am Eingang verschieden. Von der Entropie H(x), die ja der durchschnittliche Informationsgehalt pro Zeichen am Kanaleingang ist, gelangt also nur ein Teil T welcher Transinformation genannt wird, ins Kanalende. Der Rest, der Äquivokation (=Vieldeutigkeit) genannt wird, geht verloren. Wie sogleich gezeigt wird, ist die Äquivotation gleich der bedingten Entropie H(xy). Damit gilt also:

T = H(x) - H(xy)

Die bedingte Entropie H(xy) ist ja laut Definition die zusätzliche durchschnittliche Informationsmenge pro Zeichen, welche durch die Zeichen xi dann noch geliefert wird, wenn die Zeichen yj bereits bekannt sind. Die Zeichen xi bringen keine zusätzliche Information, wenn sie durch die Zeichen yi bereits völlig bestimmt sind, was bei fehlerfreier Übertragung der Fall ist. Die bedingten Wahrscheinlichkeiten sind dann P(xiyj)=1 damit sind die Logarithmen und damit wird auch H(xy) gleich Null. Bei gestörter Übertragung enthalten die Zeichen xi der Quelle neben der Transinformation noch zusätzliche Information, die verlorengeht. Diese zusätzliche Information muß gleich der bedingten Entropie sein, womit die obige Gleichung erklärt ist.

Für den Empfänger wirkt das Kanalende wie eine Informationsquelle der Entropie H(y). Diese Entropie setzt sich zusammen aus der Transinformation und den Störungen, der Irrelevanz, die, wie noch gezeigt wird, gleich der bedingten Entropie H(yx) ist, also gilt:

T = H(y)-H(yx)

Die bedingte Entropie H(yx) ist laut Definition die zusätzliche Entropir welche die Zeichen yj dann noch bringen, wenn die Zeichen xi bekannt sind. Diese zusätzliche Information (die zusätzlichen "Überraschungen" am Kanalausgang) können nur von den Störungen herrühren. Faßt man all dies zusammen so ergibt sich das Schema von Bild 2.7




Elimineirt man in der letzten Gleichung die bedingte Entropie H(y|x), dann erhält man eine weitere Beziehung zur Berechnung der Transinformation, nämlich


T = H(x)+H(y)-H(x,y)

Bezieht man die Entropie auf die Zeit t0, dann errechnet sich derTransinformationsfluß T' eines digitalen Signals wiefolgt.


T' = H'(x)-H'(x|y)

Die Kanalkapazität C eines Kanals ist nun als Maximalwert des Transinformationsflusses definiert, den der Kanal zuläßt.


C = T'max = MAX(H'(x)-H'(x|y))

In diesem Zusammenhang steht der sogenannte Kodierungssatz:

Sind ein diskreter Kanal der Kapazität C und eine diskrete Informationsquelle mit dem Informationsfluß H'(x) gegeben, wobei C  H', dann läßt sich stets ein Code finden, der es erlaubt, die Information mit einem beliebig kleinen Fehler (bzw. mit einer beliebig kleinen Äquivokation) über den Kanal zu überragen. Ist C