Startseite   |  Site map   |  A-Z artikel   |  Artikel einreichen   |   Kontakt   |  
   
  •  
    Biologie
    Themen der Chemie
    Deutsch online artikel
    Englisch / Englische
    Franzosisch
    Geographie
    Geschichte
    Informatik
    Kunst
    Mathematik / Studium
    Musik
    Philosophie
    Physik
    Recht
    Sport
    Wirtschaft & Technik



    Biographie

    Impressum

informatik artikel (Interpretation und charakterisierung)

Elektronisches

Entropie kontinuierlicher quellen


1. Java
2. Viren



Die Entropie einer diskreten Quelle statistisch voneinander unabhängiger Zeichen war:



In entsprechender Weise wird nun die Entropie kontinuierlicher Quellen mit der Wahrscheinlichkeitsdichtefunktion p(x) folgendermaßen definiert:



Die Definition für H(x) für kontinuierliche Quellen ergibt ähnliche Eigenschaften für die Entropie H wie die Definition für H(x) für diskrete Quellen. Wenn alle Musterfunktionen x(t) beschränkt sind auf einen endlichen Wertebereich, dann läßt sich zeigen, daß H(x) maximal wird, wenn p(x) eine Rechteckverteilungsdichte aufweist (siehe Bild 3.2). Dieses Ergebnis ist plausibel, da ja auch im diskreten Fall sich die maximale Entropie dann ergab, wenn alle Zeichen gleich wahrscheinlich wahren. Wenn der Wertebereich von x zwar nicht beschränkt ist, aber trotzdem die mittlere Signaleistung beschränkt ist, dann ergibt sich über eine Variarionsrechnung die maximale Entropie, wenn p(x) eine Gaußsche Verteilungsdichte darstellt:

(Normalverteilung)

² ist die Streuung. Ihre positive Wurzel  heißt Standardabweichung. Wenn x eine Spannung ist, dann ist die Standardabweichung gleich dem Effektivwert der Spannung  = Ueff. Daraus folgt, daß bei beschränkter Leistung eine solche Zeitfunktion x(t) die maximale Entropie H ergibt, welche die gleichen statistischen Eigenschaften wie z.B. Widerstandrauschen hat.





Auch Verbundentropie und bedingte Entropie ergeben sich bei kontinuierlichen Quellen ebenso wie bei diskreten Quellen.






p(y|x) bedingte Wahrscheinlichkeitsdichte, daß y im Bereich dy auftritt, wenn x aufgetreten und bekannt ist.

p(x|y) bedingte Wahrscheinlichkeitsdichte, daß x im Bereich dx auftritt, wenn y aufgetreten und bekannt ist.

Für die Dichtefunktion p(x,y) und p(y|x) gelten ganz entsprechende Beziehungen wie für die
Entsprechenden Wahrscheinlichkeiten P(x,y) und P(y|x). Es allerdings einen wichtigen
Unterschied zwischen der Entropie diskreter und kontinuierlicher Signale. Während die Entropie diskreter Signale ein absolutes Maß über die Unsicherheit der Zeichen xi liefert, gibt die Entropie kontinuierlicher Signale nur ein relatives Maß über die Unsicherheit der Variablen x. Dieses relative Maß hängt vom gewählten Koordinatensystem ab. Das soll anhand eines Beispiels verdeutlicht werden: Wir betrachten eine Quelle, die eine Zeitfunktion x(t) erzeugt, wobei die Ordinate x beschränkt sei und eine rechteckige Wahrscheinlichkeitsdichtefunktion entsprechend Bild 3.2 hat. Es sei mit a=2: -2  x  2

Der größte Ordinatenwert ist x=2, der kleinste ist x=-2. Dazwischen sind alle x gleichwahrscheinlich.




Die Entropie ist somit



Das Signal x(t) soll nun mit einem idealen störungs- und verzerrungsfreien Verstärker achtfach verstärkt werden. Dann ist am Verstärkerausgang der größte Ordinatenwert x=16, der Kleinste x=-16. Dazwischen sind wieder alle Werte gleichwahrscheinlich, d.h. -16  x  +16 p(x)=1/32.
Die Entropie am Verstärkerausgang ist nun



Der ideale Verstärker kann natürlich keine zusätzliche Information bringen. Die Änderung der Entropie ist lediglich durch eine Maßstabänderung, d.h. eine Änderung des Koordinatensystems bedingt. Es zeigt sich aber, daß Maßstabänderungen keine rolle spielen, wenn Differenzen von Entropien betrachtet werden. Diese wichtige Tatsache soll nicht allgemein bewiesen, aber an einem einfachen Beispiel erläutert werden. Eine Quelle hat die Entropie H(x) = 2. Eine andere Quelle hat die Entropie H(y) = 4. Die Werte x und y sind als gleichförmig verteilt angenommen. Die Entropiedifferenz ist also H(y) - H(x) = 2. Wenn beide Signale x und y achtfach verstärkt werden, dann ergeben sich H(x) = 5 und H(y) = 7. Die Differenz bleibt jedoch 2, also konstant und davon unberührt.

Die Unabhängigkeit von Entropiedifferenzen vom Maßstab ist von großer praktischer Bedeutung, da bei der Informationsübertragung hauptsächlich die Transinformation und die Kanalkapazität von Interesse sind. Beide Größen werden von Entropiedifferenzen gebildet und sind somit vom Maßstab unabhängig.

Zur Berechnung des Informationsflusses H' wird die Entropie auf die Zeit bezogen. Liegt ein bandbegrenztes kontinuierliches Signal vor, dann brauchen nach dem Abtasttheoremnicht für alle Zeitpunkte die Ordinatenwerte übertragen zu werden. Es genügt die Betrachtung der Ordinatenwerte in Zeitabständen der doppelten maximal auftretenden Frequenz. Da dies zugleich der kürzestmögliche Abstand für statistisch unabhängige Abtastwerte ist, errechnet sich der Informationsfluß H' zu:



Hierbei ist unterstellt, daß kontinuierliche Spektrum von x(t) den Bereich -fmax  f  fmax tatsächlich einnimmt.

 
 




Datenschutz

Top Themen / Analyse
Internet - Bill Gates
TCP/IP-Netzwerke
Bubble Sort
Aufzeichnungsverluste
Courseware
Aufstiegs- und Einkommensmöglichkeiten:
Windows - Start beschleunigen:
Programm Beispiel
Die drei Layer
Die eigene Web-Seite in 10 Minuten





Datenschutz

Zum selben thema
Netzwerk
Software
Entwicklung
Windows
Programm
Unix
Games
Sicherheit
Disk
Technologie
Bildung
Mp3
Cd
Suche
Grafik
Zahlung
Html
Internet
Hardware
Cpu
Firewall
Speicher
Mail
Banking
Video
Hacker
Design
Sprache
Dvd
Drucker
Elektronisches
Geschichte
Fehler
Website
Linux
Computer
A-Z informatik artikel:
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z #

Copyright © 2008 - : ARTIKEL32 | Alle rechte vorbehalten.
Vervielfältigung im Ganzen oder teilweise das Material auf dieser Website gegen das Urheberrecht und wird bestraft, nach dem Gesetz.