Der amerikanische Ingenieur R. Hartley betrachtete 1928 den Prozess der Informationsbeschaffung als die Auswahl einer Nachricht aus einer endlichen, vordefinierten Menge von N gleichwahrscheinlichen Nachrichten, und Menge an Informationen Das in der ausgewählten Nachricht enthaltene I wurde als binärer Logarithmus von N definiert.

Hartley-Formel: Ich = log 2 N oder N = 2 i

Angenommen, Sie müssen eine Zahl aus einer Reihe von Zahlen von eins bis hundert erraten. Mit der Hartley-Formel können Sie berechnen, wie viele Informationen dafür erforderlich sind: I \u003d log 2 100\u003e 6,644. Somit enthält eine Nachricht über eine richtig erratene Zahl eine Informationsmenge, die ungefähr gleich 6,644 Informationseinheiten ist.

Hier sind einige andere Beispiele gleichwahrscheinliche Botschaften :

1. beim Werfen einer Münze: „Schwänze fielen heraus“, „Schwänze fielen heraus“;

2. auf der Seite des Buches: „die Anzahl der Buchstaben ist gerade“, „die Anzahl der Buchstaben ist ungerade“.

Lassen Sie uns nun feststellen, ob gleichwahrscheinliche Botschaften « die Frau wird die erste sein, die die Tür des Gebäudes verlässt" Und „Der Mann wird als erster die Tür des Gebäudes verlassen". Diese Frage lässt sich nicht eindeutig beantworten. Es hängt alles davon ab, um welche Art von Gebäude es sich handelt. Handelt es sich beispielsweise um eine U-Bahn-Station, dann ist die Wahrscheinlichkeit, zuerst vor die Tür zu gehen, für einen Mann und eine Frau gleich, und wenn es sich um eine Militärkaserne handelt, dann ist diese Wahrscheinlichkeit für einen Mann viel höher als für eine Frau.

Für Probleme dieser Art schlug der amerikanische Wissenschaftler Claude Shannon 1948 eine andere Formel vor Bestimmen der Informationsmenge unter Berücksichtigung der möglichen ungleichen Wahrscheinlichkeit von Nachrichten in der Menge .

Shannon-Formel: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),

wobei p i die Wahrscheinlichkeit dafür ist i-te Nachricht ausgewählt in einem Satz von N Nachrichten.

Es ist leicht zu sehen, dass, wenn die Wahrscheinlichkeiten p 1 , ..., p N gleich sind, jede von ihnen gleich 1 / N ist, und die Shannon-Formel wird zur Hartley-Formel.

Neben den beiden betrachteten Ansätzen zur Ermittlung der Informationsmenge gibt es noch weitere. Es ist wichtig, sich daran zu erinnern, dass alle theoretischen Ergebnisse nur auf einen bestimmten Bereich von Fällen anwendbar sind, der durch die anfänglichen Annahmen umrissen wird.

Als Informationseinheiten Claude Shannon bot an, einen zu nehmen Bit(Englisch Bit - Binärziffer - Binärziffer).

Bit in der Informationstheorie - die Menge an Informationen, die erforderlich ist, um zwischen zwei gleich wahrscheinlichen Nachrichten zu unterscheiden (wie "Kopf" - "Zahl", "gerade" - "ungerade" usw.).

IN Informatik Ein Bit ist der kleinste "Teil" des Computerspeichers, der erforderlich ist, um eines der beiden Zeichen "0" und "1" zu speichern, die für die maschineninterne Darstellung von Daten und Befehlen verwendet werden.

Ein Bit ist eine zu kleine Maßeinheit. In der Praxis wird häufiger eine größere Einheit verwendet - Byte gleich acht Bit. Es sind acht Bits, die erforderlich sind, um jedes der 256 Zeichen des Computertastatur-Alphabets (256 = 28) zu codieren.

Auch größere abgeleitete Informationseinheiten sind weit verbreitet:

1 Kilobyte (KB) = 1024 Byte = 210 Byte,

1 Megabyte (MB) = 1024 KB = 220 Byte,

1 Gigabyte (GB) = 1024 MB = 230 Byte.

In letzter Zeit wurden aufgrund der Zunahme des Volumens der verarbeiteten Informationen solche abgeleiteten Einheiten wie:

1 Terabyte (TB) = 1024 GB = 240 Byte,

1 Petabyte (PB) = 1024 TB = 250 Byte.

Für eine Informationseinheit könnte man die Informationsmenge wählen, die benötigt wird, um beispielsweise zehn gleich wahrscheinliche Nachrichten zu unterscheiden. Es wird nicht binär (Bit), sondern dezimal ( dit) Informationseinheit.

Die Menge an Informationen, die in der Nachricht enthalten ist, wird durch die Menge an Wissen bestimmt, die diese Nachricht der Person vermittelt, die sie erhält. Eine Nachricht enthält Informationen für eine Person, wenn die darin enthaltenen Informationen für diese Person neu und verständlich sind und somit ihr Wissen ergänzen.

Die Informationen, die eine Person erhält, können als Maß zur Verringerung der Wissensunsicherheit betrachtet werden. Wenn eine bestimmte Nachricht zu einer Verringerung der Unsicherheit unseres Wissens führt, dann können wir sagen, dass eine solche Nachricht Informationen enthält.

Die Einheit der Informationsmenge wird als die Informationsmenge angenommen, die wir erhalten, wenn die Unsicherheit um das Zweifache reduziert wird. Diese Einheit heißt Bit.

In einem Computer werden Informationen im Binärcode oder in Maschinensprache dargestellt, deren Alphabet aus zwei Ziffern (0 und 1) besteht. Diese Figuren können als zwei gleichwahrscheinliche Zustände betrachtet werden. Beim Schreiben einer Binärziffer wird die Wahl eines von zwei möglichen Zuständen (einer von zwei Ziffern) implementiert und daher trägt eine Binärziffer die Informationsmenge in 1 Bit. Zwei binäre Bits tragen Informationen von 2 Bits, drei Bits - 3 Bits usw.

Stellen wir nun das inverse Problem und bestimmen: „Wie viele verschiedene Binärzahlen N lassen sich mit I Binärziffern schreiben?“ Mit einer Binärziffer können Sie 2 verschiedene Zahlen schreiben (N=2=2 1), mit zwei Binärziffern können Sie vier Binärzahlen schreiben (N=4=2 2), mit drei Binärziffern können Sie acht Binärzahlen schreiben Zahlen (N =8=2 3) usw.

Im allgemeinen Fall kann die Anzahl der verschiedenen Binärzahlen durch die Formel bestimmt werden

N ist die Anzahl der möglichen Ereignisse (gleichwahrscheinlich)!!!;

In der Mathematik gibt es eine Funktion, mit der eine Exponentialgleichung gelöst wird, diese Funktion wird Logarithmus genannt. Die Lösung einer solchen Gleichung lautet:

Wenn Veranstaltungen gleichwahrscheinlich , dann wird die Informationsmenge durch diese Formel bestimmt.

Die Menge an Informationen für Ereignisse mit verschiedene Wahrscheinlichkeiten bestimmt durch Shannons Formel :

,

wobei I die Informationsmenge ist;

N ist die Anzahl möglicher Ereignisse;

P i ist die Wahrscheinlichkeit einzelner Ereignisse.

Beispiel 3.4

In der Lotterietrommel befinden sich 32 Kugeln. Wie viele Informationen enthält die Nachricht über die erste gezogene Zahl (z. B. fiel die Zahl 15 heraus)?

Lösung:

Da das Ziehen jeder der 32 Kugeln gleich wahrscheinlich ist, ergibt sich die Informationsmenge über eine fallengelassene Zahl aus der Gleichung: 2 I = 32.

Aber 32=2 5 . Daher ist I = 5 Bit. Offensichtlich hängt die Antwort nicht davon ab, welche Zahl gezogen wird.

Beispiel 3.5

Wie viele Fragen reichen aus, um Ihrem Gesprächspartner den Monat zu bestimmen, in dem er geboren wurde?

Lösung:

Wir betrachten 12 Monate als 12 mögliche Ereignisse. Wenn Sie nach einem bestimmten Geburtsmonat fragen, müssen Sie möglicherweise 11 Fragen stellen (wenn die ersten 11 Fragen verneint wurden, ist die 12. Frage nicht erforderlich, da sie korrekt ist).

Richtiger ist es, „binäre“ Fragen zu stellen, also Fragen, die nur mit „ja“ oder „nein“ beantwortet werden können. Zum Beispiel „Sind Sie in der zweiten Jahreshälfte geboren?“. Jede dieser Fragen teilt die Menge der Optionen in zwei Teilmengen auf: eine entspricht der Antwort "ja" und die andere der Antwort "nein".

Die richtige Strategie besteht darin, Fragen so zu stellen, dass die Anzahl der möglichen Optionen jedes Mal halbiert wird. Dann ist die Anzahl der möglichen Ereignisse in jeder der erhaltenen Teilmengen gleich und ihr Raten ist gleich wahrscheinlich. In diesem Fall wird bei jedem Schritt die Antwort ("ja" oder "nein") tragen Höchstbetrag Informationen (1 Bit).

Nach Formel 2 und mit einem Taschenrechner erhalten wir:

Bit.

Die Anzahl der empfangenen Informationen entspricht der Anzahl der gestellten Fragen, aber die Anzahl der Fragen darf keine nicht ganzzahlige Zahl sein. Wir runden auf eine größere ganze Zahl auf und erhalten die Antwort: Mit der richtigen Strategie müssen Sie setzen nicht mehr als 4 Fragen.

Beispiel 3.6

Nach der Informatikprüfung, die Ihre Freunde abgelegt haben, werden die Noten bekannt gegeben („2“, „3“, „4“ oder „5“). Wie viele Informationen enthalten die Nachricht über die Bewertung von Schüler A, der nur die Hälfte der Tickets gelernt hat, und die Nachricht über die Bewertung von Schüler B, der alle Tickets gelernt hat?

Lösung:

Die Erfahrung zeigt, dass für Schüler A alle vier Noten (Ereignisse) gleich wahrscheinlich sind, und dann kann die Informationsmenge, die die Notennachricht enthält, mit Formel (1) berechnet werden:

Erfahrungsgemäß können wir auch davon ausgehen, dass für Schüler B die Note „5“ am wahrscheinlichsten ist (p 1 = 1/2), die Wahrscheinlichkeit für eine Note „4“ halb so groß ist (p 2 = 1/4) , und die Wahrscheinlichkeiten der Noten "2 "und" 3 "sind immer noch zweimal geringer (p 3 \u003d p 4 \u003d 1/8). Da die Ereignisse nicht gleich wahrscheinlich sind, verwenden wir Formel 2, um die Informationsmenge in der Nachricht zu berechnen:

Berechnungen haben gezeigt, dass wir bei gleichwahrscheinlichen Ereignissen mehr Informationen erhalten als bei nicht-äquiwahrscheinlichen Ereignissen.

Beispiel 3.7

Ein undurchsichtiger Beutel enthält 10 weiße, 20 rote, 30 blaue und 40 grüne Murmeln. Wie viele Informationen enthalten eine visuelle Botschaft über die Farbe des gezogenen Balls.

Lösung:

Da die Anzahl der Bälle unterschiedlicher Farbe nicht gleich ist, unterscheiden sich auch die Wahrscheinlichkeiten visueller Botschaften über die Farbe des aus dem Beutel genommenen Balls und sind gleich der Anzahl der Bälle einer bestimmten Farbe dividiert durch die Gesamtzahl der Bälle :

Pb = 0,1; P bis = 0,2; PC = 0,3; PS \u003d 0,4.

Ereignisse sind nicht gleich wahrscheinlich, daher verwenden wir Formel 2, um die Menge an Informationen zu bestimmen, die in der Nachricht über die Farbe des Ballons enthalten sind:

Sie können einen Taschenrechner verwenden, um diesen Ausdruck zu berechnen, der Logarithmen enthält. Ich" 1,85 Bit.

Beispiel 3.8

Mit der Shannon-Formel lässt sich ganz einfach bestimmen, wie viele Informationsbits oder Binärziffern benötigt werden, um 256 zu codieren verschiedene Symbole. 256 verschiedene Symbole können als 256 verschiedene gleichwahrscheinliche Zustände (Ereignisse) betrachtet werden. Gemäß dem probabilistischen Ansatz zur Messung der Informationsmenge beträgt die erforderliche Informationsmenge für eine binäre Codierung von 256 Zeichen:

I = log 2 256 = 8 Bit = 1 Byte

Daher wird für die binäre Codierung von 1 Zeichen 1 Byte Information oder 8 Bit benötigt.

Wie viele Informationen stecken zum Beispiel im Text des Romans Krieg und Frieden, in den Fresken Raffaels oder im genetischen Code des Menschen? Antworten auf diese Fragen gibt die Wissenschaft nicht und wird es aller Voraussicht nach auch so schnell nicht geben. Ist es möglich, die Menge an Informationen objektiv zu messen? Das wichtigste Ergebnis der Informationstheorie ist die folgende Schlussfolgerung: „Unter bestimmten, sehr weiten Bedingungen kann man die qualitativen Merkmale von Informationen vernachlässigen, ihre Menge als Zahl ausdrücken und auch die Menge der in verschiedenen Datengruppen enthaltenen Informationen vergleichen.“

Gegenwärtig basieren Ansätze zur Definition des Begriffs „Informationsmenge“ darauf, dass dass die in der Nachricht enthaltenen Informationen lose im Sinne ihrer Neuheit interpretiert werden können oder, mit anderen Worten, die Unsicherheit unseres Wissens über das Objekt verringern. Diese Ansätze verwenden die mathematischen Konzepte Wahrscheinlichkeit und Logarithmus.

Wir haben bereits erwähnt, dass die Formel von Hartley ein Sonderfall der Formel von Shannon für gleichwahrscheinliche Alternativen ist.

Einsetzen in Formel (1) statt P ich seine (im gleichwahrscheinlichen Fall, unabhängig von ich) Wert erhalten wir:

Somit sieht Hartleys Formel sehr einfach aus:

(2)

Daraus folgt eindeutig, dass je größer die Zahl der Alternativen ( N), desto größer die Unsicherheit ( H). Diese Größen werden in Formel (2) nicht linear, sondern durch einen binären Logarithmus in Beziehung gesetzt. Logarithmus zur Basis 2 und bringt die Anzahl der Optionen auf Informationseinheiten - Bits.

Beachten Sie, dass die Entropie nur dann eine ganze Zahl ist, wenn N ist eine Zweierpotenz, d.h. Wenn N gehört zur Serie: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Reis. 10. Abhängigkeit der Entropie von der Anzahl gleichwahrscheinlicher Wahlmöglichkeiten (äquivalente Alternativen).

Erinnere dich daran, was ein Logarithmus ist.

Reis. 11. Finde den Logarithmus B aus grund A findet Grad, auf die Sie erhöhen müssen A, um zu bekommen B.

Der Logarithmus zur Basis 2 wird aufgerufen binär:

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Der Logarithmus zur Basis 10 wird aufgerufen Dezimal:

log 10 (100)=2 => 10 2 =100

Die wichtigsten Eigenschaften des Logarithmus:

log(1)=0 weil jede Zahl hoch null ergibt 1;

log(ab)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Um inverse Probleme zu lösen, wenn die Unsicherheit bekannt ist ( H) oder die Menge an Informationen, die infolge ihrer Entfernung erhalten wurden ( ICH) und Sie bestimmen müssen, wie viele gleichwahrscheinliche Alternativen dem Auftreten dieser Unsicherheit entsprechen, verwenden Sie die inverse Hartley-Formel, die noch einfacher aussieht:

(3)

Wenn zum Beispiel bekannt ist, dass als Ergebnis der Feststellung, dass Kolya Ivanov, der für uns von Interesse ist, im zweiten Stock wohnt, 3 Bits an Informationen empfangen wurden, kann die Anzahl der Stockwerke im Haus durch eine Formel bestimmt werden (3), als N=2 3 = 8 Stockwerke.

Wenn die Frage wie folgt lautet: „Das Haus hat 8 Stockwerke, wie viele Informationen haben wir erhalten, als wir erfahren haben, dass der für uns interessante Kolya Ivanov im zweiten Stock wohnt?“, Sie müssen die Formel verwenden ( 2): ICH= Protokoll 2 (8) = 3 Bit.

1. Die Menge der im Nachrichtenprozess empfangenen Informationen

Bisher haben wir Formeln zur Berechnung der Entropie (Unschärfe) angegeben. H, anzeigt, dass H sie können ersetzt werden durch ICH, weil die Menge der erhaltenen Informationen mit kompletter EntfernungUnsicherheit eine Situation ist quantitativ gleich der Anfangsentropie dieser Situation.

Aber Ungewissheit kann nur teilweise beseitigt werden, so die Menge an InformationenICH, erhalten aus einer Nachricht, wird berechnet als die Abnahme der Entropie, die als Ergebnis des Erhaltens aufgetreten ist gegeben Mitteilungen.

(4)

Für einen gleichwahrscheinlichen Fall, mit der Hartley-Formel zur Berechnung der Entropie erhalten wir:

(5)

Die zweite Gleichheit wird basierend auf den Eigenschaften des Logarithmus abgeleitet. Also im gleichwahrscheinlichen Fall ICH kommt drauf an wie oft die Anzahl der berücksichtigten Auswahlmöglichkeiten hat sich geändert (Berücksichtigung der Vielfalt).

Aus (5) können wir folgendes ableiten:

Wenn
, Das
- vollständige Beseitigung der Unsicherheit, die Menge der in der Nachricht empfangenen Informationen entspricht der Unsicherheit, die vor dem Empfang der Nachricht bestand.

Wenn
, Das
- Die Unsicherheit hat sich nicht geändert, daher wurden keine Informationen eingeholt.

Wenn
, Das
=>
, Wenn
,
=>
. Diese. Die Menge der erhaltenen Informationen ist positiv, wenn sich die Anzahl der in Betracht gezogenen Alternativen infolge des Empfangs der Nachricht verringert hat, und negativ, wenn sie zugenommen hat.

Halbiert sich die Anzahl der berücksichtigten Alternativen durch den Erhalt der Nachricht, d.h.
, Das Ich=Protokoll 2 (2) = 1 Bit. Mit anderen Worten, der Empfang von 1 Bit an Informationen schließt die Hälfte der äquivalenten Optionen von der Betrachtung aus.

Betrachten Sie als Beispiel ein Experiment mit einem Deck aus 36 Karten.

Reis. 12. Illustration für ein Experiment mit einem Deck von 36 Karten.

Lassen Sie jemanden eine Karte vom Stapel nehmen. Uns interessiert, welche der 36 Karten er gezogen hat. Die nach Formel (2) berechnete anfängliche Unsicherheit beträgt H= Protokoll 2 (36)  5,17 Bit. Derjenige, der die Karte zieht, teilt uns einige Informationen mit. Mit Formel (5) bestimmen wir, wie viele Informationen wir aus diesen Nachrichten erhalten:

MöglichkeitA. "DasKartARot Anzüge”.

I = log 2 (36/18) = log 2 (2) = 1 Bit (es gibt halbe rote Karten im Stapel, die Unsicherheit hat sich um das 2-fache verringert).

MöglichkeitB. "DasKartAGipfel Anzüge”.

I=log 2 (36/9)=log 2 (4)=2 Bits (die Pik-Karten machen ein Viertel des Decks aus, die Unsicherheit hat sich um das 4-fache verringert).

Option C. "Das ist eine der höchsten Karten: Bube, Dame, König oder Ass."

I = log 2 (36) – log 2 (16) = 5,17 – 4 = 1,17 Bit (die Unsicherheit hat sich um mehr als das Zweifache verringert, sodass die empfangene Informationsmenge mehr als ein Bit beträgt).

MöglichkeitD. "Das ist eine Karte aus dem Deck."

I = log 2 (36/36) = log 2 (1) = 0 Bits (Unsicherheit nicht reduziert - Meldung nicht informativ).

MöglichkeitD. „Das ist eine DameGipfel".

I = log 2 (36/1) = log 2 (36) = 5,17 Bit (die Unsicherheit wird vollständig entfernt).

Es ist a priori bekannt, dass sich der Ball in einer von drei Urnen befindet: A, B oder C. Bestimmen Sie, wie viele Informationsbits die Nachricht enthält, die sich in Urne B befindet. Optionen: 1 Bit, 1,58 Bit, 2 Bit, 2,25 Bit.

Die Wahrscheinlichkeit für das erste Ereignis beträgt 0,5, für das zweite und dritte 0,25. Wie groß ist die Informationsentropie für eine solche Verteilung? Optionen: 0,5 Bit, 1 Bit, 1,5 Bit, 2 Bit, 2,5 Bit, 3 Bit.

Hier ist eine Liste von Mitarbeitern einiger Organisationen:

Bestimmen Sie die fehlenden Informationen, um die folgenden Anforderungen zu erfüllen:

Bitte rufen Sie Ivanova an.

Ich interessiere mich für eine Ihrer Mitarbeiterinnen, sie ist Jahrgang 1970.

Welche Nachricht enthält weitere Informationen:

Beim Werfen einer Münze (Kopf, Zahl) fiel die Zahl heraus.

Die Ampeln (rot, gelb, grün) sind jetzt grün.

Durch das Werfen eines Würfels (1, 2, 3, 4, 5, 6) fielen 3 Punkte heraus.

Information wird über ihre Haupteigenschaften definiert (denn sie ist neben Materie und Energie der primäre Begriff unserer Welt und kann daher nicht im engeren Sinne definiert werden):

• Informationen bringen Informationen über die Welt um die herum, die zum betrachteten Zeitpunkt nicht vorhanden waren, bevor sie empfangen wurden;
• Informationen sind nicht materiell und können nicht isoliert von der Form der Informationspräsentation (Signalfolgen oder Zeichen - Nachrichten) existieren;
• Nachrichten enthalten Informationen nur für diejenigen, die sie erkennen können.

Nachrichten enthalten Informationen nicht, weil sie Objekte der Realität kopieren, sondern durch gesellschaftliche Vereinbarung über die Verbindung zwischen Trägern und von diesem Träger bezeichneten Objekten (zum Beispiel bezeichnet ein Wort ein Objekt der objektiven Realität). Außerdem können Ladungsträger durch natürlich vorkommende physikalische Prozesse gebildet werden.

Damit die Nachricht an den Empfänger übertragen werden kann, muss ein physikalischer Prozess verwendet werden, der sich mit der einen oder anderen Geschwindigkeit von der Quelle zum Empfänger der Nachricht ausbreiten kann. Der zeitlich veränderliche physikalische Prozess, der die übertragene Nachricht widerspiegelt, wird als Signal bezeichnet.

Um Informationen mit mathematischen Mitteln zu studieren, ist es notwendig, von der Bedeutung, dem Inhalt der Informationen zu abstrahieren. Diese Herangehensweise war den erwähnten Forschern gemeinsam, da die reine Mathematik mit quantitativen Verhältnissen operiert, ohne auf die physikalische Natur der Objekte einzugehen, hinter denen die Verhältnisse stehen. Wenn also die Bedeutung von Botschaften entmannt wird, dann ist der Ausgangspunkt für Informationsbeurteilung Ereignisse bleibt nur eine Reihe von Ereignissen, die sich voneinander unterscheiden, und dementsprechend Nachrichten darüber.

Interessieren wir uns für folgende Informationen über den Zustand einiger Objekte: In welchem ​​der vier möglichen Zustände (fest, flüssig, gasförmig, Plasma) befindet sich ein Stoff? In welchem ​​der vier Studiengänge der Fachschule studiert der Student? In all diesen Fällen besteht eine Ungewissheit des für uns interessierenden Ereignisses, gekennzeichnet durch das Vorliegen einer Wahl zwischen einer von vier Möglichkeiten. Wenn wir ihre Bedeutung in den Antworten auf die obigen Fragen ignorieren, werden beide Antworten die gleiche Menge an Informationen enthalten, da jede von ihnen einen der vier möglichen Zustände des Objekts herausgreift und daher die gleiche Unsicherheit der Nachricht beseitigt .

Unsicherheit ist dem Begriff der Wahrscheinlichkeit inhärent. Unsicherheitsreduktion ist immer verbunden mit der Auswahl (Selektion) eines oder mehrerer Elemente (Alternativen) aus einem Teil ihrer Gesamtheit. Diese gegenseitige Umkehrbarkeit der Konzepte von Wahrscheinlichkeit und Unsicherheit diente als Grundlage für die Verwendung des Konzepts der Wahrscheinlichkeit zur Messung des Unsicherheitsgrades in der Informationstheorie. Wenn wir davon ausgehen, dass jede der vier Antworten auf die Fragen gleich wahrscheinlich ist, dann ist ihre Wahrscheinlichkeit in allen Fragen gleich 1/4 .

Die gleiche Wahrscheinlichkeit von Antworten in diesem Beispiel bestimmt auch die gleiche Unsicherheit, die durch die Antwort in jeder der beiden Fragen entfernt wird, was bedeutet, dass jede Antwort die gleiche Information enthält.

Versuchen wir nun, die beiden folgenden Fragen miteinander zu vergleichen: In welchem ​​der vier Studiengänge der Fachoberschule studiert der Student? Wie fällt eine Münze, wenn sie geworfen wird: oben „Wappen“ oder „Zahl“? Im ersten Fall sind vier gleich wahrscheinliche Antworten möglich, im zweiten - zwei. Daher ist die Wahrscheinlichkeit einer Antwort im zweiten Fall größer als im ersten ( 1/2 > 1/4 ), während die durch die Antworten beseitigte Unsicherheit im ersten Fall größer ist. Jede mögliche Antwort auf die erste Frage beseitigt mehr Unsicherheit als jede Antwort auf die zweite Frage. Daher enthält die Antwort auf die erste Frage mehr Informationen! Je geringer also die Wahrscheinlichkeit eines Ereignisses ist, desto mehr Unsicherheit beseitigt die Nachricht über sein Eintreten und desto mehr Informationen trägt sie folglich.

Nehmen wir an, ein Ereignis hat M gleich wahrscheinliche Ergebnisse. Ein solches Ereignis kann beispielsweise das Erscheinen eines beliebigen Zeichens aus einem Alphabet sein, das m solcher Zeichen enthält. Wie misst man die Menge an Informationen, die mit einem solchen Alphabet übermittelt werden können? Dies kann durch die Definition einer Zahl erfolgen N mögliche Nachrichten, die mit diesem Alphabet übertragen werden können. Wenn die Nachricht aus einem Zeichen besteht, dann N=m, wenn von zwei, dann N \u003d m m \u003d m 2. Wenn die Nachricht n Zeichen enthält ( N die Länge der Nachricht ist), dann N=mn. Es scheint, dass das erforderliche Maß an Informationsmenge gefunden wurde. Sie kann als Maß für die Unsicherheit des Ergebnisses eines Experiments verstanden werden, wenn wir unter Erfahrung eine zufällige Auswahl einer Nachricht aus einer bestimmten Anzahl von möglichen verstehen. Diese Maßnahme ist jedoch nicht ganz bequem.

Bei Vorhandensein eines Alphabets, das aus einem Zeichen besteht, d.h. Wenn m = 1, nur dieses Zeichen darf vorkommen. Daher besteht in diesem Fall keine Unsicherheit, und das Erscheinen dieses Symbols enthält keine Informationen. Inzwischen der Wert N bei m = 1 geht nicht auf null. Für zwei unabhängige Nachrichtenquellen (oder Alphabet) mit N 1 Und N2 Anzahl möglicher Nachrichten Gesamtzahl möglicher Nachrichten N. = N. 1 N. 2, während es logischer wäre anzunehmen, dass die aus zwei unabhängigen Quellen erhaltene Informationsmenge kein Produkt, sondern die Summe der konstituierenden Mengen sein sollte.

Ein Ausweg ist gefunden R. Hartley die Informationen angeboten haben ICH pro Meldung ergibt sich aus dem Logarithmus der Gesamtzahl möglicher Meldungen N:

I(N) = logN

Wenn der gesamte Satz möglicher Nachrichten aus einer ( N=m=1), Das

I(N) = log 1 = 0,

was dem Mangel an Informationen in diesem Fall entspricht. In Anwesenheit von unabhängigen Informationsquellen mit N 1 Und N2 Anzahl möglicher Nachrichten

I (N) \u003d log N \u003d log N 1 N 2 \u003d log N 1 + log N 2

diese. die Informationsmenge pro Nachricht entspricht der Summe der Informationsmengen, die getrennt voneinander von zwei unabhängigen Quellen empfangen würden.

Formel vorgeschlagen Hartley, erfüllt die Anforderungen. Daher kann es verwendet werden, um die Menge an Informationen zu messen. Wenn die Möglichkeit des Auftretens irgendeines Buchstabens des Alphabets gleichwahrscheinlich ist (und wir sind bisher davon ausgegangen, dass es so ist), dann diese Wahrscheinlichkeit p = 1/m. Vorausgesetzt, dass N=m, wir bekommen

I = log N = log m = log (1/p) = – log p,

Die resultierende Formel erlaubt für einige Fälle, die Informationsmenge zu bestimmen. Aus praktischen Gründen ist es jedoch erforderlich, die Maßeinheit anzugeben. Gehen Sie dazu davon aus, dass Informationen die entfernte Unsicherheit sind. Dann wird im einfachsten Fall der Unsicherheit zwischen zwei sich gegenseitig ausschließenden, gleich wahrscheinlichen Botschaften gewählt, zum Beispiel zwischen zwei qualitativen Zeichen: positiver und negativer Impuls, Impuls und Pause usw.

Die in diesem einfachsten Fall übertragene Informationsmenge wird am bequemsten als Einheit der Informationsmenge genommen. Die resultierende Einheit der Informationsmenge, die eine Auswahl von zwei gleich wahrscheinlichen Ereignissen ist, wird als binäre Einheit oder Bit bezeichnet. (Name Bit gebildet aus zwei Anfangs- und Endbuchstaben eines englischen Ausdrucks binäre Einheit, was eine binäre Einheit bedeutet.)

Ein Bit ist nicht nur eine Einheit der Informationsmenge, sondern auch eine Maßeinheit des Unsicherheitsgrades. Dies bezieht sich auf die Unsicherheit, die in einem Experiment enthalten ist, das zwei gleich wahrscheinliche Ergebnisse hat. Die Informationsmenge einer Nachricht wird durch den Überraschungsfaktor für den Empfänger beeinflusst, der von der Wahrscheinlichkeit abhängt, eine bestimmte Nachricht zu erhalten. Je geringer diese Wahrscheinlichkeit ist, desto unerwarteter und damit aussagekräftiger ist die Nachricht. Botschaft, Wahrscheinlichkeit

deren Überraschungsgrad hoch und dementsprechend niedrig ist, trägt wenig Information.

R. Hartley verstanden, dass Nachrichten unterschiedliche Wahrscheinlichkeiten haben und daher die Unerwartetheit ihres Erscheinens für den Empfänger nicht gleich ist. Aber indem er die Menge an Informationen quantifizierte, versuchte er, den „Überraschungsfaktor“ vollständig zu eliminieren. Daher die Formel Hartley ermöglicht es Ihnen, die Informationsmenge in der Nachricht nur für den Fall zu bestimmen, in dem das Auftreten von Symbolen gleich wahrscheinlich ist und sie statistisch unabhängig sind. In der Praxis sind diese Bedingungen

selten durchgeführt. Bei der Bestimmung der Informationsmenge muss nicht nur die Anzahl der verschiedenen Nachrichten berücksichtigt werden, die von der Quelle empfangen werden können, sondern auch die Wahrscheinlichkeit, sie zu erhalten.

Der am weitesten verbreitete Ansatz zur Bestimmung der durchschnittlichen Menge an Informationen, die in Nachrichten aus Quellen sehr unterschiedlicher Art enthalten sind, ist der Ansatz. ZU Shannon.

Betrachten Sie die folgende Situation. Quelle überträgt elementare Signale k verschiedene Arten. Folgen wir einem ziemlich langen Abschnitt der Nachricht. Lass es haben N 1 Signale der ersten Art, N2 Signale zweiter Art, ..., Nk Signale k-ten Typ, und N1 + N2 + ... + Nk = N ist die Gesamtzahl der Signale im beobachteten Segment, f 1 , f 2 , ..., f k sind die Frequenzen der entsprechenden Signale. Mit zunehmender Länge des Nachrichtensegments tendiert jede der Frequenzen zu einer festen Grenze, d. h.

lim f ich = p ich , (i = 1, 2, ..., k),

Wo p ich kann als Wahrscheinlichkeit des Signals betrachtet werden. Angenommen, ein Signal wird empfangen ich-ten Typ mit Wahrscheinlichkeit p ich enthält - log p ich Informationseinheiten. In dem betrachteten Abschnitt ich-ten Signal wird ungefähr treffen Np ich Zeiten (das nehmen wir mal an N groß genug) und allgemeine Informationen die von Signalen dieses Typs geliefert werden, entsprechen dem Produkt Np ich log p ich. Gleiches gilt für Signale jeder anderen Art, also der Gesamtmenge der von einem Segment gelieferten Informationen N Signale werden ungefähr gleich sein. Um die durchschnittliche Informationsmenge pro Signal zu bestimmen, d.h. spezifischen Informationsgehalt der Quelle, müssen Sie diese Zahl durch dividieren N. Mit unbegrenztem Wachstum wird aus der ungefähren Gleichheit eine exakte.

Als Ergebnis wird eine asymptotische Beziehung erhalten - die Formel Shannon. Es stellte sich heraus, dass die vorgeschlagene Formel Hartley, ist ein Sonderfall von mehr allgemeine Formel Shannon.

Ergänzend zu dieser Formel schlug Shannon ein abstraktes Kommunikationsschema bestehend aus fünf Elementen (Informationsquelle, Sender, Kommunikationsleitung, Empfänger und Adressat) vor und formulierte Theoreme weiter Bandbreite, Störfestigkeit, Codierung etc.

60. Messung von Informationen – probabilistische und alphabetische Ansätze. Formeln von Hartley, Shannon. Beispiel imMSExMitEl.

Vom Informationsstandpunkt aus gesehen hängt die Informationsmenge in der Nachricht über ein bestimmtes Ereignis ab der entfernten Unsicherheit von der Wahrscheinlichkeit dieses Ereignisses ab.

Ein wissenschaftlicher Ansatz zur Bewertung von Nachrichten wurde bereits 1928 von R. Hartley vorgeschlagen. Geschätzt Hartleys Formel für gleichwahrscheinliche Ereignisse sieht aus wie:

ICH = Protokoll 2 Noder 2ICH = N,

wobei N die Zahl ist gleichwahrscheinlich Ereignisse (die Anzahl der möglichen Entscheidungen), I - die Menge an Informationen.

Wenn N = 2 (Auswahl aus zwei Möglichkeiten), dann ist I = 1 Bit.

Beispiel 1 Verwenden der Hartley-Formel zur Berechnung der Informationsmenge. Wie viele Informationsbits enthält die Nachricht?

kommt der Zug auf einem der 8 Gleise an?

Hartley-Formel: ICH = Protokoll 2 N,

wobei N die Anzahl der gleichwahrscheinlichen Ergebnisse des Ereignisses ist, auf das in der Nachricht Bezug genommen wird,

I ist die Informationsmenge in der Nachricht.

I = log 2 8 = 3(Bits) Antwort: 3 Bits.

Modifizierte Hartley-Formel für ungleichmäßige Ereignisse. Da das Eintreten jedes der N möglichen Ereignisse die gleiche Wahrscheinlichkeit hat

P = 1 / N, Das N = 1 / P und die Formel sieht aus wie

I = log 2 N = log 2 (1/p) = - log 2 p

Die quantitative Beziehung zwischen der Wahrscheinlichkeit eines Ereignisses (p) und der Informationsmenge in der Nachricht darüber (I) wird durch die Formel ausgedrückt:

ICH = Protokoll 2 (1/ P)

Die Wahrscheinlichkeit eines Ereignisses wird durch die Formel berechnet P= K/ N, K ist ein Wert, der zeigt, wie oft das für uns interessierende Ereignis aufgetreten ist; N ist die Gesamtzahl möglicher Ergebnisse, Ereignisse. Sinkt die Wahrscheinlichkeit, so steigt die Informationsmenge.

Beispiel 2 In der Klasse sind 30 Personen. Hinter prüfen in Mathematik wurden 6 Fünfer, 15 Vierer, 8 Dreier und 1 Zweier vergeben. Wie viele Informationen enthält die Nachricht, dass Ivanov eine Vier erhalten hat?

Antwort: 1 Bit.

Mit der Shannon-Formel. Der allgemeine Fall der Berechnung der Informationsmenge in einer Nachricht über eines von N, aber nicht gleich wahrscheinlichen Ereignissen. Dieser Ansatz wurde 1948 von K. Shannon vorgeschlagen.

Basisinformationseinheiten:

ICHHeiraten= -

Bedeutung ICHHeiraten Pi= 1 / N.

Beispiel 3 Wie viele Informationsbits enthält eine zufällig generierte Nachricht „Scheinwerfer“, wenn im Durchschnitt pro tausend Buchstaben in russischen Texten der Buchstabe „a“ 200 Mal vorkommt, der Buchstabe „f“ - 2 Mal, der Buchstabe „r“ - 40 mal.

Wir gehen davon aus, dass die Wahrscheinlichkeit, dass ein Zeichen in einer Nachricht vorkommt, mit der Häufigkeit seines Vorkommens in Texten zusammenfällt. Daher kommt der Buchstabe "a" mit einer durchschnittlichen Häufigkeit von 200/1000 = 0,2 vor; Die Wahrscheinlichkeit des Auftretens des Buchstabens „a“ im Text (p a) kann als ungefähr gleich 0,2 angesehen werden;

der Buchstabe „f“ kommt mit einer Häufigkeit von 2/1000=0,002 vor; der Buchstabe "p" - mit einer Häufigkeit von 40/1000 = 0,04;

In ähnlicher Weise ist p p = 0,04, p f = 0,002. Dann gehen wir nach K. Shannon vor. Wir nehmen den binären Logarithmus vom Wert 0,2 und nennen das, was wir bekommen haben, die Informationsmenge, die ein einzelner Buchstabe „a“ im betrachteten Text trägt. Wir werden die gleiche Operation für jeden Buchstaben durchführen. Dann ist die Menge an eigentlicher Information, die von einem Buchstaben getragen wird, gleich Protokoll 2 1/ Pi = - Protokoll 2 Pi, Bequemer ist es, den Durchschnittswert der Informationsmenge pro Buchstabe des Alphabets als Maß für die Informationsmenge zu verwenden.

ICHHeiraten= -

Bedeutung ICHHeiraten erreicht ein Maximum für gleichwahrscheinliche Ereignisse, das heißt, wenn alle p i

Pi= 1 / N.

In diesem Fall verwandelt sich Shannons Formel in Hartleys Formel.

I = M*I cf =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))= 4*(-(0,002*(-8,967)+ 0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0,46-0,19-0,46))=4*1,1325=4,53

Antwort: 4,53 Bit

Alphabetischer Ansatz zur Messung von Informationen

Der alphabetische Ansatz wird in der Technik verwendet, in diesem Fall hängt die Informationsmenge nicht vom Inhalt ab, sondern von der Macht des Alphabets und der Anzahl der Zeichen im Text.

Für ASCII-Codierung - Alphabetstärke = 256

I = log 2 256 = 8 (Bit); Wenn Zeicheninformationen in Codes codiert werden, wird jedes Zeichen, einschließlich Leerzeichen und Satzzeichen, durch 1 Byte (8 Bit) codiert.

Maßeinheiten für Informationen in der Informatik

1 Bit (technischer Ansatz)	minimale Informationseinheit	die Informationsmenge wird nur durch eine ganzzahlige Anzahl von Bits gemessen
1 KB (Kilobyte)	2 10 Bytes = 1024 Bytes	~ 1 Tausend Bytes
1 MB (Megabyte)	2 10 KB = 2 20 Byte	~ 1 Million Bytes
1 GB (Gigabyte)	2 10 MB = 2 30 Bytes	~ 1 Milliarde Byte

• 3. Technologien der Datenübertragung. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Gateway-Geräte: Repeater, Bridges, Router, Gateways. Switching- und Routing-Methoden. Möglichkeiten zur Verbesserung der Netzwerkleistung
• 5. Peer-to-Peer- und Server-Netzwerke: Vergleichsmerkmale. Die wichtigsten Arten von spezialisierten Servern.
• 6. Technologische Basis des Internets. Adressierungssystem (IP-Adressen, Domänennamen, DNS-System). Grundlegende Kommunikationsprotokolle im Netzwerk.
• 7. Grundlegende Benutzertechnologien für die Arbeit im Internet. WWW, FTP, TELNET, E-MAIL. Suche nach Informationen im Internet.
• 9. Datenbanken: Daten, Datenmodell, Datenbank, Datenbankverwaltungssystem, Informationssystem. Datenmodelle. Relationales Datenmodell.
• 12. Gestaltung von Informationssystemen. Struktur- und Lebenszyklusmodelle.
• 13. Modellierung und Darstellung der Unternehmensstruktur. IDEF0-Diagramme.
• 14. Modellierung und Darstellung von Datenflüssen. DFD-Diagramme.
• 16. Expertensysteme (ES): Konzept, Zweck, Architektur, Unterscheidungsmerkmale. ES-Klassifizierung. Entwicklungsstadien von ES.
• 17. Wissensbasen von Expertensystemen. Methoden der Wissensrepräsentation: logische Modelle, Produktionsregeln, Frames, semantische Netze.
• 18 Wissen. Arten von Wissen. Methoden der Wissensextraktion: kommunikativ, textologisch.
• 19 Programmiersprachen, ihre Eigenschaften (Prolog, Delphi, C++).
• 20. Programmiersprachen, ihre Eigenschaften (PHP, Perl, JavaScript).
• 21. Ziele, Ziele, Grundsätze und Hauptrichtungen zur Gewährleistung der Informationssicherheit der Russischen Föderation. Rechtlicher, organisatorischer, technischer und technischer Schutz von Informationen.
• 22. Elektronische Publikationen: Konzept, Aufbau. EI-Klassifizierung. Registrierung von EI.
• 23. Informationsquellen: Konzept, Aufbau. Staatliche Informationsquellen.
• 24. Das Betriebssystem eines Personal Computers als Mittel zur Ressourcenverwaltung (am Beispiel des untersuchten Betriebssystems). OS-Struktur und -Komponenten.
• 25. Schädliche Software: Klassifizierungen, Erkennungs- und Entfernungsmethoden.
• 26 Die Struktur von Webanwendungen. HTTP-Protokoll. Plätzchen. Funktionen von Webanwendungen. CGI-Protokoll.
• 27 Gewährleistung der Zuverlässigkeit des IS. Transaktionen. OLTP-Systeme.
• 28. Ergonomische Ziele und Indikatoren für die Qualität des Softwareprodukts.
• 31. Informationsmanagement: Konzept und Hauptfunktionen.
• 33 Softwarestandardisierung. Software-Dokumentationsstandards.
• 34. Bewertung der qualitativen und quantitativen Merkmale von Informationssystemen. Modelle zur Bewertung der Zuverlässigkeitseigenschaften von Software und Informationsunterstützung. Grundlegende Konzepte, Indikatoren und Methoden zur Sicherstellung der Zuverlässigkeit von Informationssystemen.
• 36. Merkmale der Umsetzung innovativer Programme im Bereich der Informatisierung (Merkmale der Informationspolitik im Bereich der Informatisierung, Grundsätze der Projektbildung und Implementierung von IP, Management von Informatisierungsprojekten).

Diese Formel wird wie die Hartley-Formel in der Informatik verwendet, um die Gesamtmenge an Informationen für verschiedene Wahrscheinlichkeiten zu berechnen.

Ein Beispiel für verschiedene ungleiche Wahrscheinlichkeiten ist der Ausgang von Personen aus der Kaserne in einer Militäreinheit. Ein Soldat, ein Offizier und sogar ein General können die Kaserne verlassen. Aber die Verteilung von Soldaten, Offizieren und Generälen in der Kaserne ist anders, was offensichtlich ist, denn es wird die meisten Soldaten geben, dann kommen Offiziere in Zahl und der seltenste Typ wird Generäle sein. Da die Wahrscheinlichkeiten nicht für alle drei Arten von Militärs gleich sind, um zu berechnen, wie viele Informationen ein solches Ereignis einnehmen und verwenden wird Shannons Formel.

Für andere ebenso wahrscheinliche Ereignisse, wie zum Beispiel einen Münzwurf (die Wahrscheinlichkeit, dass Kopf oder Zahl gleich sind – 50 %), wird die Hartley-Formel verwendet.

Schauen wir uns nun die Anwendung dieser Formel an einem konkreten Beispiel an:

Welche Nachricht enthält die wenigsten Informationen (Anzahl in Bits):

1. Vasily aß 6 Süßigkeiten, 2 davon waren Berberitzen.
2. Es gibt 10 Ordner auf dem Computer, die gewünschte Datei wurde im 9. Ordner gefunden.
3. Baba Luda machte 4 Fleischpasteten und 4 Kohlpasteten. Gregory hat 2 Kuchen gegessen.
4. Afrika hat 200 Tage trockenes Wetter und 165 Tage Monsun. Ein Afrikaner jagte 40 Tage im Jahr.

Bei diesem Problem achten wir auf die Optionen 1, 2 und 3, diese Optionen sind leicht zu erwägen, da die Ereignisse gleich wahrscheinlich sind. Und dafür verwenden wir die Hartley-Formel I = log 2 N(Abb. 1) Aber mit dem 4. Punkt, wo klar ist, dass die Verteilung der Tage nicht gleichmäßig ist (Überwiegen hin zu trockenem Wetter), was sollen wir dann in diesem Fall tun? Für solche Ereignisse wird die Shannon-Formel oder Informationsentropie verwendet: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),(Abb. 3)

FORMEL FÜR DIE INFORMATIONSMENGE (FORMEL HARTLEY, ABB. 1)

Worin:

• I - Menge an Informationen
• p ist die Wahrscheinlichkeit, dass diese Ereignisse eintreten

Die für uns interessanten Ereignisse in unserem Problem sind

1. Es gab zwei von sechs Berberitzen (2/6)
2. Es gab einen Ordner, in dem die gewünschte Datei im Verhältnis zur Gesamtzahl (1/10) gefunden wurde
3. Es gab insgesamt acht Kuchen, von denen Gregory zwei gegessen hat (2/8)
4. und die letzten vierzig Jagdtage im Verhältnis zu zweihundert Trockentagen und vierzig Jagdtage zu einhundertfünfundsechzig Regentagen. (40/200) + (40/165)

so bekommen wir das:

WAHRSCHEINLICHKEITSFORMEL FÜR EIN EREIGNIS.

Wo K das für uns interessante Ereignis ist und N die Gesamtzahl dieser Ereignisse, auch um es selbst zu überprüfen, kann die Wahrscheinlichkeit eines Ereignisses nicht größer als eins sein. (weil es immer weniger wahrscheinliche Ereignisse gibt)

SHANNON-FORMEL ZUM ZÄHLEN VON INFORMATIONEN (ABB. 3)

Kehren wir zu unserer Aufgabe zurück und berechnen, wie viele Informationen enthalten sind.

Übrigens ist es bei der Berechnung des Logarithmus bequem, die Website zu verwenden - https://planetcalc.ru/419/#

• Für den ersten Fall - 2/6 = 0,33 = und weiter Log 2 0,33 = 1,599 Bit
• Für den zweiten Fall – 1/10 = 0,10 Log 2 0,10 = 3,322 Bit
• Für die dritte - 2/8 = 0,25 = Log 2 0,25 = 2 Bits
• Für die vierte - 40/200 + 40/165 = 0,2 bzw. 0,24 berechnen wir nach der Formel - (0,2 * log 2 0,2) + - (o,24 * log 2 0,24) = 0,95856 Bit

Somit stellte sich die Antwort für unser Problem heraus 4.