Americký inžinier R. Hartley v roku 1928 považoval proces získavania informácií za výber jednej správy z konečného vopred určeného súboru N ekvipravdepodobných správ a množstvo informácií I obsiahnuté vo vybranej správe bolo definované ako binárny logaritmus N.

Hartleyho vzorec: I = log2N alebo N = 2 i

Predpokladajme, že potrebujete uhádnuť jedno číslo zo skupiny čísel od jednej do sto. Pomocou vzorca Hartley môžete vypočítať, koľko informácií je na to potrebných: I \u003d log 2 100\u003e 6,644. Správa o správne uhádnutom čísle teda obsahuje množstvo informácií, ktoré sa približne rovná 6 644 jednotkám informácií.

Tu je niekoľko ďalších príkladov ekvipravdepodobné správy :

1. pri hode mincou: „vypadli chvostíky“, „vypadli chvostíky“;

2. na strane knihy: „počet písmen je párny“, „počet písmen je nepárny“.

Poďme teraz určiť, či ekvipravdepodobné správy « žena bude prvá, ktorá opustí dvere budovy." A „Muž bude prvý, kto opustí dvere budovy". Na túto otázku nie je možné jednoznačne odpovedať. Všetko závisí od toho, o akej budove hovoríme. Ak je to napríklad stanica metra, potom je pravdepodobnosť, že prvý vyjde dverami, rovnaká pre muža a ženu, a ak ide o kasárne, potom u muža je táto pravdepodobnosť oveľa vyššia ako u žena.

Pre problémy tohto druhu navrhol americký vedec Claude Shannon v roku 1948 iný vzorec určenie množstva informácií s prihliadnutím na možnú nerovnakú pravdepodobnosť správ v súbore .

Shannonov vzorec: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + ... + p N log 2 p N),

kde p i je pravdepodobnosť, že presne i-tá správa vybrané v skupine N správ.

Je ľahké vidieť, že ak sú pravdepodobnosti p 1 , ..., p N rovnaké, potom sa každá z nich rovná 1 / N a Shannonov vzorec sa zmení na Hartleyov vzorec.

Okrem dvoch uvažovaných prístupov k určovaniu množstva informácií existujú aj ďalšie. Je dôležité mať na pamäti, že akékoľvek teoretické výsledky sú aplikovateľné len na určitý rozsah prípadov načrtnutých počiatočnými predpokladmi.

Ako jednotky informácií Claude Shannon sa ponúkol, že si jeden vezme trocha(Anglický bit - binárna číslica - binárna číslica).

Trocha v teórii informácie - množstvo informácií potrebných na rozlíšenie dvoch rovnako pravdepodobných správ (ako napríklad "hlavy" - "chvosty", "párne" - "nepárne" atď.).

IN počítačová veda bit je najmenšia "časť" pamäte počítača potrebná na uloženie jedného z dvoch znakov "0" a "1" používaných na vnútrostrojovú reprezentáciu údajov a príkazov.

Bit je príliš malá merná jednotka. V praxi sa častejšie používa väčšia jednotka - byte rovný ôsmim bitom. Je to osem bitov, ktoré sú potrebné na zakódovanie ktoréhokoľvek z 256 znakov abecedy počítačovej klávesnice (256=28).

Široko sa používajú aj väčšie odvodené jednotky informácií:

1 kilobajt (KB) = 1 024 bajtov = 210 bajtov,

1 megabajt (MB) = 1 024 kB = 220 bajtov,

1 gigabajt (GB) = 1 024 MB = 230 bajtov.

V poslednej dobe, v dôsledku nárastu objemu spracovávaných informácií, také odvodené jednotky ako:

1 terabajt (TB) = 1 024 GB = 240 bajtov,

1 petabajt (PB) = 1024 TB = 250 bajtov.

Pre jednotku informácie by sa dalo zvoliť množstvo informácií potrebných na rozlíšenie napríklad desiatich rovnako pravdepodobných správ. Nebude to binárne (bitové), ale desiatkové ( dit) jednotka informácie.

Množstvo informácií obsiahnutých v správe je určené množstvom vedomostí, ktoré táto správa prináša osobe, ktorá ju prijíma. Správa obsahuje informácie pre osobu, ak sú informácie v nej obsiahnuté pre túto osobu nové a zrozumiteľné, a preto dopĺňajú jej vedomosti.

Informácie, ktoré človek dostáva, možno považovať za mieru znižovania neistoty vedomostí. Ak určitá správa vedie k zníženiu neistoty nášho poznania, potom môžeme povedať, že takáto správa obsahuje informáciu.

Jednotka množstva informácií sa berie ako množstvo informácií, ktoré získame, keď sa neistota zníži 2-krát. Táto jednotka sa nazýva trocha.

V počítači sú informácie prezentované v binárnom kóde alebo v strojovom jazyku, ktorého abeceda pozostáva z dvoch číslic (0 a 1). Tieto čísla možno považovať za dva rovnako pravdepodobné stavy. Pri zápise jednej binárnej číslice je implementovaná voľba jedného z dvoch možných stavov (jeden z dvoch číslic) a teda jedna binárna číslica nesie množstvo informácie v 1 bite. Dva binárne bity nesú informáciu 2 bity, tri bity - 3 bity atď.

Teraz nastavme inverzný problém a určme: "Koľko rôznych binárnych čísel N možno zapísať pomocou I binárnych číslic?" S jednou binárnou číslicou môžete zapísať 2 rôzne čísla (N=2=2 1), s dvoma binárnymi číslicami môžete zapísať štyri binárne čísla (N=4=2 2), s tromi binárnymi číslicami môžete zapísať osem binárnych čísel čísla (N =8=2 3) atď.

Vo všeobecnom prípade môže byť počet rôznych binárnych čísel určený vzorcom

N je počet možných udalostí (pravdepodobné)!!!;

V matematike existuje funkcia, pomocou ktorej sa rieši exponenciálna rovnica, táto funkcia sa nazýva logaritmus. Riešením takejto rovnice je:

Ak udalosti ekvipravdepodobný , potom sa množstvo informácií určuje podľa tohto vzorca.

Množstvo informácií o udalostiach s rôzne pravdepodobnosti určený Shannonov vzorec :

,

kde I je množstvo informácií;

N je počet možných udalostí;

P i je pravdepodobnosť jednotlivých udalostí.

Príklad 3.4

V lotériovom bubne je 32 loptičiek. Koľko informácií obsahuje správa o prvom vyžrebovanom čísle (napr. vypadlo číslo 15)?

Riešenie:

Keďže vytiahnutie ktorejkoľvek z 32 loptičiek je rovnako pravdepodobné, množstvo informácie o jednom vypadnutom čísle sa zistí z rovnice: 2 I =32.

Ale 32=25. Preto I = 5 bitov. Je zrejmé, že odpoveď nezávisí od toho, ktoré číslo sa vyžrebuje.

Príklad 3.5

Koľko otázok stačí položiť svojmu partnerovi, aby s istotou určil mesiac, v ktorom sa narodil?

Riešenie:

12 mesiacov budeme považovať za 12 možných udalostí. Ak sa pýtate na konkrétny mesiac narodenia, možno budete musieť položiť 11 otázok (ak bolo na prvých 11 otázok zodpovedaných záporne, 12. otázka nie je potrebná, pretože bude správna).

Správnejšie je klásť „binárne“ otázky, teda otázky, na ktoré možno odpovedať iba „áno“ alebo „nie“. Napríklad: "Narodili ste sa v druhej polovici roka?". Každá takáto otázka rozdeľuje množinu možností na dve podmnožiny: jedna zodpovedá odpovedi „áno“ a druhá odpovedi „nie“.

Správnou stratégiou je klásť otázky tak, aby sa počet možných možností zakaždým znížil na polovicu. Potom bude počet možných udalostí v každej zo získaných podmnožín rovnaký a ich uhádnutie je rovnako pravdepodobné. V tomto prípade bude na každom kroku niesť odpoveď („áno“ alebo „nie“) maximálne množstvo informácie (1 bit).

Podľa vzorca 2 a pomocou kalkulačky dostaneme:

trocha.

Počet prijatých bitov informácií zodpovedá počtu položených otázok, ale počet otázok nemôže byť necelé číslo. Zaokrúhlime na väčšie celé číslo a dostaneme odpoveď: so správnou stratégiou musíte nastaviť nie viac ako 4 otázky.

Príklad 3.6

Po skúške z informatiky, ktorú absolvovali vaši priatelia, sa vyhlásia známky („2“, „3“, „4“ alebo „5“). Koľko informácií ponesie správa o hodnotení žiaka A, ktorý sa dozvedel len polovicu lístkov a správa o hodnotení žiaka B, ktorý sa dozvedel všetky lístky.

Riešenie:

Skúsenosti ukazujú, že pre študenta A sú všetky štyri známky (udalosti) rovnako pravdepodobné a množstvo informácií, ktoré správa o hodnotení obsahuje, možno vypočítať pomocou vzorca (1):

Na základe skúseností môžeme tiež predpokladať, že u žiaka B je najpravdepodobnejšia známka „5“ (p 1 = 1/2), pravdepodobnosť známky „4“ je polovičná (p 2 = 1/4) a pravdepodobnosti stupňov „2“ a“ 3“ sú stále dvakrát menšie (p 3 \u003d p 4 \u003d 1/8). Keďže udalosti nie sú rovnako pravdepodobné, na výpočet množstva informácií v správe použijeme vzorec 2:

Výpočty ukázali, že s ekvipravdepodobnými udalosťami získame viac informácií ako s neekvipravdepodobnými udalosťami.

Príklad 3.7

Nepriehľadné vrecko obsahuje 10 bielych, 20 červených, 30 modrých a 40 zelených guličiek. Koľko informácií bude obsahovať vizuálnu správu o farbe vylosovanej lopty.

Riešenie:

Keďže počet loptičiek rôznych farieb nie je rovnaký, pravdepodobnosti vizuálnych správ o farbe loptičky vybratej z vrecka sa tiež líšia a rovnajú sa počtu loptičiek danej farby vydelenému celkovým počtom loptičiek. :

Pb = 0,1; P až = 0,2; Pc = 0,3; P s \u003d 0,4.

Udalosti nie sú rovnako pravdepodobné, preto na určenie množstva informácií obsiahnutých v správe o farbe balóna používame vzorec 2:

Na výpočet tohto výrazu obsahujúceho logaritmy môžete použiť kalkulačku. I" 1,85 bitu.

Príklad 3.8

Pomocou Shannonovho vzorca je celkom jednoduché určiť, koľko bitov informácií alebo binárnych číslic je potrebných na zakódovanie 256 rôzne symboly. 256 rôznych symbolov možno považovať za 256 rôznych rovnako pravdepodobných stavov (udalostí). V súlade s pravdepodobnostným prístupom k meraniu množstva informácií je požadované množstvo informácií pre binárne kódovanie 256 znakov:

I=log 2 256=8 bitov=1 bajt

Preto je pre binárne kódovanie 1 znaku potrebný 1 bajt informácie alebo 8 bitov.

Koľko informácií obsahuje napríklad text románu Vojna a mier, Rafaelove fresky alebo ľudský genetický kód? Veda na tieto otázky nedáva odpovede a s najväčšou pravdepodobnosťou ani tak skoro nedá. Je možné objektívne zmerať množstvo informácií? Najdôležitejším výsledkom teórie informácie je nasledujúci záver: "Za určitých, veľmi širokých podmienok možno zanedbať kvalitatívne znaky informácií, vyjadriť ich množstvo ako číslo a tiež porovnať množstvo informácií obsiahnutých v rôznych skupinách údajov."

V súčasnosti sú prístupy k definícii pojmu „množstvo informácií“ založené na tom, že že informácie obsiahnuté v správe možno voľne interpretovať v zmysle ich novosti alebo, inými slovami, zníženia neistoty našich vedomostí o objekte. Tieto prístupy využívajú matematické pojmy pravdepodobnosti a logaritmu.

Už sme spomenuli, že Hartleyho vzorec je špeciálnym prípadom Shannonovho vzorca pre ekvipravdepodobné alternatívy.

Nahradenie do vzorca (1) namiesto p i jeho (v rovnako pravdepodobnom prípade, nezávisle od i) hodnotu, dostaneme:

Hartleyho vzorec teda vyzerá veľmi jednoducho:

(2)

Z toho jasne vyplýva, že čím väčší je počet alternatív ( N), tým väčšia je neistota ( H). Tieto množstvá sú vo vzorci (2) spojené nie lineárne, ale prostredníctvom binárneho logaritmu. Logaritmus na základ 2 a prináša počet možností na jednotky informácie - bity.

Všimnite si, že entropia bude celé číslo, iba ak N je mocnina 2, t.j. Ak N patrí do série: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Ryža. 10. Závislosť entropie od počtu ekvipravdepodobných volieb (ekvivalentných alternatív).

Spomeňte si, čo je logaritmus.

Ryža. 11. Nájdenie logaritmu b podľa rozumu a nachádza stupňa, na ktorú potrebujete zvýšiť a, Získať b.

Logaritmus základne 2 sa nazýva binárne:

log2(8)=3 => 23=8

log2(10)=3,32=>23,32=10

Volá sa logaritmus so základom 10 desiatkový:

log10 (100) = 2 => 102 = 100

Hlavné vlastnosti logaritmu:

log(1)=0 pretože akékoľvek číslo s nulovou mocninou dáva 1;

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(l/b)=0-log(b)=-log(b).

Na riešenie inverzných problémov, keď je známa neistota ( H) alebo množstvo informácií získaných v dôsledku ich odstránenia ( ja) a musíte určiť, koľko ekvipravdepodobných alternatív zodpovedá výskytu tejto neistoty, použite inverzný Hartleyho vzorec, ktorý vyzerá ešte jednoduchšie:

(3)

Napríklad, ak je známe, že v dôsledku určenia, že Kolja Ivanov, ktorý nás zaujíma, žije na druhom poschodí, boli prijaté 3 bity informácií, potom počet poschodí v dome možno určiť podľa vzorca (3), as N=2 3 = 8 poschodí.

Ak je otázka nasledovná: „v dome je 8 poschodí, koľko informácií sme dostali, keď sme sa dozvedeli, že Kolja Ivanov, ktorý nás zaujíma, býva na druhom poschodí?“, musíte použiť vzorec ( 2): ja= log 2 (8) = 3 bity.

1. Množstvo informácií prijatých v procese správy

Doteraz sme dali vzorce na výpočet entropie (neistoty) H, čo naznačuje H môžu byť nahradené ja, pretože množstvo prijatých informácií s úplným odstránenímneistota nejaká situácia sa kvantitatívne rovná počiatočnej entropii tejto situácie.

ale neistotu možno odstrániť len čiastočne, takže množstvo informáciíja, získaný z nejakej správy, sa vypočíta ako pokles entropie, ku ktorému došlo v dôsledku získania daný správy.

(4)

Pre ekvipravdepodobný prípad pomocou Hartleyho vzorca na výpočet entropie dostaneme:

(5)

Druhá rovnosť je odvodená na základe vlastností logaritmu. Teda v rovnako pravdepodobnom prípade ja záleží na koľko krát zmenil sa počet zvažovaných možností (zohľadnila sa rozmanitosť).

Na základe (5) môžeme odvodiť nasledovné:

Ak
, To
- úplné odstránenie neistoty, množstvo prijatých informácií v správe sa rovná neistote, ktorá existovala pred prijatím správy.

Ak
, To
- neistota sa nezmenila, preto neboli získané žiadne informácie.

Ak
, To
=>
, Ak
,
=>
. Tie. množstvo prijatých informácií bude kladné, ak sa v dôsledku prijatia správy počet zvažovaných alternatív znížil, a záporné, ak sa zvýšil.

Ak sa počet zvažovaných alternatív v dôsledku prijatia správy zníži na polovicu, t.j.
, To ja=log 2 (2) = 1 bit. Inými slovami, príjem 1 bitu informácie vylučuje polovicu ekvivalentných možností z úvahy.

Uvažujme ako príklad experiment s balíčkom 36 kariet.

Ryža. 12. Ilustrácia pre experiment s balíčkom 36 kariet.

Nech niekto vezme jednu kartu z balíčka. Zaujíma nás, ktorú z 36 kariet vytiahol. Počiatočná neistota vypočítaná podľa vzorca (2) je H= log 2 (36)  5,17 bit. Ten, kto vytiahne kartu, nám povie niektoré informácie. Pomocou vzorca (5) určíme, koľko informácií dostaneme z týchto správ:

MožnosťA. "TotomotokáraAčervená obleky”.

I=log 2 (36/18)=log 2 (2)=1 bit (v balíčku je polovica červených kariet, neistota sa znížila 2-krát).

MožnosťB. "TotomotokáraAvrchol obleky”.

I=log 2 (36/9)=log 2 (4)=2 bity (pikové karty tvoria štvrtinu balíčka, neistota sa znížila 4-krát).

Možnosť C. "Toto je jedna z najvyšších kariet: jack, dáma, kráľ alebo eso."

I=log 2 (36)–log 2 (16)=5,17-4=1,17 bitov (neistota sa znížila viac ako dvakrát, takže množstvo prijatých informácií je viac ako jeden bit).

MožnosťD. "To je jedna karta z balíčka."

I=log 2 (36/36)=log 2 (1)=0 bitov (neistota nie je znížená - správa nie je informatívna).

MožnosťD. „Toto je dámavrchol".

I = log2 (36/1) = log2 (36) = 5,17 bitov (neistota je úplne odstránená).

Je a priori známe, že lopta je v jednej z troch urien: A, B alebo C. Určte, koľko bitov informácií obsahuje správa, ktorá sa nachádza v urne B. Možnosti: 1 bit, 1,58 bit, 2 bit, 2,25 bit.

Pravdepodobnosť prvej udalosti je 0,5 a druhej a tretej 0,25. Aká je informačná entropia pre takéto rozdelenie. Možnosti: 0,5 bit, 1 bit, 1,5 bit, 2 bit, 2,5 bit, 3 bit.

Tu je zoznam zamestnancov nejakej organizácie:

Určte množstvo chýbajúcich informácií, aby ste splnili nasledujúce požiadavky:

Zavolajte Ivanovej na tel.

Mám záujem o jednu z vašich zamestnankýň, narodila sa v roku 1970.

Ktorá správa obsahuje viac informácií:

V dôsledku hodenia mince (hlavy, chvosty) vypadli chvosty.

Semafory (červená, žltá, zelená) sú teraz zelené.

V dôsledku hodu kockou (1, 2, 3, 4, 5, 6) vypadli 3 body.

Informácia bude definovaná prostredníctvom jej hlavných vlastností (pretože spolu s hmotou a energiou je primárnym pojmom nášho sveta, a preto ju nemožno definovať v užšom zmysle):

• informácie prinášajú informácie o svete okolo, ktoré pred prijatím neboli v posudzovanom bode;
• informácia nie je materiálna a nemôže existovať izolovane od formy prezentácie informácie (sekvencie signálov alebo znakov – správy);
• správy obsahujú informácie len pre tých, ktorí ich dokážu rozpoznať.

Správy obsahujú informácie nie preto, že kopírujú objekty reality, ale na základe spoločenskej dohody o spojení medzi nosičmi a predmetmi označenými týmto nosičom (napríklad slovo označuje nejaký objekt objektívnej reality). Okrem toho môžu byť nosiče vytvorené prirodzene sa vyskytujúcimi fyzikálnymi procesmi.

Aby mohla byť správa prenesená k príjemcovi, je potrebné použiť nejaký fyzický proces, ktorý sa môže šíriť od zdroja k príjemcovi správy takou či onakou rýchlosťou. Časovo premenlivý fyzikálny proces, ktorý odráža prenášanú správu, sa nazýva signál.

Na uplatnenie matematických prostriedkov na štúdium informácií je potrebné abstrahovať od významu, obsahu informácie. Tento prístup bol spoločný pre výskumníkov, ktorých sme spomenuli, pretože čistá matematika pracuje s kvantitatívnymi pomermi bez toho, aby sa zaoberala fyzikálnou povahou tých objektov, za ktorými tieto pomery stoja. Preto, ak je význam vylúčený zo správ, potom je východiskom pre hodnotenie informácií udalostí, zostáva len súbor udalostí, ktoré sa navzájom líšia, a teda aj správy o nich.

O stave niektorých predmetov nás zaujímajú tieto informácie: v ktorom zo štyroch možných stavov (tuhé, kvapalné, plynné, plazmové) sa nachádza nejaká látka? v ktorom zo štyroch odborov technickej školy študent študuje? Vo všetkých týchto prípadoch existuje neistota udalosti, ktorá nás zaujíma, charakterizovaná prítomnosťou výberu jednej zo štyroch možností. Ak ignorujeme ich význam v odpovediach na vyššie uvedené otázky, potom obe odpovede budú obsahovať rovnaké množstvo informácií, pretože každá z nich vyčleňuje jeden zo štyroch možných stavov objektu, a preto odstraňuje rovnakú neistotu správy. .

Neistota je súčasťou pojmu pravdepodobnosti. Zníženie neistoty je vždy spojené s výberom (výberom) jedného alebo viacerých prvkov (alternatív) z nejakého ich celku. Táto vzájomná reverzibilita pojmov pravdepodobnosti a neistoty slúžila ako základ pre použitie pojmu pravdepodobnosti pri meraní miery neistoty v teórii informácie. Ak predpokladáme, že ktorákoľvek zo štyroch odpovedí na otázky je rovnako pravdepodobná, potom sa jej pravdepodobnosť vo všetkých otázkach rovná 1/4 .

Rovnaká pravdepodobnosť odpovedí v tomto príklade tiež určuje rovnakú neistotu odstránenú odpoveďou v každej z dvoch otázok, čo znamená, že každá odpoveď nesie rovnakú informáciu.

Skúsme teraz porovnať nasledujúce dve otázky: v ktorom zo štyroch odborov technickej školy študent študuje? Ako padne minca, keď sa hodí: „erb“ alebo „číslo“? V prvom prípade sú možné štyri rovnako pravdepodobné odpovede, v druhom - dve. Preto je pravdepodobnosť nejakej odpovede v druhom prípade väčšia ako v prvom ( 1/2 > 1/4 ), pričom neistota odstránená odpoveďami je väčšia v prvom prípade. Akákoľvek možná odpoveď na prvú otázku odstraňuje viac neistoty ako akákoľvek odpoveď na druhú otázku. Preto odpoveď na prvú otázku prináša viac informácií! V dôsledku toho, čím nižšia je pravdepodobnosť udalosti, tým viac neistoty správa o jej výskyte odstraňuje a následne tým viac informácií nesie.

Predpokladajme, že nejaká udalosť má m rovnako pravdepodobné výsledky. Takouto udalosťou môže byť napríklad objavenie sa ľubovoľného znaku z abecedy obsahujúcej m takýchto znakov. Ako merať množstvo informácií, ktoré je možné preniesť pomocou takejto abecedy? To sa dá dosiahnuť definovaním čísla N možné správy, ktoré je možné prenášať pomocou tejto abecedy. Ak je správa vytvorená z jedného znaku, potom N=m, ak z dvoch, tak N \u003d m m \u003d m 2. Ak správa obsahuje n znakov ( n je dĺžka správy), potom N = mn. Zdá sa, že požadovaná miera množstva informácií bola nájdená. Možno ju chápať ako mieru neistoty výsledku experimentu, ak skúsenosťou rozumieme náhodný výber správy z určitého počtu možných. Toto opatrenie však nie je úplne pohodlné.

V prítomnosti abecedy pozostávajúcej z jedného znaku, t.j. Kedy m = 1, môže sa zobraziť iba tento znak. Preto v tomto prípade neexistuje žiadna neistota a vzhľad tohto symbolu nenesie žiadne informácie. Medzitým hodnota N pri m = 1 nejde na nulu. Pre dva nezávislé zdroje správ (alebo abecedu) s N 1 A N 2 počet možných správ celkový počet možných správ N = N1N2, pričom by bolo logickejšie predpokladať, že množstvo informácií získaných z dvoch nezávislých zdrojov by nemalo byť súčinom, ale súčtom jednotlivých veličín.

Našlo sa východisko R. Hartley kto ponúkol informácie ja na správu je určený logaritmom celkového počtu možných správ N:

I(N) = log N

Ak celý súbor možných správ pozostáva z jednej ( N=m=1), To

I(N) = logi = 0,

čo v tomto prípade zodpovedá nedostatku informácií. V prítomnosti nezávislých zdrojov informácií s N 1 A N 2 počet možných správ

I (N) \u003d log N \u003d log N 1 N 2 \u003d log N 1 + log N 2

tie. množstvo informácií na správu sa rovná súčtu množstiev informácií, ktoré by boli prijaté z dvoch nezávislých zdrojov, braných oddelene.

Navrhnutý vzorec Hartley, spĺňa požiadavky. Preto sa dá použiť na meranie množstva informácií. Ak je možnosť výskytu ktoréhokoľvek znaku abecedy ekvipravdepodobná (a doteraz sme predpokladali, že áno), potom táto pravdepodobnosť p = 1/m. Za predpokladu, že N=m, dostaneme

I = log N = log m = log (1/p) = – log p,

Výsledný vzorec umožňuje v niektorých prípadoch určiť množstvo informácií. Pre praktické účely je však potrebné špecifikovať jednotku jeho merania. Aby ste to dosiahli, predpokladajme, že informácia je odstránená neistota. Potom sa v najjednoduchšom prípade neistoty vyberie medzi dvoma navzájom sa vylučujúcimi rovnako pravdepodobnými správami, napríklad medzi dvoma kvalitatívnymi znakmi: pozitívnym a negatívnym impulzom, impulzom a pauzou atď.

Množstvo prenášaných informácií sa v tomto najjednoduchšom prípade považuje za jednotku množstva informácií. Výsledná jednotka množstva informácie, ktorá je výberom dvoch rovnako pravdepodobných udalostí, sa nazýva binárna jednotka alebo bit. (Názov trocha vytvorené z dvoch začiatočných a posledných písmen anglického výrazu binárna jednotka, čo znamená binárnu jednotku.)

Bit nie je len jednotkou množstva informácie, ale aj jednotkou miery neistoty. To sa týka neistoty, ktorá je obsiahnutá v jednom experimente, ktorý má dva rovnako pravdepodobné výsledky. Množstvo prijatých informácií zo správy je ovplyvnené faktorom prekvapenia pre príjemcu, ktorý závisí od pravdepodobnosti prijatia konkrétnej správy. Čím je táto pravdepodobnosť nižšia, tým je správa neočakávanejšia, a teda aj informatívnejšia. Správa, pravdepodobnosť

ktorých stupeň prekvapenia je vysoký, a teda nízky, prináša málo informácií.

R. Hartley pochopili, že správy majú rôzne pravdepodobnosti, a preto neočakávanosť ich objavenia pre príjemcu nie je rovnaká. No vyčíslením množstva informácií sa snažil úplne eliminovať faktor „prekvapenia“. Preto vzorec Hartley umožňuje určiť množstvo informácií v správe len pre prípad, keď je výskyt symbolov rovnako pravdepodobný a sú štatisticky nezávislé. V praxi tieto podmienky

málokedy vykonávaná. Pri určovaní množstva informácií je potrebné brať do úvahy nielen počet rôznych správ, ktoré je možné zo zdroja prijať, ale aj pravdepodobnosť ich prijatia.

Najpoužívanejším prístupom pri určovaní priemerného množstva informácií obsiahnutých v správach zo zdrojov veľmi odlišného charakteru je prístup. TO Shannon.

Zvážte nasledujúcu situáciu. Zdroj prenáša elementárne signály k rôzne druhy. Sledujme pomerne dlhú časť správy. Nechajte to tak N 1 signály prvého typu, N 2 signály druhého typu, ..., Nk signály k-tý typ a N1 + N2 + ... + Nk = N je celkový počet signálov v sledovanom segmente, f 1, f 2, ..., f k sú frekvencie zodpovedajúcich signálov. S narastajúcou dĺžkou segmentu správy má každá z frekvencií tendenciu k pevnej hranici, t.j.

lim f i = pi, (i = 1, 2, ..., k),

Kde p i možno považovať za pravdepodobnosť signálu. Predpokladajme, že je prijatý signál i-tý typ s pravdepodobnosťou p i obsahujúce - log p i jednotky informácií. V posudzovanej časti i-tý signál sa stretne približne Np i krát (budeme predpokladať, že N dostatočne veľké) a všeobecné informácie dodaný signálmi tohto typu sa bude rovnať produktu Np i log p i. To isté platí pre signály akéhokoľvek iného typu, teda celkové množstvo informácií dodaných segmentom z N signály budú približne rovnaké. Na určenie priemerného množstva informácií na signál, t.j. špecifický informačný obsah zdroja, musíte toto číslo vydeliť N. Pri neobmedzenom raste sa približná rovnosť zmení na presnú.

V dôsledku toho sa získa asymptotický vzťah - vzorec Shannon. Ukázalo sa, že vzorec navrhol Hartley, je špeciálny prípad viac všeobecný vzorec Shannon.

Okrem tohto vzorca Shannon navrhol abstraktnú komunikačnú schému pozostávajúcu z piatich prvkov (zdroj informácií, vysielač, komunikačná linka, prijímač a adresát) a formuloval vety o šírku pásma, odolnosť proti hluku, kódovanie atď.

60. Meranie informácií - pravdepodobnostný a abecedný prístup. Vzorce Hartley, Shannon. Príklad vPANINaprsel.

Z hľadiska informácie, od odstránenej neistoty, množstvo informácií v správe o nejakej udalosti závisí od pravdepodobnosti tejto udalosti.

Vedecký prístup k hodnoteniu správ navrhol už v roku 1928 R. Hartley. Odhadovaný Hartleyho vzorec pre nepravdepodobné udalosti vyzerá ako:

ja = log 2 Nalebo 2ja = N,

kde N je číslo ekvipravdepodobný udalosti (počet možných volieb), I - množstvo informácií.

Ak N = 2 (výber z dvoch možností), potom I = 1 bit.

Príklad 1 Použitie Hartleyho vzorca na výpočet množstva informácií. Koľko bitov informácií obsahuje správa?

prichádza vlak po jednej z 8 koľají?

Hartleyho vzorec: ja = log 2 N,

kde N je počet ekvipravdepodobných výsledkov udalosti uvedenej v správe,

I je množstvo informácií v správe.

I = log 2 8 = 3 (bity) Odpoveď: 3 bity.

Upravený Hartleyho vzorec pre nejednotné udalosti. Pretože výskyt každej z N možných udalostí má rovnakú pravdepodobnosť

p = 1 / N, To N = 1 / p a vzorec vyzerá

I = log 2 N = log 2 (1/p) = - log 2 p

Kvantitatívny vzťah medzi pravdepodobnosťou udalosti (p) a množstvom informácií v správe o nej (I) vyjadruje vzorec:

ja = log 2 (1/ p)

Pravdepodobnosť udalosti sa vypočíta podľa vzorca p= K/ N, K je hodnota, ktorá ukazuje, koľkokrát došlo k udalosti, ktorá nás zaujíma; N je celkový počet možných výsledkov, udalostí. Ak sa pravdepodobnosť zníži, množstvo informácií sa zvýši.

Príklad 2 V triede je 30 ľudí. vzadu test z matematiky sa dostalo 6 pätiek, 15 štvoriek, 8 trojíc a 1 dvojka. Koľko bitov informácií obsahuje správa, že Ivanov dostal štvorku?

Odpoveď: 1 bit.

Pomocou Shannonovho vzorca. Všeobecný prípad výpočtu množstva informácií v správe o jednej z N, ale nie rovnako pravdepodobných udalostí. Tento prístup navrhol v roku 1948 K. Shannon.

Základné informačné jednotky:

jaSt= -

Význam jaSt pi= 1 / N.

Príklad 3 Koľko bitov informácií obsahuje náhodne vygenerovaná správa „svetlomet“, ak sa v priemere na každých tisíc písmen v ruských textoch vyskytuje písmeno „a“ 200-krát, písmeno „f“ - 2-krát, písmeno „r“ - 40 krát.

Budeme predpokladať, že pravdepodobnosť výskytu znaku v správe sa zhoduje s frekvenciou jeho výskytu v textoch. Preto sa písmeno "a" vyskytuje s priemernou frekvenciou 200/1000=0,2; Pravdepodobnosť výskytu písmena „a“ v texte (p a) možno považovať za približne rovnú 0,2;

písmeno "f" sa vyskytuje s frekvenciou 2/1000=0,002; písmeno "p" - s frekvenciou 40/1000 = 0,04;

Podobne p p = 0,04, p f = 0,002. Potom postupujeme podľa K. Shannona. Zoberieme binárny logaritmus s hodnotou 0,2 a získanú informáciu nazveme množstvom informácií, ktoré v uvažovanom texte nesie jediné písmeno „a“. Pre každé písmeno urobíme rovnakú operáciu. Potom sa množstvo správnych informácií prenášaných jedným písmenom rovná log 2 1/ pi = - log 2 pi, Ako meradlo množstva informácie je vhodnejšie použiť priemernú hodnotu množstva informácií na jeden znak abecedy.

jaSt= -

Význam jaSt dosahuje maximum pre rovnako pravdepodobné udalosti, teda keď všetky p i

pi= 1 / N.

V tomto prípade sa Shannonov vzorec zmení na Hartleyho vzorec.

I = M*I cf = 4*(-(0,002*log2 0,002+0,2* log2 0,2+0,04* log2 0,04+0,2* log2 0,2))= 4*(-(0,002*(-8,967)+ 0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0,46-0,19-0,46))=4*1,1325=4,53

Odpoveď: 4,53 bitov

Abecedný prístup k meraniu informácií

V technike sa používa abecedný prístup, v tomto prípade množstvo informácií nezávisí od obsahu, ale závisí od sily abecedy a počtu znakov v texte.

Pre kódovanie ASCII - mocnina abecedy=256

I=log 2 256=8(bit); Pri kódovaní informácií o znakoch v kódoch je každý znak vrátane medzier a interpunkčných znamienok zakódovaný 1 bajtom (8 bitov).

Jednotky merania informácií vo výpočtovej technike

1 bit (technický prístup)	minimálna jednotka informácie	množstvo informácií sa meria iba celočíselným počtom bitov
1 kB (kilobajt)	2 10 bajtov = 1024 bajtov	~ 1 tisíc bajtov
1 MB (megabajt)	2 10 KB = 2 20 bajtov	~ 1 milión bajtov
1 GB (gigabajt)	2 10 MB = 2 30 bajtov	~ 1 miliarda bajtov

• 3. Technológie prenosu dát. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Zariadenia brány: opakovače, mosty, smerovače, brány. Metódy prepínania a smerovania. Spôsoby, ako zlepšiť výkon siete
• 5. Peer-to-peer a serverové siete: porovnávacie charakteristiky. Hlavné typy špecializovaných serverov.
• 6. Technologický základ internetu. Adresovací systém (IP adresy, názvy domén, DNS systém). Základné komunikačné protokoly v sieti.
• 7. Základné užívateľské technológie pre prácu na internete. WWW, FTP, TELNET, E-MAIL. Hľadajte informácie na internete.
• 9. Databázy: dáta, dátový model, databáza, systém správy databáz, informačný systém. dátové modely. Relačný dátový model.
• 12. Návrh informačných systémov. Modely štruktúry a životného cyklu.
• 13. Modelovanie a reprezentácia štruktúry podniku. Diagramy IDEF0.
• 14. Modelovanie a prezentácia dátových tokov. DFD diagramy.
• 16. Expertné systémy (ES): koncepcia, účel, architektúra, charakteristické črty. ES klasifikácia. Etapy vývoja ES.
• 17. Znalostné bázy expertných systémov. Metódy reprezentácie znalostí: logické modely, produkčné pravidlá, rámce, sémantické siete.
• 18 Vedomosti. Druhy vedomostí. Metódy získavania vedomostí: komunikatívne, textologické.
• 19 Programovacie jazyky, ich charakteristika (Prolog, Delphi, C++).
• 20. Programovacie jazyky, ich vlastnosti (PHP, Perl, JavaScript).
• 21. Ciele, zámery, princípy a hlavné smery zabezpečenia informačnej bezpečnosti Ruskej federácie. Právna, organizačná, inžinierska a technická ochrana informácií.
• 22. Elektronické publikácie: koncepcia, kompozícia. EI klasifikácia. Registrácia EI.
• 23. Informačné zdroje: koncepcia, kompozícia. Štátne informačné zdroje.
• 24. Operačný systém osobného počítača ako prostriedok riadenia zdrojov (na príklade študovaného OS). Štruktúra OS a komponenty.
• 25. Škodlivý softvér: klasifikácia, metódy detekcie a odstraňovania.
• 26 Štruktúra webových aplikácií. HTTP protokol. Cookie. Funkcie webovej aplikácie. CGI protokol.
• 27 Zabezpečenie spoľahlivosti IS. transakcií. OLTP systémy.
• 28. Ergonomické ciele a ukazovatele kvality softvérového produktu.
• 31.Informačný manažment: pojem a hlavné funkcie.
• 33 Štandardizácia softvéru. Štandardy softvérovej dokumentácie.
• 34. Hodnotenie kvalitatívnych a kvantitatívnych charakteristík informačných systémov. Modely na hodnotenie charakteristík spoľahlivosti softvéru a informačnej podpory. Základné pojmy, ukazovatele a metódy na zabezpečenie spoľahlivosti informačných systémov.
• 36. Charakteristiky implementácie inovačných programov v oblasti informatizácie (charakteristiky informačnej politiky v oblasti informatizácie, zásady tvorby projektov a implementácie IP, riadenie projektov informatizácie).

Tento vzorec, podobne ako vzorec Hartley, sa používa v informatike na výpočet celkového množstva informácií pre rôzne pravdepodobnosti.

Príkladom rôznych nerovnakých pravdepodobností je odchod ľudí z kasární vo vojenskom útvare. Z kasární môže odísť vojak, dôstojník a dokonca aj generál. Ale rozmiestnenie vojakov, dôstojníkov a generálov v kasárňach je iné, čo je zrejmé, pretože tam bude najviac vojakov, potom prídu dôstojníci a najvzácnejším typom budú generáli. Keďže pravdepodobnosti nie sú rovnaké pre všetky tri typy armády, aby bolo možné vypočítať, koľko informácií takáto udalosť zaberie a použije Shannonov vzorec.

Pre iné rovnako pravdepodobné udalosti, ako je napríklad hod mincou (pravdepodobnosť, že hlavy alebo chvosty budú rovnaké – 50 %), sa používa Hartleyho vzorec.

Teraz sa pozrime na aplikáciu tohto vzorca na konkrétnom príklade:

Ktorá správa obsahuje najmenej informácií (počítajte v bitoch):

1. Vasilij zjedol 6 sladkostí, z toho 2 čučoriedky.
2. V počítači je 10 priečinkov, požadovaný súbor bol nájdený v 9. priečinku.
3. Baba Ľuda urobila 4 mäsové koláče a 4 kapustové koláče. Gregory zjedol 2 koláče.
4. V Afrike je 200 dní suchého počasia a 165 dní monzúnov. Afričan lovil 40 dní v roku.

V tomto probléme venujeme pozornosť možnosti 1, 2 a 3, tieto možnosti je ľahké zvážiť, pretože udalosti sú rovnako pravdepodobné. A na to použijeme Hartleyho vzorec I = log 2 N(Obr. 1) Ale so 4. bodom, kde je zrejmé, že rozdelenie dní nie je rovnomerné (prevaha smerom k suchému počasiu), čo by sme potom mali robiť v tomto prípade? Pre takéto udalosti sa používa Shannonov vzorec alebo informačná entropia: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + ... + p N log 2 p N),(obr.3)

VZOREC PRE MNOŽSTVO INFORMÁCIÍ (VZOREC HARTLEY, OBR. 1)

kde:

• I - množstvo informácií
• p je pravdepodobnosť, že tieto udalosti nastanú

Udalosti, ktoré nás v našom probléme zaujímajú, sú

1. Boli tam dva čučoriedky zo šiestich (2/6)
2. Bol jeden priečinok, v ktorom bol požadovaný súbor nájdený vo vzťahu k celkovému počtu (1/10)
3. Celkovo bolo osem koláčov, z ktorých Gregory zjedol dva (2/8)
4. a posledných štyridsať dní lovu vo vzťahu k dvesto suchým dňom a štyridsať dní lovu k sto šesťdesiatim piatim daždivým dňom. (40/200) + (40/165)

tak dostaneme:

VZOREC PRAVDEPODOBNOSTI PRE UDALOSŤ.

Tam, kde K je udalosť, ktorá nás zaujíma, a N je celkový počet týchto udalostí, tiež si overte, že pravdepodobnosť udalosti nemôže byť väčšia ako jedna. (pretože vždy existujú menej pravdepodobné udalosti)

SHANNONOVÝ VZOREC PRE INFORMÁCIE O POČÍTANÍ (OBR. 3)

Vráťme sa k našej úlohe a vypočítajme, koľko informácií obsahuje.

Mimochodom, pri výpočte logaritmu je vhodné použiť stránku - https://planetcalc.ru/419/#

• Pre prvý prípad - 2/6 = 0,33 = a ďalej Log 2 0,33 = 1,599 bitov
• V druhom prípade - 1/10 = 0,10 Log 2 0,10 = 3,322 bitov
• Pre tretí - 2/8 = 0,25 = Log 2 0,25 = 2 bity
• Pre štvrtý - 40/200 + 40/165 = 0,2, respektíve 0,24, potom vypočítame podľa vzorca - (0,2 * log 2 0,2) + - (o,24 * log 2 0,24) = 0,95856 bitov

Tak sa ukázala odpoveď na náš problém 4.