Az amerikai mérnök, R. Hartley 1928-ban úgy tekintett az információszerzés folyamatára, mint egy üzenet kiválasztására egy véges, előre meghatározott, N egyenlő valószínűségű üzenetből álló halmazból. információ mennyiségét A kiválasztott üzenetben szereplő I-t N bináris logaritmusaként határoztuk meg.

Hartley formula: I = log 2 N vagy N = 2 i

Tegyük fel, hogy egy számot kell kitalálnia egytől százig terjedő számkészletből. A Hartley-képlet segítségével kiszámíthatja, hogy mennyi információra van szükség ehhez: I \u003d log 2 100\u003e 6.644. Így egy helyesen kitalált számról szóló üzenet körülbelül 6,644 információegységnek megfelelő mennyiségű információt tartalmaz.

Íme néhány további példa kiegyensúlyozott üzenetek :

1. érmefeldobásnál: „kiesett a farok”, „kiesett a farok”;

2. a könyv oldalán: „a betűk száma páros”, „a betűk száma páratlan”.

Most határozzuk meg, hogy vajon kiegyensúlyozott üzenetek « a nő lesz az első, aki elhagyja az épület ajtaját"és „A férfi lesz az első, aki elhagyja az épület ajtaját". Erre a kérdésre nem lehet egyértelműen válaszolni. Minden attól függ, hogy milyen épületről beszélünk. Ha ez például egy metróállomás, akkor annak a valószínűsége, hogy először menjen ki az ajtón egy férfi és egy nő esetében, és ha ez egy katonai laktanya, akkor ez a valószínűség sokkal nagyobb egy férfinál, mint egy nő.

Az ilyen jellegű problémákra Claude Shannon amerikai tudós 1948-ban egy másik formulát javasolt az információ mennyiségének meghatározása, figyelembe véve a halmazban lévő üzenetek lehetséges egyenlőtlen valószínűségét .

Shannon formula: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),

ahol p i annak a valószínűsége, hogy pontosan i-edik üzenet kiválasztva egy N üzenetből álló csoportban.

Könnyen belátható, hogy ha a p 1 , ..., p N valószínűségek egyenlőek, akkor mindegyik egyenlő 1/N-nel, és Shannon képlete Hartley formulává változik.

Az információmennyiség meghatározásának két megfontolt megközelítésén kívül más is létezik. Fontos megjegyezni, hogy bármely elméleti eredmény csak az esetek bizonyos körére alkalmazható, a kezdeti feltételezések szerint.

Mint információs egységeket Claude Shannon felajánlotta, hogy vesz egyet bit(angol bit - bináris számjegy - bináris számjegy).

Bit információelméletben - két egyformán valószínű üzenet (például "fejek" - "farok", "páros" - "páratlan" stb.) megkülönböztetéséhez szükséges információ mennyisége.

NÁL NÉL Számítástechnika A bit a számítógépmemória legkisebb „része”, amely az adatok és parancsok gépen belüli megjelenítéséhez használt „0” és „1” karakterek egyikének tárolásához szükséges.

A bit túl kicsi mértékegység. A gyakorlatban gyakrabban használnak nagyobb egységet - byte egyenlő nyolc bittel. Nyolc bit szükséges a számítógép billentyűzet ábécéjének 256 karakterének bármelyikének kódolásához (256=28).

Még nagyobb származtatott információs egységeket is széles körben használnak:

1 kilobyte (KB) = 1024 bájt = 210 bájt,

1 megabájt (MB) = 1024 KB = 220 bájt,

1 Gigabyte (GB) = 1024 MB = 230 bájt.

A közelmúltban a feldolgozott információ mennyiségének növekedése miatt olyan származtatott egységek, mint:

1 terabájt (TB) = 1024 GB = 240 bájt,

1 petabájt (PB) = 1024 TB = 250 bájt.

Egy információegységhez meg lehet választani, hogy mennyi információ szükséges például tíz egyformán valószínű üzenet megkülönböztetéséhez. Nem bináris (bit), hanem decimális ( dit) információegység.

Az üzenetben található információ mennyiségét az határozza meg, hogy az üzenet mennyi tudást hordoz az üzenetet fogadó személyhez. Az üzenet információkat tartalmaz egy személy számára, ha az abban található információ új és érthető az adott személy számára, és ezért kiegészíti tudását.

Az információ, amelyet egy személy kap, a tudás bizonytalanságát csökkentő intézkedésnek tekinthető. Ha egy bizonyos üzenet tudásunk bizonytalanságának csökkenéséhez vezet, akkor azt mondhatjuk, hogy egy ilyen üzenet információt tartalmaz.

Az információ mennyiségének mértékegysége az az információmennyiség, amelyet akkor kapunk, ha a bizonytalanságot kétszeresére csökkentjük. Ezt az egységet hívják bit.

A számítógépben az információ bináris kódban vagy gépi nyelven jelenik meg, melynek ábécéje két számjegyből (0 és 1) áll. Ezek a számok két kiegyenlített állapotnak tekinthetők. Egy bináris számjegy írásakor a két lehetséges állapot közül az egyik (két számjegy közül az egyik) valósul meg, és ezért egy bináris számjegy 1 bitben hordozza az információ mennyiségét. Két bináris bit 2 bites információt hordoz, három bit - 3 bit stb.

Állítsuk be most az inverz problémát, és határozzuk meg: „Hány különböző N bináris szám írható fel I bináris számjegyekkel?” Egy bináris számjeggyel 2 különböző szám írható (N=2=2 1), két bináris számjeggyel négy bináris szám (N=4=2 2), három bináris számjeggyel nyolc bináris szám írható. számok (N =8=2 3) stb.

Általános esetben a különböző bináris számok száma a képlettel határozható meg

N a lehetséges események száma (azonos valószínűségű)!!!;

A matematikában van egy függvény, amellyel exponenciális egyenletet oldanak meg, ezt a függvényt logaritmusnak nevezzük. Egy ilyen egyenlet megoldása a következő:

Ha események azonos valószínűségű , akkor ez a képlet határozza meg az információ mennyiségét.

Az információk mennyisége az eseményekhez különböző valószínűségek határozza meg Shannon képlete :

,

ahol I az információ mennyisége;

N a lehetséges események száma;

P i az egyes események valószínűsége.

Példa 3.4

32 golyó van a lottódobban. Mennyi információt tartalmaz az üzenet az elsőként kihúzott számról (például kiesett a 15-ös)?

Megoldás:

Mivel a 32 golyó bármelyikének húzása egyformán valószínű, az egy kiejtett szám információmennyisége az egyenletből adódik: 2 I =32.

De 32=25. Ezért I=5 bit. Nyilvánvalóan a válasz nem attól függ, hogy melyik számot húzzuk.

Példa 3.5

Hány kérdést elég feltenni beszélgetőpartnerének, hogy biztosan meghatározza, melyik hónapban született?

Megoldás:

A 12 hónapot 12 lehetséges eseménynek tekintjük. Ha a születés egy adott hónapjáról kérdez, akkor lehet, hogy 11 kérdést kell feltennie (ha az első 11 kérdésre nemleges volt a válasz, akkor a 12. kérdés nem szükséges, mert az lesz a helyes).

Helyesebb "bináris" kérdéseket feltenni, vagyis olyan kérdéseket, amelyekre csak "igen" vagy "nem" adható válasz. Például: "Az év második felében születtél?". Minden ilyen kérdés két részhalmazra osztja a lehetőségeket: az egyik az „igen”, a másik a „nem” válasznak felel meg.

A helyes stratégia az, ha úgy teszünk fel kérdéseket, hogy a lehetséges opciók száma minden alkalommal felére csökken. Ekkor a lehetséges események száma az egyes kapott részhalmazokban azonos lesz, és a kitalálásuk is egyformán valószínű. Ebben az esetben minden lépésnél a válasz („igen” vagy „nem”) érvényesül maximális összeget információ (1 bit).

A 2. képlet szerint és egy számológép segítségével a következőket kapjuk:

bit.

A kapott információbitek száma megfelel a feltett kérdések számának, de a kérdések száma nem lehet nem egész szám. Felkerekítünk egy nagyobb egész számra, és megkapjuk a választ: megfelelő stratégiával be kell állítani legfeljebb 4 kérdés.

Példa 3.6

Az ismerősei által letett számítástechnika vizsga után kihirdetik az osztályzatokat ("2", "3", "4" vagy "5"). Mennyi információt hordoz majd az A tanuló értékeléséről szóló üzenet, aki csak a jegyek felét tanulta meg, és a B tanuló értékeléséről szóló üzenet, aki az összes jegyet megtanulta.

Megoldás:

A tapasztalatok azt mutatják, hogy az A tanuló esetében mind a négy érdemjegy (esemény) egyformán valószínű, így az (1) képlet segítségével kiszámítható, hogy az érdemjegyüzenet mekkora információmennyiséget hordoz:

A tapasztalatok alapján azt is feltételezhetjük, hogy a B tanuló esetében a legvalószínűbb osztályzat az "5" (p 1 = 1/2), a "4" érdemjegy valószínűsége feleannyi (p 2 = 1/4) , és a "2" és "3" fokozatok valószínűsége még mindig kétszer kisebb (p 3 \u003d p 4 \u003d 1/8). Mivel az események nem egyformán valószínűek, a 2-es képlet segítségével számítjuk ki az üzenetben lévő információ mennyiségét:

A számítások azt mutatják, hogy a kiegyenlített eseményekkel több információt kapunk, mint a nem valószínű eseményekkel.

Példa 3.7

Egy átlátszatlan zacskó 10 fehér, 20 piros, 30 kék és 40 zöld golyót tartalmaz. Mennyi információ tartalmaz majd vizuális üzenetet a rajzolt labda színéről.

Megoldás:

Mivel a különböző színű golyók száma nem azonos, a zsákból kivett labda színére vonatkozó vizuális üzenetek valószínűsége is különbözik, és megegyezik az adott színű golyók számának és a golyók teljes számának a számával. :

Pb = 0,1; P = 0,2; Pc=0,3; P s \u003d 0,4.

Az események nem egyformán valószínűek, ezért az üzenetben található információ mennyiségének meghatározásához a ballon színéről a 2-es képletet használjuk:

Számológép segítségével kiszámíthatja ezt a logaritmusokat tartalmazó kifejezést. I" 1,85 bit.

Példa 3.8

Shannon képletével nagyon egyszerű meghatározni, hogy hány bit információra vagy bináris számjegyre van szükség a 256 kódolásához különféle karakterek. 256 különböző szimbólum tekinthető 256 különböző egyformán valószínű állapotnak (eseménynek). Az információmennyiség mérésének valószínűségi megközelítésével összhangban a 256 karakteres bináris kódoláshoz szükséges információmennyiség:

I=log 2 256=8 bit=1 bájt

Ezért 1 karakter bináris kódolásához 1 bájt információ vagy 8 bit szükséges.

Mennyi információt tartalmaz például a Háború és béke című regény szövege, Rafael freskói vagy az emberi genetikai kód? A tudomány nem ad választ ezekre a kérdésekre, és minden valószínűség szerint hamarosan nem is fog. Lehetséges-e objektíven mérni az információ mennyiségét? Az információelmélet legfontosabb eredménye a következő következtetés: „Bizonyos, nagyon tág feltételek mellett elhanyagolható az információ minőségi jellemzői, mennyiségét számokkal fejezhetjük ki, és a különböző adatcsoportokban található információ mennyiségét is összehasonlíthatjuk.”

Jelenleg az „információ mennyisége” fogalmának meghatározását azon a tényen alapulnak, hogy hogy az üzenetben rejlő információ lazán értelmezhető újdonsága vagy más szóval a tárgyról szerzett ismereteink bizonytalanságát csökkentő értelemben. Ezek a megközelítések a valószínűség és a logaritmus matematikai fogalmait használják.

Korábban már említettük, hogy a Hartley-képlet a Shannon-féle kiegyenlített alternatívák képletének speciális esete.

Helyettesítés az (1) képletbe p én annak (feltehető esetben független a én) értéket kapunk:

Így Hartley képlete nagyon egyszerűnek tűnik:

(2)

Ebből egyértelműen következik, hogy minél több az alternatíva ( N), annál nagyobb a bizonytalanság ( H). Ezeket a mennyiségeket a (2) képletben nem lineárisan, hanem bináris logaritmuson keresztül viszonyítjuk. A logaritmus a 2. bázisra, és az opciók számát információegységekre - bitekre - hozza.

Vegye figyelembe, hogy az entrópia csak akkor lesz egész szám, ha N 2 hatványa, azaz. ha N sorozathoz tartozik: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Rizs. 10. Az entrópia függése az ekvivalens választások számától (ekvivalens alternatívák).

Emlékezzünk vissza, mi a logaritmus.

Rizs. 11. A logaritmus keresése bésszel a talál fokon, amelyre fel kell emelni a, Megszerezni b.

A 2-es alapú logaritmus ún bináris:

log 2 (8)=3 => 2 3 =8

log 2 (10) = 3,32 => 2 3,32 = 10

A 10-es bázis logaritmusát nevezzük decimális:

log 10 (100) = 2 => 10 2 = 100

A logaritmus főbb tulajdonságai:

log(1)=0 mert a nulla hatványhoz tartozó bármely szám 1-et ad;

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Inverz problémák megoldása, ha a bizonytalanság ismert ( H) vagy az eltávolítás eredményeként megszerzett információ mennyisége ( én), és meg kell határoznia, hogy hány kiegyenlíthető alternatíva felel meg ennek a bizonytalanságnak, használja a fordított Hartley-képletet, amely még egyszerűbbnek tűnik:

(3)

Például, ha ismert, hogy annak megállapítása eredményeként, hogy a számunkra érdekes Kolja Ivanov a második emeleten lakik, 3 bit információ érkezett, akkor a ház emeleteinek száma képlettel határozható meg. (3), mint N=2 3 =8 emelet.

Ha a kérdés a következő: „8 emelet van a házban, mennyi információt kaptunk, amikor megtudtuk, hogy a második emeleten lakik a számunkra érdekes Kolja Ivanov?”, akkor képletet kell használnia ( 2): én= log 2 (8)=3 bit.

1. Az üzenetküldési folyamat során kapott információ mennyisége

Eddig képleteket adtunk az entrópia (bizonytalanság) kiszámítására H, jelezve ezt H helyettesíthetik őket én, mert a kapott információ mennyisége teljes eltávolításávalbizonytalanság néhány helyzet mennyiségileg megegyezik ennek a helyzetnek a kezdeti entrópiájával.

De a bizonytalanság csak részben távolítható el, tehát az információ mennyiségeén, amely valamilyen üzenetből származik, a következőképpen kerül kiszámításra megszerzése következtében bekövetkezett entrópia csökkenés adott üzenetek.

(4)

Egy valószínű esetre, a Hartley-képlet segítségével az entrópia kiszámításához a következőket kapjuk:

(5)

A második egyenlőséget a logaritmus tulajdonságai alapján vezetjük le. Így a kiegyensúlyozott esetben én attól függ hányszor a mérlegelt választási lehetőségek száma megváltozott (a figyelembe vett sokféleség).

Az (5) alapján a következőkre következtethetünk:

Ha egy
, akkor
- a bizonytalanság teljes megszüntetése, az üzenetben kapott információ mennyisége megegyezik az üzenet beérkezése előtti bizonytalansággal.

Ha egy
, akkor
- a bizonytalanság nem változott, ezért nem kaptunk információt.

Ha egy
, akkor
=>
, ha
,
=>
. Azok. a kapott információ mennyisége akkor lesz pozitív, ha az üzenet fogadása következtében a mérlegelt alternatívák száma csökkent, és negatív, ha nőtt.

Ha az üzenet kézhezvétele következtében felére csökken a mérlegelt alternatívák száma, pl.
, akkor I=log 2 (2) = 1 bit. Más szóval, 1 bit információ fogadása kizárja az egyenértékű opciók felét a mérlegelésből.

Tekintsünk példának egy kísérletet egy 36 lapból álló paklival.

Rizs. 12. Illusztráció egy kísérlethez egy 36 lapból álló paklival.

Hadd vegyen valaki egy lapot a pakliból. Érdeklődünk, hogy a 36 kártya közül melyiket vette elő. A (2) képlettel számított kezdeti bizonytalanság az H= log 2 (36)  5,17 bites. A kártya felhúzója elmond nekünk néhány információt. Az (5) képlet segítségével meghatározzuk, hogy mennyi információt kapunk ezekből az üzenetekből:

választási lehetőségA. "Aztgokartapiros ruhák”.

I=log 2 (36/18)=log 2 (2)=1 bit (fél piros lap van a pakliban, a bizonytalanság 2-szeresére csökkent).

választási lehetőségB. "Aztgokartacsúcs ruhák”.

I=log 2 (36/9)=log 2 (4)=2 bit (a pikk lapjai a pakli negyedét teszik ki, a bizonytalanság 4-szeresére csökkent).

Opció C. "Ez az egyik legmagasabb lap: bubi, dáma, király vagy ász."

I=log 2 (36)–log 2 (16)=5,17-4=1,17 bit (a bizonytalanság több mint kétszeresére csökkent, így a kapott információ mennyisége több mint egy bit).

választási lehetőségD. – Ez az egyik kártya a pakliból.

I=log 2 (36/36)=log 2 (1)=0 bit (a bizonytalanság nincs csökkentve – az üzenet nem tájékoztató jellegű).

választási lehetőségD. „Ez egy hölgycsúcs".

I = log 2 (36/1) = log 2 (36) = 5,17 bit (a bizonytalanság teljesen megszűnik).

Előzetesen ismert, hogy a labda a három urnában van: A, B vagy C. Határozza meg, hány bit információt tartalmaz az üzenet, hogy a B urnában van. Opciók: 1 bit, 1,58 bit, 2 bit, 2,25 bit.

Az első esemény valószínűsége 0,5, a második és a harmadiké 0,25. Mi az információs entrópia egy ilyen eloszlásnál. Opciók: 0,5 bit, 1 bit, 1,5 bit, 2 bit, 2,5 bit, 3 bit.

Íme néhány szervezet alkalmazottainak listája:

Határozza meg a hiányzó információk mennyiségét az alábbi kérések teljesítéséhez:

Kérem, hívja Ivanovát telefonon.

Érdekel az egyik alkalmazottja, 1970-ben született.

Melyik üzenet tartalmaz több információt:

Az érme feldobása következtében (fejek, farok) farok esett ki.

A közlekedési lámpák (piros, sárga, zöld) most zöldek.

Kockadobás (1, 2, 3, 4, 5, 6) eredményeként 3 pont esett ki.

Az információt a fő tulajdonságain keresztül határozzuk meg (mivel az anyaggal és az energiával együtt ez világunk elsődleges fogalma, ezért nem határozható meg szoros értelemben):

• az információ olyan információt hoz a körülötte lévő világról, amely a megérkezés előtt nem volt a vizsgált ponton;
• az információ nem lényeges, és nem létezhet az információ-megjelenítés formájától (jelek vagy jelek sorozatai - üzenetek) elszigetelten;
• az üzenetek csak azok számára tartalmaznak információt, akik képesek felismerni.

Az üzenetek nem azért tartalmaznak információkat, mert a valóság tárgyait másolják, hanem a hordozók és az e hordozó által kijelölt objektumok közötti kapcsolat társadalmi megállapodása alapján (például egy szó az objektív valóság valamely tárgyát jelöli). Ezenkívül a természetben előforduló fizikai folyamatok során hordozók keletkezhetnek.

Ahhoz, hogy az üzenet a címzetthez eljuthasson, szükség van valamilyen fizikai folyamatra, amely ilyen vagy olyan sebességgel tud terjedni a forrástól az üzenet címzettjéig. Az időben változó fizikai folyamatot, amely a továbbított üzenetet tükrözi, jelnek nevezzük.

Ahhoz, hogy matematikai eszközöket alkalmazhassunk az információ tanulmányozására, elvonatkoztatni kell az információ jelentésétől, tartalmától. Ez a megközelítés közös volt az általunk említett kutatókban, mivel a tiszta matematika kvantitatív arányszámokkal operál anélkül, hogy belemenne azon objektumok fizikai természetébe, amelyek mögött az arányok állnak. Ezért, ha a jelentés kimaradt az üzenetekből, akkor a kiindulópont információértékelés események, csak az egymástól eltérő események halmaza és ennek megfelelően a velük kapcsolatos üzenetek maradnak meg.

Érdekelnek bennünket az alábbi információk egyes objektumok állapotáról: a négy lehetséges állapot (szilárd, folyékony, gázhalmazállapotú, plazma) közül melyikben van valamilyen anyag? a technikum négy szaka közül melyikben tanul a diák? Mindezekben az esetekben fennáll a számunkra érdekes esemény bizonytalansága, amelyet négy lehetőség közül választhatunk. Ha figyelmen kívül hagyjuk a jelentésüket a fenti kérdésekre adott válaszokban, akkor mindkét válasz ugyanannyi információt hordoz, mivel mindegyik kiválasztja az objektum négy lehetséges állapotának egyikét, és ezáltal eltávolítja az üzenet ugyanazt a bizonytalanságát. .

A bizonytalanság velejárója a valószínűség fogalmának. A bizonytalanság csökkentése mindig összefügg egy vagy több elem (alternatíva) kiválasztásával (kiválasztásával) azok összességéből. A valószínűség és a bizonytalanság fogalmának ez a kölcsönös megfordíthatósága szolgált alapul a valószínűség fogalmának használatához az információelméletben a bizonytalanság mértékének mérésére. Ha feltételezzük, hogy a négy kérdésre adott válasz közül bármelyik egyformán valószínű, akkor annak valószínűsége minden kérdésben egyenlő 1/4 .

Ebben a példában a válaszok azonos valószínűsége határozza meg a két kérdésben adott válasz által eltávolított egyenlő bizonytalanságot is, ami azt jelenti, hogy minden válasz ugyanazt az információt hordozza.

Most próbáljuk meg összehasonlítani a következő két kérdést: a technikum négy szaka közül melyikben tanul a diák? Hogyan fog leesni egy érme feldobáskor: „címer” vagy „szám” felfelé? Az első esetben négy egyformán valószínű válasz lehetséges, a másodikban - kettő. Ezért a második esetben valami válasz valószínűsége nagyobb, mint az első esetben ( 1/2 > 1/4 ), míg a válaszok által eltávolított bizonytalanság az első esetben nagyobb. Az első kérdésre adott bármely lehetséges válasz több bizonytalanságot szüntet meg, mint a második kérdésre adott válasz. Ezért az első kérdésre adott válasz több információt hordoz! Következésképpen minél kisebb a valószínűsége egy eseménynek, annál több bizonytalanságot szüntet meg az üzenet az esemény bekövetkeztével kapcsolatban, és ennek következtében annál több információt hordoz.

Tételezzük fel, hogy van valamilyen esemény m ugyanolyan valószínű eredményeket. Ilyen esemény lehet például egy m ilyen karaktert tartalmazó ábécé bármely karakterének megjelenése. Hogyan mérhető az ilyen ábécé használatával továbbítható információ mennyisége? Ezt egy szám megadásával lehet megtenni N lehetséges üzenetek, amelyek ezzel az ábécével továbbíthatók. Ha az üzenet egy karakterből áll, akkor N=m, ha kettőtől, akkor N \u003d m m \u003d m 2. Ha az üzenet n karaktert tartalmaz ( n az üzenet hossza), akkor N=mn. Úgy tűnik, hogy az információmennyiség szükséges mértékét megtalálták. Felfogható egy kísérlet kimenetelének bizonytalanságának mértékeként, ha tapasztalaton egy üzenet véletlenszerű kiválasztását értjük bizonyos számú lehetséges üzenet közül. Ez az intézkedés azonban nem teljesen kényelmes.

Egy karakterből álló ábécé jelenlétében, azaz. mikor m = 1, csak ez a karakter jelenhet meg. Ezért ebben az esetben nincs bizonytalanság, és ennek a szimbólumnak a megjelenése nem hordoz semmilyen információt. Eközben az érték N nál nél m = 1 nem megy nullára. Két független üzenetforrás (vagy ábécé) esetén N 1és N 2 lehetséges üzenetek száma lehetséges üzenetek teljes száma N = N 1 N 2, miközben logikusabb lenne azt feltételezni, hogy a két független forrásból kapott információ mennyisége nem szorzat, hanem az alkotó mennyiségek összege.

Megtalálták a kiutat R. Hartley aki információt kínált énüzenetenként a lehetséges üzenetek számának logaritmusa határozza meg N:

I(N) = log N

Ha a lehetséges üzenetek teljes halmaza egy ( N=m=1), akkor

I(N) = log 1 = 0,

ami ebben az esetben az információhiánynak felel meg. Független információforrások jelenlétében a N 1és N 2 lehetséges üzenetek száma

I (N) \u003d log N \u003d log N 1 N 2 \u003d log N 1 + log N 2

azok. az üzenetenkénti információ mennyisége egyenlő annak az információmennyiségnek az összegével, amely két független forrásból érkezne, külön-külön.

Javasolt képlet Hartley, megfelel a követelményeknek. Ezért használható az információ mennyiségének mérésére. Ha az ábécé bármely karakterének előfordulásának lehetősége egyenlő (és eddig azt feltételeztük, hogy az), akkor ez a valószínűség p=1/m. Feltéve, hogy N=m, kapunk

I = log N = log m = log (1/p) = – log p,

A kapott képlet bizonyos esetekben lehetővé teszi az információ mennyiségének meghatározását. Gyakorlati okokból azonban meg kell adni a mértékegységét. Ehhez tegyük fel, hogy az információ az eltávolított bizonytalanság. Ekkor a legegyszerűbb bizonytalanság esetén két, egymást kölcsönösen kizáró, egyformán valószínű üzenet között kell választani, például két minőségi jel között: pozitív és negatív impulzusok, impulzus és szünet, stb.

A továbbított információ mennyiségét ebben a legegyszerűbb esetben a legkényelmesebben az információ mennyiségének egységeként vesszük. Az információmennyiség eredményül kapott egységét, amely két egyformán valószínű esemény választása, bináris egységnek vagy bitnek nevezzük. (Név bit egy angol kifejezés két kezdő és utolsó betűjéből alakult ki bináris egység, ami bináris egységet jelent.)

A bit nem csak az információ mennyiségének egysége, hanem a bizonytalanság mértékének mértékegysége is. Ez egy olyan kísérletben rejlő bizonytalanságra vonatkozik, amelynek két egyformán valószínű kimenetele van. Az üzenetből kapott információ mennyiségét befolyásolja a címzett számára a meglepetés tényezője, amely egy adott üzenet fogadásának valószínűségétől függ. Minél kisebb ez a valószínűség, annál váratlanabb és ennélfogva informatívabb az üzenet. Üzenet, valószínűség

amelynek a meglepetés foka magas és ennek megfelelően alacsony, kevés információt hordoz.

R. Hartley megértette, hogy az üzeneteknek eltérő a valószínűsége, és ezért megjelenésük váratlansága a címzett számára nem ugyanaz. De az információ mennyiségének számszerűsítésével megpróbálta teljesen kiküszöbölni a "meglepetés" tényezőt. Ezért a képlet Hartley csak arra az esetre teszi lehetővé az üzenetben lévő információ mennyiségének meghatározását, ha a szimbólumok előfordulása egyformán valószínű és statisztikailag függetlenek. A gyakorlatban ezek a feltételek

ritkán adják elő. Az információ mennyiségének meghatározásakor nem csak a forrásból fogadható különféle üzenetek számát kell figyelembe venni, hanem a beérkezésük valószínűségét is.

A legszélesebb körben használt megközelítés a nagyon eltérő forrásokból származó üzenetekben található átlagos információmennyiség meghatározására a megközelítés. Nak nek Shannon.

Vegye figyelembe a következő helyzetet. A forrás elemi jeleket továbbít k különféle típusok. Kövessük az üzenet egy meglehetősen hosszú szakaszát. Hadd legyen N 1 az első típusú jelek, N 2 a második típusú jelek, ..., Nk jeleket k-th típusú, és N 1 + N 2 + ... + N k = N a jelek teljes száma a megfigyelt szegmensben, f 1, f 2, ..., f k a megfelelő jelek frekvenciái. Az üzenetszegmens hosszának növekedésével a frekvenciák mindegyike egy fix határra hajlik, pl.

lim f i = p i , (i = 1, 2, ..., k),

ahol p i a jel valószínűségének tekinthető. Tegyük fel, hogy jel érkezik én-edik típus valószínűséggel p i tartalmazó - log p i információs egységeket. A vizsgált részben én-edik jel kb Np i alkalommal (ezt feltételezzük N elég nagy), és Általános információ Az ilyen típusú jelek által szállított termék megegyezik a termékkel Np i log p i. Ugyanez vonatkozik bármely más típusú jelre is, tehát a szegmens által továbbított információ teljes mennyiségére N a jelek megközelítőleg egyenlőek lesznek. A jelenkénti átlagos információmennyiség meghatározásához, pl. a forrás konkrét információtartalmát, el kell osztani ezzel a számmal N. Korlátlan növekedés esetén a közelítő egyenlőség pontossá válik.

Ennek eredményeként aszimptotikus összefüggést kapunk - a képletet Shannon. Kiderült, hogy a javasolt képlet Hartley, több speciális esete általános képlet Shannon.

A képlet mellett Shannon öt elemből (információforrás, adó, kommunikációs vonal, vevő és címzett) álló absztrakt kommunikációs sémát javasolt, és tételeket fogalmazott meg sávszélesség, zajtűrés, kódolás stb.

60. Információmérés - valószínűségi és alfabetikus megközelítések. Hartley, Shannon képletei. Példa ittKISASSZONYVoltVal velel.

Információs szempontból az eltávolított bizonytalanságtól függően az üzenetben lévő információ mennyisége valamilyen eseményről függ ennek az eseménynek a valószínűségétől.

R. Hartley 1928-ban javasolta az üzenetek értékelésének tudományos megközelítését. Becsült Hartley képlete az egyenlő valószínűségű eseményekhezúgy néz ki, mint a:

én = log 2 Nvagy 2én = N,

ahol N a szám azonos valószínűségű események (a lehetséges választási lehetőségek száma), I - az információ mennyisége.

Ha N = 2 (két lehetőség közül választhat), akkor I = 1 bit.

1. példa A Hartley-képlet használata az információ mennyiségének kiszámításához. Hány bitnyi információt hordoz az üzenet?

a vonat a 8 vágány valamelyikére érkezik?

Hartley formula: én = log 2 N,

ahol N az üzenetben említett esemény egyenértékű kimeneteleinek száma,

Én vagyok az üzenetben lévő információ mennyisége.

I = log 2 8 = 3 (bit) Válasz: 3 bit.

Módosított Hartley képlete a nem egységes eseményekhez. Mivel az N lehetséges esemény mindegyikének előfordulása azonos valószínűségű

p = 1 / N, akkor N = 1 / pés a képlet úgy néz ki

I = log 2 N= log 2 (1/p) = - log 2 p

Az esemény valószínűsége (p) és az üzenetben lévő információ mennyisége (I) közötti mennyiségi összefüggést a következő képlet fejezi ki:

én = log 2 (1/ p)

Egy esemény valószínűségét a képlet számítja ki p= K/ N, K egy érték, amely megmutatja, hogy a számunkra érdekes esemény hányszor fordult elő; N a lehetséges kimenetelek, események teljes száma. Ha a valószínűség csökken, akkor az információ mennyisége nő.

2. példa 30 fő van az osztályban. Per teszt matematikából 6 ötös, 15 négyes, 8 hármas és 1 kettős érkezett. Hány bitet hordoz az az üzenet, hogy Ivanov négyest kapott?

Válasz: 1 bit.

A Shannon-képlet segítségével. Az üzenetben lévő információ mennyiségének kiszámításának általános esete N, de nem egyformán valószínű eseményről. Ezt a megközelítést K. Shannon javasolta 1948-ban.

Alapinformációs egységek:

énHázasodik= -

Jelentése énHázasodik pi= 1 / N.

3. példa Hány bit információt hordoz egy véletlenszerűen generált „fényszóró” üzenet, ha az orosz szövegekben minden ezer betűre átlagosan 200-szor fordul elő az „a” betű, kétszer az „f” betű, az „r” betű. - 40 alkalommal.

Feltételezzük, hogy egy karakter üzenetben való megjelenésének valószínűsége egybeesik a szövegekben való előfordulásának gyakoriságával. Ezért az "a" betű 200/1000=0,2 átlagos gyakorisággal fordul elő; Az „a” betű megjelenésének valószínűsége a szövegben (p a) megközelítőleg 0,2-nek tekinthető;

az "f" betű 2/1000=0,002 gyakorisággal fordul elő; a "p" betű - 40/1000=0,04 gyakorisággal;

Hasonlóképpen p p = 0,04, p f = 0,002. Ezután K. Shannon szerint járunk el. A 0,2 érték bináris logaritmusát vesszük, és a kapott információt annak az információmennyiségnek nevezzük, amelyet egyetlen „a” betű hordoz a vizsgált szövegben. Ugyanezt a műveletet hajtjuk végre minden betűnél. Ekkor az egy betű által hordozott megfelelő információ mennyisége egyenlő log 2 1/ pi = - log 2 pi, Kényelmesebb az információ mennyiségének az ábécé egy karakterére eső átlagos értékét használni az információ mennyiségének mérőszámaként.

énHázasodik= -

Jelentése énHázasodik egyenlő valószínűségű események esetén eléri a maximumot, vagyis amikor minden p i

pi= 1 / N.

Ebben az esetben Shannon képlete Hartley képletévé változik.

I = M*I cf =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))= 4*(-(0,002*(-8,967)+ 0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0 ,46-0,19-0,46))=4*1,1325=4,53

Válasz: 4,53 bit

Az információ mérésének alfabetikus megközelítése

A technikában az alfabetikus megközelítést alkalmazzák, ebben az esetben az információ mennyisége nem a tartalomtól függ, hanem az ábécé erejétől és a szöveg karakterszámától függ.

ASCII kódoláshoz - ábécé teljesítmény=256

I=log 2 256=8(bit); Ha karakterinformációkat kódolunk, minden karakter, beleértve a szóközöket és az írásjeleket is, 1 bájttal (8 bit) van kódolva.

Az információ mértékegységei a számítástechnikában

1 bit (technikai megközelítés)	minimális információs egység	az információ mennyiségét csak egész számú bit méri
1 KB (kilobyte)	2 10 bájt = 1024 bájt	~ 1 ezer bájt
1 MB (megabájt)	2 10 KB = 2 20 bájt	~ 1 millió bájt
1 GB (gigabájt)	2 10 MB = 2 30 bájt	~ 1 milliárd bájt

• 3. Az adattovábbítás technológiái. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Átjáró eszközök: átjátszók, hidak, útválasztók, átjárók. Kapcsolási és útválasztási módszerek. A hálózati teljesítmény javításának módjai
• 5. Peer-to-peer és szerver hálózatok: összehasonlító jellemzők. A speciális szerverek fő típusai.
• 6. Az Internet technológiai alapjai. Címzési rendszer (IP-címek, domain nevek, DNS rendszer). Alapvető kommunikációs protokollok a hálózatban.
• 7. Alapvető felhasználói technológiák az internetes munkához. WWW, FTP, TELNET, E-MAIL. Keressen információkat az interneten.
• 9. Adatbázisok: adatok, adatmodell, adatbázis, adatbázis-kezelő rendszer, információs rendszer. adatmodellek. Relációs adatmodell.
• 12. Információs rendszerek tervezése. Szerkezeti és életciklus modellek.
• 13. A vállalkozás felépítésének modellezése, ábrázolása. IDEF0 diagramok.
• 14. Adatfolyamok modellezése és bemutatása. DFD diagramok.
• 16. Szakértői rendszerek (ES): koncepció, cél, architektúra, megkülönböztető jellemzők. ES osztályozás. Az ES fejlődési szakaszai.
• 17. Szakértői rendszerek tudásbázisai. Tudásreprezentációs módszerek: logikai modellek, termelési szabályok, keretek, szemantikai hálózatok.
• 18 Tudás. A tudás fajtái. Tudáskinyerési módszerek: kommunikatív, szövegtani.
• 19 Programozási nyelvek, jellemzőik (Prolog, Delphi, C++).
• 20. Programozási nyelvek, jellemzőik (PHP, Perl, JavaScript).
• 21. Célok, célkitűzések, alapelvek és fő irányok az Orosz Föderáció információbiztonságának biztosítására. Az információ jogi, szervezési, mérnöki és műszaki védelme.
• 22. Elektronikus publikációk: koncepció, összetétel. EI osztályozás. Az EI regisztrációja.
• 23. Információs források: koncepció, összetétel. Állami információs források.
• 24. A személyi számítógép operációs rendszere, mint az erőforrás-menedzsment eszköze (a vizsgált operációs rendszer példáján). Az operációs rendszer felépítése és összetevői.
• 25. Rosszindulatú szoftverek: osztályozások, észlelési és eltávolítási módszerek.
• 26 A webes alkalmazások felépítése. HTTP protokoll. Aprósütemény. Webes alkalmazások funkciói. CGI protokoll.
• 27 Az IS megbízhatóságának biztosítása. tranzakciók. OLTP rendszerek.
• 28. A szoftvertermék ergonómiai céljai és minőségi mutatói.
• 31.Információkezelés: koncepció és főbb funkciók.
• 33 Szoftver szabványosítás. Szoftverdokumentációs szabványok.
• 34. Az információs rendszerek minőségi és mennyiségi jellemzőinek értékelése. Modellek szoftver és információs támogatás megbízhatósági jellemzőinek felmérésére. Az információs rendszerek megbízhatóságát biztosító alapfogalmak, indikátorok és módszerek.
• 36. Az innovatív programok megvalósításának jellemzői az informatizálás területén (informatizálási terület információs politika jellemzői, az IP projektképzésének és megvalósításának elvei, informatizálási projektek menedzselése).

Ezt a képletet a Hartley-képlethez hasonlóan a számítástechnikában használják a különböző valószínűségek teljes információmennyiségének kiszámítására.

A különböző egyenlőtlen valószínűségekre példa az emberek kilépése a laktanyából egy katonai egységben. Egy katona, egy tiszt, de még egy tábornok is elhagyhatja a laktanyát. De a katonák, tisztek és tábornokok megoszlása ​​a laktanyában más, ami nyilvánvaló, mert ott lesz a legtöbb katona, akkor jönnek a tisztek és a legritkább típus a tábornok. Mivel a valószínűségek nem egyenlőek mindhárom katonai típus esetében, annak kiszámításához, hogy egy ilyen esemény mennyi információt igényel és használ fel Shannon képlete.

Más, hasonlóan valószínű eseményekhez, például egy érmefeldobáshoz (a valószínűség, hogy a fej vagy a farok azonos lesz – 50%), a Hartley-képletet használják.

Most pedig nézzük meg ennek a képletnek az alkalmazását egy konkrét példán:

Melyik üzenet tartalmazza a legkevesebb információt (számlálás bitben):

1. Vaszilij 6 édességet evett, ebből 2 borbolya volt.
2. 10 mappa van a számítógépen, a kívánt fájl a 9. mappában található.
3. Baba Luda 4 húsos pitét és 4 káposztás pitét készített. Gregory evett 2 pitét.
4. Afrikában 200 napig tart a száraz időjárás és 165 napig a monszun. egy afrikai évente 40 napot vadászott.

Ennél a feladatnál figyelünk arra, hogy az 1., 2. és 3. lehetőség, ezek a lehetőségek könnyen mérlegelhetők, mivel az események egyformán valószínűek. Ehhez a Hartley-képletet fogjuk használni I = log 2 N(1. ábra) De a 4. ponttal, ahol jól látható, hogy a napok eloszlása ​​nem egyenletes (a száraz idő irányába túlsúly), akkor mit tegyünk ebben az esetben? Az ilyen eseményekhez a Shannon-képletet vagy információs entrópiát használjuk: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),(3. ábra)

AZ INFORMÁCIÓ MENNYISÉGÉRE VONATKOZÓ KÉPLET (HARTLEY FORMULA, 1. ÁBRA)

Ahol:

• I - információ mennyisége
• p annak a valószínűsége, hogy ezek az események bekövetkeznek

Problémánkban a számunkra érdekes események az

1. Két borbolya volt a hatból (2/6)
2. A teljes számhoz (1/10) képest egy mappa található, amelyben a kívánt fájl megtalálható
3. Összesen nyolc pite volt, ebből Gregory kettőt evett (2/8)
4. az utolsó negyven vadásznapot pedig kétszáz száraz naphoz, a negyven vadásznapot pedig százhatvanöt esős naphoz viszonyítva. (40/200) + (40/165)

így azt kapjuk, hogy:

VALÓSZÍNŰSÉGI FORMULA EGY ESEMÉNYHEZ.

Ahol K a számunkra érdekes esemény, N pedig ezeknek az eseményeknek a száma, önmaga ellenőrzéséhez is, egy esemény valószínűsége nem lehet több egynél. (mert mindig vannak kevésbé valószínű események)

SHANNON FORMULA AZ INFORMÁCIÓK SZÁMLÁLÁSÁRA (3. ÁBRA)

Térjünk vissza a feladatunkhoz, és számoljuk ki, hogy mennyi információt tartalmaz.

Mellesleg, a logaritmus kiszámításakor kényelmes a webhely használata - https://planetcalc.ru/419/#

• Az első esetben - 2/6 = 0,33 = és további Log 2 0,33 = 1,599 bit
• A második esetben - 1/10 = 0,10 Log 2 0,10 = 3,322 bit
• A harmadiknál ​​- 2/8 = 0,25 = Log 2 0,25 = 2 bit
• A negyedikre - 40/200 + 40/165 = 0,2 és 0,24, akkor a - (0,2 * log 2 0,2) + - (o, 24 * log 2 0,24) = 0,95856 bit

Így kiderült a válasz a problémánkra 4.