Американський інженер Р. Хартлі в 1928 р. процес отримання інформації розглядав як вибір одного повідомлення з кінцевого наперед заданої множини з N рівноймовірних повідомлень, а кількість інформації I, що міститься у вибраному повідомленні, визначав як двійковий логарифм N.

Формула Хартлі: I = log 2 N або N = 2 i

Допустимо, потрібно вгадати одне число з набору чисел від одиниці до ста. За формулою Хартлі можна обчислити, скільки інформації цього потрібно: I = log 2 100 > 6,644. Таким чином, повідомлення про правильно вгаданому числі містить кількість інформації, що дорівнює 6,644 одиниці інформації.

Наведемо інші приклади рівноймовірних повідомлень :

1. під час кидання монети: «випала решка», «випав орел»;

2. на сторінці книги: «кількість букв парна», «кількість букв непарна».

Визначимо тепер, чи є рівноймовірними повідомлення « першою вийде з дверей будівлі жінка»і «першим вийде з дверей будівлі чоловік». Однозначно відповісти це питання не можна. Все залежить від того, про яку саме будівлю йдеться. Якщо це, наприклад, станція метро, ​​то ймовірність вийти з дверей перша однакова для чоловіка і жінки, а якщо це військова казарма, то для чоловіка ця ймовірність значно вища, ніж для жінки.

Для таких завдань американський учений Клод Шеннон запропонував у 1948 р. іншу формулу визначення кількості інформації, що враховує можливу неоднакову ймовірність повідомлень у наборі .

Формула Шеннона: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),

де p i - ймовірність того, що саме i-е повідомленнявиділено в наборі N повідомлень.

Легко помітити, що й ймовірності p 1 , ..., p N рівні, кожна з них дорівнює 1 / N, і формула Шеннона перетворюється на формулу Хартлі.

Крім двох розглянутих підходів до визначення кількості інформації, існують інші. Важливо пам'ятати, що будь-які теоретичні результати можна застосовувати лише до певного кола випадків, окресленого початковими припущеннями.

В якості одиниці інформації Клод Шеннон запропонував прийняти один біт(англ. bit – binary digit – двійкова цифра).

Біттеоретично інформації - кількість інформації, необхідне розрізнення двох рівноймовірних повідомлень (типу «орел»-«решка», «чет»-«нечет» тощо.).

У обчислювальної технікибітом називають найменшу «порцію» пам'яті комп'ютера, необхідну зберігання одного із двох знаків «0» і «1», що використовуються для внутрішньомашинного представлення даних і команд.

Біт - надто дрібна одиниця виміру. На практиці частіше застосовується більша одиниця - байт, що дорівнює восьми бітам. Саме вісім бітів потрібно закодувати будь-який з 256 символів алфавіту клавіатури комп'ютера (256=2 8).

Широко використовуються також ще більші похідні одиниці інформації:

1 Кілобайт (Кбайт) = 1024 байт = 210 байт,

1 мегабайт (Мбайт) = 1024 Кбайт = 220 байт,

1 Гб (Гбайт) = 1024 Мбайт = 230 байт.

Останнім часом у зв'язку із збільшенням обсягів оброблюваної інформації входять у вжиток такі похідні одиниці, як:

1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.

За одиницю інформації можна було б вибрати кількість інформації, необхідне розрізнення, наприклад, десяти рівноймовірних повідомлень. Це буде не двійкова (біт), а десяткова ( дит) одиниця інформації.

Кількість інформації, укладена в повідомленні, визначається обсягом знань, який несе це повідомлення людині, яка її отримує. Повідомлення містить інформацію для людини, якщо укладені в ній відомості є для цієї людини новими та зрозумілими, і, отже, поповнюють її знання.

Інформацію, яку отримує людина, вважатимуться мірою зменшення невизначеності знань. Якщо деяке повідомлення призводить до зменшення невизначеності наших знань, можна говорити, що таке повідомлення містить інформацію.

За одиницю кількості інформації прийнято таку кількість інформації, яку отримуємо при зменшенні невизначеності в 2 рази. Така одиниця названа біт.

У комп'ютері інформація представлена ​​в двійковому коді або машинною мовою, алфавіт якого складається з двох цифр (0 і 1). Ці цифри можна розглядати як два рівноймовірні стани. При записі одного двійкового розряду реалізується вибір однієї з двох можливих станів (однієї з двох цифр) і, отже, один двійковий розряд несе кількість інформації на 1 біт. Два двійкових розряду несуть інформацію 2 біти, три розряди – 3 біти тощо.

Поставимо тепер обернене завдання і визначимо: «Яку кількість різних двійкових чисел N можна записати за допомогою I двійкових розрядів?» За допомогою одного двійкового розряду можна записати 2 різні числа (N=2=2 1), за допомогою двох двійкових розрядів можна записати чотири двійкові числа (N=4=2 2), за допомогою трьох двійкових розрядів можна записати вісім двійкових чисел (N = 8 = 2 3) і т.д.

Загалом кількість різних двійкових чисел можна визначити за формулою

N – кількість можливих подій (Рівноймовірних) !!!;

У математиці існує функція, з допомогою якої вирішується показове рівняння, ця функція називається логарифмом. Рішення такого рівняння має вигляд:

Якщо події рівноймовірні кількість інформації визначається за даною формулою.

Кількість інформації для подій з різними ймовірностями визначається за формулі Шеннона :

,

де I – кількість інформації;

N – кількість можливих подій;

Pi – ймовірність окремих подій.

Приклад 3.4

У барабані для розіграшу лотереї знаходиться 32 кулі. Скільки інформації містить повідомлення про перший номер, що випав (наприклад, випав номер 15)?

Рішення:

Оскільки витягування будь-якої з 32 куль рівноймовірне, то кількість інформації про один номер, що випала, знаходиться з рівняння: 2 I =32.

Але 32 = 2 5 . Отже, I = 5 біт. Очевидно, відповідь не залежить від того, який саме номер випав.

Приклад 3.5

Яку кількість питань достатньо поставити вашому співрозмовнику, щоб напевно визначити місяць, у якому він народився?

Рішення:

Розглянемо 12 місяців як 12 можливих подій. Якщо питати про конкретний місяць народження, то, можливо, доведеться поставити 11 питань (якщо на 11 перших питань було отримано негативну відповідь, то 12-е ставити не обов'язково, тому що воно і буде правильним).

Правильніше ставити «двійкові» питання, тобто питання, на які можна відповісти лише «так» чи «ні». Наприклад, «Ви народилися у другій половині року?». Кожен такий питання розбиває безліч варіантів на два підмножини: одне відповідає відповіді «так», а інше – відповіді «ні».

Правильна стратегія полягає в тому, що питання потрібно ставити так, щоб кількість можливих варіантів щоразу зменшувалася вдвічі. Тоді кількість можливих подій у кожному з отриманих підмножин буде однаково та їхнє відгадування рівноймовірне. У цьому випадку на кожному кроці відповідь (так чи ні) буде нести максимальна кількістьінформації (1 біт).

За формулою 2 та за допомогою калькулятора отримуємо:

біта.

Кількість отриманих біт інформації відповідає кількості заданих питань, проте кількість питань може бути нецілим числом. Округлюємо до більшого цілого числа та отримуємо відповідь: за правильної стратегії необхідно задати трохи більше 4 питань.

Приклад 3.6

Після іспиту з інформатики, який складали ваші друзі, оголошуються оцінки («2», «3», «4» або «5»). Яка кількість інформації нестиме повідомлення про оцінку учня А, який вивчив лише половину квитків, та повідомлення про оцінку учня В, який вивчив усі квитки.

Рішення:

Досвід показує, що для учня А всі чотири оцінки (події) є рівноймовірними і тоді кількість інформації, яка несе повідомлення про оцінку, можна обчислити за формулою (1):

На підставі досвіду можна також припустити, що для учня найбільш ймовірною оцінкою є «5» (p 1 =1/2), ймовірність оцінки «4» в два рази менше (p 2 =1/4), а ймовірності оцінок «2» »і «3» ще вдвічі менше (p 3 = p 4 = 1/8). Так як події нерівноймовірні, скористаємося для підрахунку кількості інформації у повідомленні формулою 2:

Обчислення показали, що при рівноймовірних подіях ми отримуємо більше інформації, ніж при нерівноймовірних подіях.

Приклад 3.7

У непрозорому мішечку зберігаються 10 білих, 20 червоних, 30 синіх та 40 зелених кульок. Яка кількість інформації міститиме зорове повідомлення про колір вийнятої кульки.

Рішення:

Так як кількість кульок різного кольору неоднакова, то ймовірності зорових повідомлень про колір витягнутої з мішечка кульки також різняться і дорівнюють кількості кульок даного кольору поділеному на загальну кількість кульок:

P б = 0,1; P = 0,2; P =0,3; P з = 0,4.

Події нерівноймовірні, тому для визначення кількості інформації, що міститься в повідомленні про колір кульки, скористаємося формулою 2:

Для обчислення цього виразу, що містить логарифми, можна скористатися калькулятором. I»1,85 біта.

Приклад 3.8

Використовуючи формулу Шеннона, досить просто визначити, скільки біт інформації або двійкових розрядів необхідно, щоб закодувати. різних символів. 256 різних символів можна як 256 різних рівноймовірних станів (подій). Відповідно до ймовірнісного підходу до вимірювання кількості інформації необхідна кількість інформації для двійкового кодування 256 символів дорівнює:

I = log 2 256 = 8 біт = 1 байт

Отже, для двійкового кодування символу 1 необхідний 1 байт інформації або 8 двійкових розрядів.

Яка кількість інформації міститься, наприклад, у тексті роману «Війна і мир», у фресках Рафаеля чи генетичному коді людини? Відповіді на ці питання наука не дає і, ймовірно, дасть не скоро. А чи можливо об'єктивно виміряти кількість інформації? Найважливішим результатом теорії інформації є такий висновок: «У певних, дуже широких умовах можна знехтувати якісними особливостями інформації, висловити її кількість числом, і навіть порівняти кількість інформації, що у різних групах даних».

В даний час набули поширення підходи до визначення поняття «кількість інформації», засновані на тому, що інформацію, що міститься у повідомленні, можна нестрого трактувати у сенсі її новизни чи, інакше, зменшення невизначеності наших знання об'єкт.Ці підходи використовують математичні поняття ймовірності та логарифму.

Ми вже згадували, що формула Хартлі є окремим випадком формули Шеннона для рівноймовірних альтернатив.

Підставивши у формулу (1) замість p iйого (у рівноймовірному випадку не залежить від i) значення, отримаємо:

Таким чином, формула Хартлі виглядає дуже просто:

(2)

З неї явно випливає, що чим більша кількість альтернатив ( N), тим більше невизначеність ( H). Ці величини пов'язані у формулі (2) не лінійно, а через двійковий логарифм. Логарифмування на підставі 2 і наводить кількість варіантів до одиниць вимірювання інформації – біт.

Зауважте, що ентропія буде цілим числом лише в тому випадку, якщо Nє ступенем числа 2, тобто. якщо Nналежить ряду: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Мал. 10. Залежимо ентропії кількості рівноймовірних варіантів вибору (рівнозначних альтернатив).

Нагадаємо, що таке логарифм.

Мал. 11. Знаходження логарифму bна підставі a- це знаходження ступеня, в яку потрібно звести a, Щоб отримати b.

Логарифм на підставі 2 називається двійковим:

log 2 (8) = 3 => 2 3 = 8

log 2 (10) = 3,32 => 2 3,32 = 10

Логарифм на підставі 10 –називається десятковим:

log 10 (100) = 2 => 10 2 = 100

Основні властивості логарифму:

log (1) = 0, т.к. будь-яке число в нульовому ступені дає 1;

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Для вирішення обернених завдань, коли відома невизначеність ( H) або отримана в результаті її зняття кількість інформації ( I) і потрібно визначити скільки рівноймовірних альтернатив відповідає виникненню цієї невизначеності, використовують зворотну формулу Хартлі, яка виглядає ще простіше:

(3)

Наприклад, якщо відомо, що в результаті визначення того, що Коля Іванов, який нас цікавить, живе на другому поверсі, було отримано 3 біти інформації, то кількість поверхів у будинку можна визначити за формулою (3), як N=2 3 =8 поверхів.

Якщо ж питання стоїть так: “в будинку 8 поверхів, яку кількість інформації ми отримали, дізнавшись, що Коля Іванов, який нас цікавить, живе на другому поверсі?”, потрібно скористатися формулою (2): I= log 2 (8) = 3 біта.

1. Кількість інформації, одержуваної у процесі повідомлення

Досі ми наводили формули для розрахунку ентропії (невизначеності) Hвказуючи, що Hу них можна замінювати на I, тому що кількість інформації, що отримується при повному зняттіневизначеностідеякої ситуації, кількісно дорівнює початковій ентропії цієї ситуації.

Але невизначеність може бути знята лише частково, тому кількість інформаціїI, що отримується з деякого повідомлення, обчислюється як зменшення ентропії, що відбулося внаслідок отриманняданого повідомлення.

(4)

Для рівноймовірного випадку, використовуючи для розрахунку ентропії формулу Хартлі, отримаємо:

(5)

Друга рівність виводиться на підставі властивостей логарифму. Таким чином, у рівноймовірному випадку Iзалежить від того, у скільки разівзмінилася кількість варіантів вибору (розглянута різноманітність).

Виходячи з (5) можна вивести наступне:

Якщо
, то
- Повне зняття невизначеності, кількість отриманої в повідомленні інформації дорівнює невизначеності, яка існувала до отримання повідомлення.

Якщо
, то
- невизначеності не змінилася, отже, інформації отримано був.

Якщо
, то
=>
, якщо
,
=>
. Тобто. кількість отриманої інформації буде позитивною величиною, якщо в результаті отримання повідомлення кількість альтернатив, що розглядаються, зменшилася, і негативною, якщо збільшилося.

Якщо кількість розглянутих альтернатив внаслідок отримання повідомлення зменшилося вдвічі, тобто.
, то I=log 2 (2) = 1 біт.Інакше кажучи, отримання 1 біта інформації виключає з розгляду половину рівнозначних варіантів.

Розглянемо як приклад досвід із колодою з 36 карт.

Мал. 12. Ілюстрація до досвіду з колодою з 36 карт.

Нехай хтось виймає одну картку з колоди. Нас цікавить, яку саме з 36 карток він вийняв. Початкова невизначеність, що розраховується за формулою (2), становить H= log 2 (36)  5,17 біт. Витягнув карту повідомляє нам частину інформації. Використовуючи формулу (5), визначимо, скільки інформації ми отримуємо з цих повідомлень:

варіантA. “Цекартачервоний масті”.

I = log 2 (36/18) = log 2 (2) = 1 біт (червоних карт у колоді половина, невизначеність зменшилася в 2 рази).

варіантB. “Цекартапіковий масті”.

I=log 2 (36/9)=log 2 (4)=2 біта (пікові карти становлять чверть колоди, невизначеність зменшилася вчетверо).

Варіант С. "Це одна із старших карт: валет, дама, король або туз".

I = log 2 (36) - log 2 (16) = 5,17-4 = 1,17 біта (невизначеність зменшилася більше ніж у два рази, тому отримана кількість інформації більше одного біта).

варіантD. "Це одна карта з колоди".

I = log 2 (36/36) = log 2 (1) = 0 біт (невизначеність не зменшилася - повідомлення не інформативно).

варіантD. “Це дамапік".

I = log 2 (36/1) = log 2 (36) = 5,17 біт (невизначеність повністю знята).

Апріорі відомо, що кулька знаходиться в одній з трьох урн: А, В або С. Визначте, скільки біт інформації містить повідомлення про те, що вона знаходиться в урні. Варіанти: 1 біт, 1,58 біта, 2 біти, 2,25 біти.

Імовірність першої події становить 0,5, а другої та третьої 0,25. Чому такого розподілу дорівнює інформаційна ентропія. Варіанти: 0,5 біта, 1 біт, 1,5 біта, 2 біти, 2,5 біти, 3 біти.

Ось список співробітників певної організації:

Визначте кількість інформації, яка недостатня для того, щоб виконати такі прохання:

Будь ласка, покличте до телефону Іванову.

Мене цікавить одна ваша співробітниця, вона 1970 року народження.

Яке з повідомлень несе більше інформації:

Внаслідок підкидання монети (орел, решка) випала решка.

На світлофорі (червоне, жовте, зелене) зараз горить зелене світло.

В результаті підкидання гральної кістки (1, 2, 3, 4, 5, 6) випало 3 очки.

Інформація визначатимемо через її основні властивості (т.к. поряд з матерією та енергією вона є первинним поняттям нашого світу і тому в строгому сенсі не може бути визначена):

• інформація приносить відомості, про навколишній світ яких у точці, що розглядається, не було до її отримання;
• інформація не матеріальна і не може існувати у відриві від форми подання інформації (послідовностей сигналів чи знаків – повідомлень);
• повідомлення містять інформацію лише тим, хто здатний її розпізнати.

Повідомлення містять інформацію не тому, що копіюють об'єкти реальної дійсності, а за суспільною домовленістю про зв'язок носіїв та об'єктів цим носієм позначених (наприклад, слово позначає певний предмет об'єктивної дійсності). Крім того, носії можуть бути сформовані природними фізичними процесами.

Щоб повідомлення можна було передати одержувачу, необхідно скористатися деяким фізичним процесом, здатним з тією чи іншою швидкістю поширюватися від джерела до одержувача повідомлення. Фізичний процес, що змінюється в часі, що відображає передане повідомлення називається сигналом.

Щоб застосувати математичні засоби вивчення інформації потрібно відволіктися від змісту, змісту інформації. Цей підхід був загальним для згаданих нами дослідників, оскільки чиста математика оперує з кількісними співвідношеннями, не вдаючись у фізичну природу тих об'єктів, котрим стоять співвідношення. Тому, якщо сенс вихолощений з повідомлень, то відправною точкою для інформаційної оцінкиподії залишається лише безліч відмінних одна від одної подій та відповідно повідомлень про них.

Нехай нас цікавить наступна інформація про стан деяких об'єктів: у якому з чотирьох можливих станів (тверда, рідка, газоподібна, плазма) знаходиться деяка речовина? на якому із чотирьох курсів технікуму навчається студент? У всіх цих випадках має місце невизначеність цікавої для нас події, що характеризується наявністю вибору однієї з чотирьох можливостей. Якщо у відповідях на наведені питання відволіктися від їхнього сенсу, то обидві відповіді будуть нести однакову кількість інформації, тому що кожен з них виділяє один з чотирьох можливих станів об'єкта і, отже, знімає ту саму невизначеність повідомлення.

Невизначеність невід'ємна поняття ймовірності. Зменшення невизначеності завжди пов'язане з вибором (відбором) одного або кількох елементів (альтернатив) з деякої їхньої сукупності. Така взаємна оборотність понять ймовірності та невизначеності послужила основою для використання поняття ймовірності при вимірі ступеня невизначеності в теорії інформації. Якщо припустити, що будь-яка з чотирьох відповідей на питання рівноймовірна, то його ймовірність у всіх питаннях дорівнює 1/4 .

Однакова ймовірність відповідей у ​​цьому прикладі обумовлює і рівну невизначеність, що знімається відповіддю у кожному із двох питань, отже, кожна відповідь несе однакову інформацію.

Тепер спробуємо порівняти такі два питання: на якому з чотирьох курсів технікуму навчається студент? Як впаде монета під час підкидання: вгору «гербом» чи «цифрою»? У першому випадку можливі чотири рівноймовірні відповіді, у другому – дві. Отже, ймовірність якоїсь відповіді у другому випадку більша, ніж у першому ( 1/2 > 1/4 ), у той час як невизначеність, що знімається відповідями, більша в першому випадку. Будь-яка з можливих відповідей на перше питання знімає більшу невизначеність, ніж будь-яка відповідь на друге питання. Тому відповідь на перше запитання несе більше інформації! Отже, що менша ймовірність якоїсь події, то більшу невизначеність знімає повідомлення про її появу і, отже, тим більшу інформацію вона несе.

Припустимо, що якась подія має mрівноймовірних наслідків. Такою подією може бути, наприклад, поява будь-якого символу алфавіту, що містить m таких символів. Як виміряти кількість інформації, яку можна передати за допомогою такого алфавіту? Це можна зробити, визначивши число Nможливих повідомлень, які можуть бути надіслані за допомогою цього алфавіту. Якщо повідомлення формується із одного символу, то N = mякщо з двох, то N = m · m = m 2. Якщо повідомлення містить n символів ( n- Довжина повідомлення), то N = mn. Здавалося б, шуканий захід кількості інформації знайдено. Її можна розуміти як міру невизначеності результату досвіду, якщо під досвідом мається на увазі випадковий вибір будь-якого повідомлення з певної кількості можливих. Однак цей захід не зовсім зручний.

За наявності алфавіту, що з одного символу, тобто. коли m = 1, можлива поява лише цього символу. Отже, невизначеності у разі немає, і поява цього символу несе ніякої інформації. Тим часом, значення Nпри m = 1не перетворюється на нуль. Для двох незалежних джерел повідомлень (або алфавіту) з N 1і N 2числом можливих повідомлень загальна кількість можливих повідомлень N = N 1 N 2, тоді як логічніше було вважати, що кількість інформації, одержуване від двох незалежних джерел, має бути не твором, а сумою складових величин.

Вихід із становища було знайдено Р. Хартлі, який запропонував інформацію I, що припадає на одне повідомлення, визначати логарифмом загальної кількості можливих повідомлень N:

I(N) = log N

Якщо ж все безліч можливих повідомлень складається з одного ( N = m = 1), то

I(N) = log 1 = 0,

що відповідає відсутності інформації у цьому випадку. За наявності незалежних джерел інформації з N 1і N 2числом можливих повідомлень

I (N) = log N = log N 1 N 2 = log N 1 + log N 2

тобто. кількість інформації, що припадає на одне повідомлення, дорівнює сумі кількостей інформації, які були б отримані від двох незалежних джерел, взятих нарізно.

Запропонована формула Хартлі, Задовольняє пред'явленим вимогам. Тому її можна використовуватиме вимірювання кількості інформації. Якщо можливість появи будь-якого символу алфавіту є рівноймовірною (а ми досі припускали, що це саме так), то ця ймовірність р = 1/m. Вважаючи, що N = m, отримаємо

I = log N = log m = log (1/p) = - log p,

Отримана формула дозволяє деяких випадків визначити кількість інформації. Однак для практичних цілей необхідно задатися одиницею його виміру. Для цього припустимо, що інформація – це усунена невизначеність. Тоді в найпростішому випадку невизначеності вибір проводитиметься між двома взаємовиключними рівноймовірними повідомленнями, наприклад між двома якісними ознаками: позитивним і негативним імпульсами, імпульсом і паузою і т.п.

Кількість інформації, передане в цьому найпростішому випадку, найзручніше прийняти за одиницю кількості інформації. Отримана одиниця кількості інформації, що є вибір із двох рівноймовірних подій, отримала назву двійкової одиниці, або біта. (Назва bitутворено з двох початкових та останньої букв англійського виразу binary unit, Що означає двійкова одиниця.)

Біт не лише одиницею кількості інформації, а й одиницею виміру ступеня невизначеності. При цьому мається на увазі невизначеність, яка міститься в одному досвіді, що має два рівноймовірні результати. На кількість інформації, що отримується з повідомлення, впливає фактор несподіванки для одержувача, який залежить від ймовірності отримання того чи іншого повідомлення. Чим менша ця ймовірність, тим повідомлення є несподіваніше і, отже, більш інформативним. Повідомлення, ймовірність

якого високий і, відповідно, низький рівень несподіванки, несе трохи інформації.

Р. Хартлірозумів, що повідомлення мають різну ймовірність і, отже, несподіванка їх появи для одержувача неоднакова. Але, визначаючи кількість інформації, він намагався повністю виключити фактор несподіванки. Тому формула Хартлідозволяє визначити кількість інформації у повідомленні тільки для випадку, коли поява символів є рівноймовірною і вони статистично незалежні. На практиці ці умови

виконуються рідко. При визначенні кількості інформації необхідно враховувати як кількість різноманітних повідомлень, які можна отримати від джерела, а й ймовірність їх отримання.

Найбільш широке поширення щодо середньої кількості інформації, що міститься у повідомленнях від джерел самої різної природи, отримав підхід. До Шеннона.

Розглянемо таку ситуацію. Джерело передає елементарні сигнали k різних типів. Простежимо за досить довгим відрізком повідомлення. Нехай у ньому є N 1сигналів першого типу N 2сигналів другого типу, ..., N kсигналів k-го типу, причому N 1 + N 2 + ... + N k = N– загальна кількість сигналів у відрізку, що спостерігається, f 1 , f 2 , ..., f k- Частоти відповідних сигналів. У разі зростання довжини відрізка повідомлення кожна з частот прагне фіксованого межі, тобто.

lim f i = p i (i = 1, 2, ..., k),

де р iможна вважати ймовірністю сигналу. Припустимо, отриманий сигнал i-го типу з ймовірністю р i, що містить – log p iодиниць інформації. У аналізованому відрізку i-й сигнал зустрінеться приблизно Np iраз (вважатимемо, що Nдосить велике), і Загальна інформація, доставлена ​​сигналами цього типу, дорівнюватиме твору Np i log р i. Те саме стосується сигналів будь-якого іншого типу, тому повна кількість інформації, доставлена ​​відрізком з Nсигналів, приблизно дорівнює. Щоб визначити середню кількість інформації, що припадає однією сигнал, тобто. питому інформативність джерела, потрібно це число поділити на N. При необмеженому зростанні приблизна рівність перейде у точну.

В результаті буде отримано асимптотичне співвідношення – формула Шеннона. Виявилось, що формула, запропонована Хартлі, являє собою окремий випадок загальної формули Шеннона.

Крім цієї формули, Шенноном була запропонована абстрактна схема зв'язку, що складається з п'яти елементів (джерела інформації, передавача, лінії зв'язку, приймача та адресата), і сформульовані теореми про пропускну здатність, завадостійкості, кодування і т.д.

60. Вимірювання інформації – ймовірнісний та алфавітний підходи. Формули Хартлі, Шеннона. Приклад уMSExзel.

З точки зору інформації, як на зняту невизначеність, кількість інформації в повідомленні про якусь подію залежить від ймовірності здійснення даної події.

Науковий підхід до оцінки повідомлень було запропоновано ще 1928 року Р. Хартлі. Розрахункова формула Хартлі для рівноймовірних подіймає вигляд:

I = log 2 Nабо 2I = N,

де N - кількість рівноймовірнихподій (кількість можливих виборів), I - кількість інформації.

Якщо N = 2 (вибір із двох можливостей), то I = 1 біт.

приклад 1.Використання формули Хартлі для обчислення кількості інформації. Скільки біт інформації несе повідомлення про те, що

поїзд прибуває на один із 8 шляхів?

Формула Хартлі: I = log 2 N,

де N – число рівноймовірнісних результатів події, про яку йдеться у повідомленні,

I – кількість інформації у повідомленні.

I = log 2 8 = 3 (біт) Відповідь: 3 біти.

Модифікована формула Хартлі для нерівноймовірних подій.Оскільки наступ кожного з N можливих подій має однакову ймовірність

p = 1 / N, то N = 1 / pі формула має вигляд

I = log 2 N = log 2 (1/p) = - log 2 p

Кількісна залежність між ймовірністю події (p) та кількістю інформації у повідомленні про неї (I) виражається формулою:

I = log 2 (1/ p)

Імовірність події обчислюється за формулою p= K/ N, K - величина, що показує, скільки разів відбулася цікава для нас подія; N – загальна кількість можливих наслідків, подій. Якщо ймовірність зменшується, кількість інформації збільшується.

приклад 2.У класі 30 осіб. За контрольну роботуз математики отримано 6 п'ятірок, 15 четвірок, 8 трійок та 1 двійка. Скільки біт інформації несе повідомлення про те, що Іванов отримав четвірку?

Відповідь: 1 біт.

Використання формули Шеннона.Загальний випадок обчислення кількості інформації у повідомленні про одну з N, але вже нерівноймовірних подій. Цей підхід був запропонований К. Шенноном у 1948 році.

Основні інформаційні одиниці:

Iср= -

Значення Iср p i= 1 / N.

приклад 3.Скільки біт інформації несе випадково згенероване повідомлення фара, якщо в середньому на кожну тисячу букв у російських текстах буква а зустрічається 200 разів, буква ф - 2 рази, буква р - 40 разів.

Вважатимемо, що ймовірність появи символу в повідомленні збігається з частотою його появи в текстах. Тому літера «а» зустрічається із середньою частотою 200/1000=0,2; Ймовірність появи літери “а” у тексті (pa) можемо вважати приблизно рівною 0,2;

літера "ф" зустрічається з частотою 2/1000 = 0,002; літера "р" - з частотою 40/1000 = 0,04;

Аналогічно p р = 0,04, p ф = 0,002. Далі чинимо згідно з К.Шенноном. Беремо двійковий логарифм від величини 0,2 і називаємо те, що вийшло кількістю інформації, яку переносить одна-єдина літера "а" у тексті, що розглядається. Таку саму операцію проробимо для кожної літери. Тоді кількість власної інформації, що переноситься однією літерою, дорівнює log 2 1/ p i = - log 2 p i, Зручніше як міру кількості інформації користуватися середнім значенням кількості інформації, що припадає на символ алфавіту

Iср= -

Значення Iсрдосягає максимуму при рівноймовірних подіях, тобто за рівності всіх p i

p i= 1 / N.

І тут формула Шеннона перетворюється на формулу Хартлі.

I = M*I ср =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))= 4*(-(0,002*(-8,967)+0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0 ,46-0,19-0,46)) = 4 * 1,1325 = 4,53

Відповідь: 4,53 біта

Алфавітний підхід до вимірювання інформації

Алфавітний підхід використовують у техніці, у разі кількість інформації залежить від змісту, а залежить від потужності алфавіту і кількості символів у тексті.

Для кодування ASCII – потужність алфавіту = 256

I = log 2 256 = 8 (біт); При кодуванні символьної інформації в кодах кожен символ, включаючи пробіли і розділові знаки, кодується 1 байтом (8 бітами).

Одиниці виміру інформації у обчислювальній техніці

1 біт (технічний підхід)	мінімальна одиниця виміру інформації	кількість інформації вимірюється лише цілим числом біт
1 Кбайт (кілобайт)	2 10 байт = 1024 байт	~ 1 тисяча байт
1 Мбайт (мегабайт)	2 10 Кбайт = 2 20 байт	~ 1 мільйон байт
1 Гбайт (гігабайт)	2 10 Мбайт = 2 30 байт	~ 1 мільярд байт

• 3. Технології передачі. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Пристрої міжмережевого інтерфейсу: повторювачі, мости, маршрутизатори, шлюзи. Методи комутації та маршрутизації. Способи підвищення продуктивності мережі
• 5. Однорангові та серверні мережі: порівняльна характеристика. Основні види спеціалізованих серверів.
• 6. Технологічна основа Інтернету. Система адресації (IP-адреси, доменні імена, DNS). Основні протоколи спілкування у мережі.
• 7. Базові користувальницькі технології роботи в Інтернеті. WWW, FTP, TELNET, E-MAIL. Пошук інформації у мережі Інтернет.
• 9. Бази даних: дані, модель даних, база даних, система управління базами даних, інформаційна система. Моделі даних. Реляційна модель даних.
• 12. Проектування інформаційних систем. Структура та моделі життєвого циклу.
• 13. Моделювання та подання структури підприємства. Діаграми IDEF0.
• 14. Моделювання та подання потоків даних. DFD діаграми.
• 16. Експертні системи (ЕС): поняття, призначення, архітектура, особливості. Класифікація ЕС. Етапи розробки ЕС.
• 17. Основи знань експертних систем. Методи подання знань: логічні моделі, продукційні правила, кадри, семантичні мережі.
• 18 Знання. Види знань. Методи отримання знань: комунікативні, текстологічні.
• 19 Мови програмування, характеристики (Пролог, Delphi, C++).
• 20. Мови програмування, їх характеристики (PHP, Perl, JavaScript).
• 21. Цілі, завдання, принципи та основні напрями забезпечення інформаційної безпеки Російської Федерації. Правовий, організаційний, інженерно-технічний захист інформації.
• 22. Електронні видання: поняття, склад. Класифікація ЕІ. Реєстрація ЕІ.
• 23. Інформаційні ресурси: поняття, склад. Державні інформаційні ресурси.
• 24. Операційна система персонального комп'ютера як управління ресурсами (з прикладу досліджуваної ОС). Структура та компоненти ОС.
• 25. Шкідливе програмне забезпечення: класифікації, методи виявлення та видалення.
• 26 Структура web-додатків. Протокол HTTP. Cookie. Функції веб-програми. Протокол CGI.
• 27 Забезпечення надійності роботи ІВ. Транзакції. OLTP системи.
• 28. Ергономічні цілі та показники якості програмного продукту.
• 31.Інформаційний менеджмент: поняття та основні функції.
• 33 Стандартизація програмного забезпечення. Стандарти документування програмних засобів.
• 34. Оцінка якісних та кількісних характеристик інформаційних систем. Моделі оцінки характеристик надійності програмного та інформаційного забезпечення. Основні поняття, показники та методи забезпечення надійності інформаційних систем.
• 36.Особливості виконання інноваційних програм у сфері інформатизації (характеристика інформаційної політики у сфері інформатизації, принципи формування проекту та впровадження ІВ, управління проектами інформатизації).

Ця формула також як і формула Хартлі, в інформатиці застосовується для обчислення загальної кількості інформації за різних ймовірностей.

Як приклад різних нерівних ймовірностей можна навести вихід людей з казарми у військовій частині. З казарми можуть вийти і солдат, і офіцер, і навіть генерал. Але розподіл солдатів, офіцерів та генералів у казармі різний, що очевидно, адже солдатів буде найбільше, потім за кількістю йдуть офіцери і найрідкісніший вигляд будуть генерали. Так як ймовірності не рівні для всіх трьох видів військових, щоб підрахувати скільки інформації займе така подія і використовується формула Шеннона.

Для інших рівноймовірних подій, таких як підкидання монети (ймовірність того, що випаде орел або решка буде однаковою — 50 %) використовується формула Хартлі.

Тепер давайте розглянемо застосування цієї формули на конкретному прикладі:

В якому повідомлень міститься найменше інформації (Вважайте в бітах):

1. Василь з'їв 6 цукерок, із них 2 було барбариски.
2. У комп'ютері 10 папок, потрібний файл знайшовся у 9 папці.
3. Баба Люда зробила 4 пирога з м'ясом та 4 пирога з капустою. Григорій з'їв 2 пирога.
4. В Африці 200 днів суха погода, а 165 днів ллють мусони. африканець полював 40 днів на рік.

У цьому завдання звернемо увагу, що 1,2 і 3 варіанти, ці варіанти вважати легко, оскільки події рівноймовірні. І для цього ми будемо використовувати формулу Хартлі I = log 2 N(Рис.1) А ось з 4 пунком де видно, що розподіл днів не рівномірно (перевага у бік сухої погоди), що ж тоді нам в цьому випадку робити? Для таких подій і використовується формула Шеннона або інформаційної ентропії: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),(Рис.3)

ФОРМУЛА КІЛЬКОСТІ ІНФОРМАЦІЇ (ФОРМУЛА ХАРТЛІ, рис.1)

В якій:

• I - кількість інформації
• p — ймовірність того, що це події станеться

Події, що цікавлять нас, у нашому завданні це

1. Було дві барбариски із шести (2/6)
2. Була одна папка в якій знайшлася потрібний файл по відношенню до загальної кількості (1/10)
3. Усього пирогів було вісім з яких з'їдено григорієм два (2/8)
4. і останнє сорок днів полювання до двохсот посушливих днів і сорок днів полювання до сто шістдесяти п'яти дощових днів. (40/200) + (40/165)

таким чином отримуємо що:

ФОРМУЛА ІМОВІРНОСТІ ДЛЯ ПОДІЇ.

Де K — це подія, що цікавлять нас, а N загальна кількість цих подій, також щоб перевірити себе ймовірність тієї чи іншої події не може бути більше одиниці. (Бо ймовірних подій завжди менше)

ФОРМУЛА ШЕННОНА ДЛЯ ПІДРАХУНКУ ІНФОРМАЦІЇ (РИС.3)

Повернімося до нашого завдання та порахуємо скільки інформації міститься.

До речі, при підрахунку логарифму зручно використовувати сайт - https://planetcalc.ru/419/#

• Для першого випадку - 2/6 = 0,33 = і далі Log 2 0,33 = 1.599 біт
• Для другого випадку - 1/10 = 0,10 Log 2 0,10 = 3.322 біт
• Для третього - 2/8 = 0,25 = Log 2 0,25 = 2 біт
• Для четвертого - 40/200 + 40/165 = 0.2 і 0,24 відповідно, далі вважаємо за формулою -(0,2 * log 2 0,2) + - (o.24 * log 2 0.24) = 0.95856 біт

Таким чином відповідь для нашого завдання вийшла 4.