Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли: I = log 2 N или N = 2 i

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log 2 100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Приведем другие примеры равновероятных сообщений :

1. при бросании монеты: «выпала решка», «выпал орел»;

2. на странице книги: «количество букв чётное», «количество букв нечётное».

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и«первым выйдет из дверей здания мужчина ». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе .

Формула Шеннона: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),

где p i - вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p 1 , ..., p N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями .

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit - binary digit - двоичная цифра).

Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений (типа «орел»-«решка», «чет»-«нечет» и т.п.).

В вычислительной технике битом называют наименьшую «порцию» памяти компьютера, необходимую для хранения одного из двух знаков «0» и «1», используемых для внутримашинного представления данных и команд.

Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт , равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит ) единица информации.

Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку. Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными, и, следовательно, пополняют его знания.

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

За единицу количества информации принято такое количество информации, которое мы получаем при уменьшении неопределенности в 2 раза. Такая единица названа бит .

В компьютере информация представлена в двоичном коде или на машинном языке, алфавит которого состоит из двух цифр (0 и 1). Эти цифры можно рассматривать как два равновероятных состояния. При записи одного двоичного разряда реализуется выбор одного из двух возможных состояний (одной из двух цифр) и, следовательно, один двоичный разряд несет количество информации в 1 бит. Два двоичных разряда несут информацию 2 бита, три разряда – 3 бита и т.д.

Поставим теперь обратную задачу и определим: «Какое количество различных двоичных чисел N можно записать с помощью I двоичных разрядов?» С помощью одного двоичного разряда можно записать 2 различных числа (N=2=2 1), с помощью двух двоичных разрядов можно записать четыре двоичных числа (N=4=2 2), с помощью трех двоичных разрядов можно записать восемь двоичных чисел (N=8=2 3) и т.д.

В общем случае количество различных двоичных чисел можно определить по формуле

N – количество возможных событий (равновероятных)!!!;

В математике существует функция, с помощью которой решается показательное уравнение, эта функция называется логарифмом. Решение такого уравнения имеет вид:

Если события равновероятны , то количество информации определяется по данной формуле.

Количество информации для событий с различными вероятностями определяется по формуле Шеннона :

,

где I – количество информации;

N – количество возможных событий;

P i – вероятность отдельных событий.

Пример 3.4

В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?

Решение:

Поскольку вытаскивание любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится из уравнения: 2 I =32.

Но 32=2 5 . Следовательно, I=5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер.

Пример 3.5

Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Решение:

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильнее задавать «двоичные» вопросы, то есть вопросы, на которые можно ответить только «да» или «нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «да», а другое – ответу «нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («да» или «нет») будет нести максимальное количество информации (1 бит).

По формуле 2 и с помощью калькулятора получаем:

бита.

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

Пример 3.6

После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегося А, который выучил лишь половину билетов, и сообщение об оценке учащегося В, который выучил все билеты.

Решение:

Опыт показывает, что для учащегося А все четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке, можно вычислить по формуле (1):

На основании опыта можно также предположить, что для учащегося В наиболее вероятной оценкой является «5» (p 1 =1/2), вероятность оценки «4» в два раза меньше (p 2 =1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 =p 4 =1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2:

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

Пример 3.7

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Решение:

Так как количество шариков разного цвета неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

P б =0,1; P к =0,2; P с =0,3; P з =0,4.

События неравновероятны, поэтому для определения количества информации, содержащегося в сообщении о цвете шарика, воспользуемся формулой 2:

Для вычисления этого выражения, содержащего логарифмы можно воспользоваться калькулятором. I»1,85 бита.

Пример 3.8

Используя формулу Шеннона, достаточно просто определить, какое количество бит информации или двоичных разрядов необходимо, чтобы закодировать 256 различных символов. 256 различных символов можно рассматривать как 256 различных равновероятных состояний (событий). В соответствии с вероятностным подходом к измерению количества информации необходимое количество информации для двоичного кодирования 256 символов равно:

I=log 2 256=8 бит=1 байт

Следовательно, для двоичного кодирования 1 символа необходим 1 байт информации или 8 двоичных разрядов.

Какое количество информации содержится, к примеру, в тексте романа «Война и мир», во фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации? Важнейшим результатом теории информации является следующий вывод:«В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных».

В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте. Эти подходы используют математические понятия вероятности и логарифма.

Мы уже упоминали, что формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Подставив в формулу (1) вместо p i его (в равновероятном случае не зависящее отi ) значение, получим:

Таким образом, формула Хартли выглядит очень просто:

(2)

Из нее явно следует, что чем больше количество альтернатив (N ), тем больше неопределенность (H ). Эти величины связаны в формуле (2) не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам.

Заметьте, что энтропия будет являться целым числом лишь в том случае, если N является степенью числа 2, т.е. еслиN принадлежит ряду:{1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Рис. 10. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив).

Напомним, что такое логарифм.

Рис. 11. Нахождение логарифма b по основаниюa - это нахождениестепени , в которую нужно возвестиa , чтобы получитьb .

Логарифм по основанию 2 называется двоичным :

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Логарифм по основанию 10 –называется десятичным :

log 10 (100)=2 => 10 2 =100

Основные свойства логарифма:

log(1)=0, т.к. любое число в нулевой степени дает 1;

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Для решения обратных задач, когда известна неопределенность (H ) или полученное в результате ее снятия количество информации (I ) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выглядит еще проще:

(3)

Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (3), как N =2 3 =8 этажей .

Если же вопрос стоит так: “в доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?”, нужно воспользоваться формулой (2): I = log 2 (8)=3 бита .

1. Количество информации, получаемой в процессе сообщения

До сих пор мы приводили формулы для расчета энтропии (неопределенности) H , указывая, чтоH в них можно заменять наI , потому что количество информации, получаемоепри полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Но неопределенность может быть снята только частично, поэтому количество информации I , получаемой из некоторого сообщения, вычисляется какуменьшение энтропии, произошедшее в результате получения данногосообщения .

(4)

Для равновероятного случая , используя для расчета энтропии формулу Хартли, получим:

(5)

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того,во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если
, то
- полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.

Если
, то
- неопределенности не изменилась, следовательно, информации получено не было.

Если
, то
=>
, если
,
=>
. Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.

Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е.
, тоI= log 2 (2)=1 бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.

Рассмотрим в качестве примера опыт с колодой из 36 карт.

Рис. 12. Иллюстрация к опыту с колодой из 36-ти карт.

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (2), составляет H = log 2 (36)  5,17 бит . Вытянувший карту сообщает нам часть информации. Используя формулу (5), определим, какое количество информации мы получаем из этих сообщений:

Вариант A . “Это карт а красной масти ”.

I=log 2 (36/18)=log 2 (2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B . “Это карт а пиковой масти ”.

I=log 2 (36/9)=log 2 (4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log 2 (36)–log 2 (16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D . “Это одна карта из колоды".

I=log 2 (36/36)=log 2 (1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

Вариант D . “Это дама пик ".

I=log 2 (36/1)=log 2 (36)=5,17 бит (неопределенность полностью снята).

Априори известно, что шарик находится в одной из трех урн: А, В или С. Определите, сколько бит информации содержит сообщение о том, что он находится в урне В. Варианты: 1 бит, 1,58 бита, 2 бита, 2,25 бита.

Вероятность первого события составляет 0,5, а второго и третьего 0,25. Чему для такого распределения равна информационная энтропия. Варианты: 0,5 бита, 1 бит, 1,5 бита, 2 бита, 2,5 бита, 3 бита.

Вот список сотрудников некоторой организации:

Определите количество информации, недостающее для того, чтобы выполнить следующие просьбы:

Пожалуйста, позовите к телефону Иванову.

Меня интересует одна ваша сотрудница, она 1970 года рождения.

Какое из сообщений несет больше информации:

В результате подбрасывания монеты (орел, решка) выпала решка.

На светофоре (красный, желтый, зеленый) сейчас горит зеленый свет.

В результате подбрасывания игральной кости (1, 2, 3, 4, 5, 6) выпало 3 очка.

Информация будем определять через ее основные свойства (т.к. наряду с материей и энергией она является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена):

• информация приносит сведения, об окружающем мире которых в рассматриваемой точке не было до ее получения;
• информация не материальна и не может существовать в отрыве от формы представления информации (последовательностей сигналов или знаков - сообщений);
• сообщения содержат информацию лишь для тех, кто способен ее распознать.

Сообщения содержат информацию не потому, что копируют объекты реальной действительности, а по общественной договоренности о связи носителей и объектов, этим носителем обозначенных (например, слово обозначает некоторый предмет объективной действительности). Кроме того, носители могут быть сформированы естественно протекающими физическими процессами.

Для того чтобы сообщение можно было передать получателю, необходимо воспользоваться некоторым физическим процессом, способным с той или иной скоростью распространяться от источника к получателю сообщения. Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом.

Чтобы применить математические средства для изучения информации требуется отвлечься от смысла, содержания информации. Этот подход был общим для упомянутых нами исследователей, так как чистая математика оперирует с количественными соотношениями, не вдаваясь в физическую природу тех объектов, за которыми стоят соотношения. Поэтому, если смысл выхолощен из сообщений, то отправной точкой для информационной оценки события остается только множество отличных друг от друга событий и соответственно сообщений о них.

Пусть нас интересует следующая информация о состоянии некоторых объектов: в каком из четырех возможных состояний (твердое, жидкое, газообразное, плазма) находится некоторое вещество? на каком из четырех курсов техникума учится студент? Во всех этих случаях имеет место неопределенность интересующего нас события, характеризующаяся наличием выбора одной из четырех возможностей. Если в ответах на приведенные вопросы отвлечься от их смысла, то оба ответа будут нести одинаковое количество информации, так как каждый из них выделяет одно из четырех возможных состояний объекта и, следовательно, снимает одну и ту же неопределенность сообщения.

Неопределенность неотъемлема от понятия вероятности. Уменьшение неопределенности всегда связано с выбором (отбором) одного или нескольких элементов (альтернатив) из некоторой их совокупности. Такая взаимная обратимость понятий вероятности и неопределенности послужила основой для использования понятия вероятности при измерении степени неопределенность в теории информации. Если предположить, что любой из четырех ответов на вопросы равновероятен, то его вероятность во всех вопросах равна 1/4 .

Одинаковая вероятность ответов в этом примере обусловливает и равную неопределенность, снимаемую ответом в каждом из двух вопросов, а значит, каждый ответ несет одинаковую информацию.

Теперь попробуем сравнить следующие два вопроса: на каком из четырех курсов техникума учится студент? Как упадет монета при подбрасывании: вверх «гербом» или «цифрой»? В первом случае возможны четыре равновероятных ответа, во втором – два. Следовательно, вероятность какого-то ответа во втором случае больше, чем в первом (1/2 > 1/4 ), в то время как неопределенность, снимаемая ответами, больше в первом случае. Любой из возможных ответов на первый вопрос снимает большую неопределенность, чем любой ответ на второй вопрос. Поэтому ответ на первый вопрос несет больше информации! Следовательно, чем меньше вероятность какого-либо события, тем большую неопределенность снимает сообщение о его появлении и, следовательно, тем большую информацию оно несет.

Предположим, что какое-то событие имеет m равновероятных исходов. Таким событием может быть, например, появление любого символа из алфавита, содержащего m таких символов. Как измерить количество информации, которое может быть передано при помощи такого алфавита? Это можно сделать, определив число N возможных сообщений, которые могут быть переданы при помощи этого алфавита. Если сообщение формируется из одного символа, то N = m , если из двух, то N = m · m = m 2 . Если сообщение содержит n символов (n – длина сообщения), то N = mn . Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под опытом подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна.

При наличии алфавита, состоящего из одного символа, т.е. когда m = 1 , возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Между тем, значение N при m = 1 не обращается в нуль. Для двух независимых источников сообщений (или алфавита) с N 1 и N 2 числом возможных сообщений общее число возможных сообщений N = N 1 N 2 , в то время как логичнее было бы считать, что количество информации, получаемое от двух независимых источников, должно быть не произведением, а суммой составляющих величин.

Выход из положения был найден Р. Хартли , который предложил информацию I , приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений N :

I (N) = log N

Если же все множество возможных сообщений состоит из одного (N = m = 1 ), то

I (N) = log 1 = 0 ,

что соответствует отсутствию информации в этом случае. При наличии независимых источников информации с N 1 и N 2 числом возможных сообщений

I (N) = log N = log N 1 N 2 = log N 1 + log N 2

т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь.

Формула, предложенная Хартли , удовлетворяет предъявленным требованиям. Поэтому ее можно использовать для измерения количества информации. Если возможность появления любого символа алфавита равновероятна (а мы до сих пор предполагали, что это именно так), то эта вероятность р= 1/m . Полагая, что N = m , получим

I = log N = log m = log (1/p) = – log p ,

Полученная формула позволяет для некоторых случаев определить количество информации. Однако для практических целей необходимо задаться единицей его измерения. Для этого предположим, что информация – это устраненная неопределенность. Тогда в простейшем случае неопределенности выбор будет производиться между двумя взаимоисключающими друг друга равновероятными сообщениями, например между двумя качественными признаками: положительным и отрицательным импульсами, импульсом и паузой и т.п.

Количество информации, переданное в этом простейшем случае, наиболее удобно принять за единицу количества информации. Полученная единица количества информации, представляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита. (Название bit образовано из двух начальных и последней букв английского выражения binary unit , что значит двоичная единица.)

Бит является не только единицей количества информации, но и единицей измерения степени неопределенности. При этом имеется в виду неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода. На количество информации, получаемой из сообщения, влияет фактор неожиданности его для получателя, который зависит от вероятности получения того или иного сообщения. Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. Сообщение, вероятность

которого высока и, соответственно, низка степень неожиданности, несет немного информации.

Р. Хартли понимал, что сообщения имеют различную вероятность и, следовательно, неожиданность их появления для получателя неодинакова. Но, определяя количество информации, он пытался полностью исключить фактор «неожиданности». Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия

выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.

Наиболее широкое распространение при определении среднего количества информации, которое содержится в сообщениях от источников самой разной природы, получил подход. К Шеннона .

Рассмотрим следующую ситуацию. Источник передает элементарные сигналы k различных типов. Проследим за достаточно длинным отрезком сообщения. Пусть в нем имеется N 1 сигналов первого типа, N 2 сигналов второго типа, ..., N k сигналов k -го типа, причем N 1 + N 2 + ... + N k = N – общее число сигналов в наблюдаемом отрезке, f 1 , f 2 , ..., f k – частоты соответствующих сигналов. При возрастании длины отрезка сообщения каждая из частот стремится к фиксированному пределу, т.е.

lim f i = p i , (i = 1, 2, ..., k) ,

где р i можно считать вероятностью сигнала. Предположим, получен сигнал i -го типа с вероятностью р i , содержащий – log p i единиц информации. В рассматриваемом отрезке i -й сигнал встретится примерно Np i раз (будем считать, что N достаточно велико), и общая информация, доставленная сигналами этого типа, будет равна произведению Np i log р i . То же относится к сигналам любого другого типа, поэтому полное количество информации, доставленное отрезком из N сигналов, будет примерно равно. Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно это число разделить на N . При неограниченном росте приблизительное равенство перейдет в точное.

В результате будет получено асимптотическое соотношение – формула Шеннона . Оказалось, что формула, предложенная Хартли , представляет собой частный случай более общей формулы Шеннона .

Кроме этой формулы, Шенноном была предложена абстрактная схема связи, состоящая из пяти элементов (источника информации, передатчика, линии связи, приемника и адресата), и сформулированы теоремы о пропускной способности, помехоустойчивости, кодировании и т.д

60. Измерение информации – вероятностный и алфавитный подходы. Формулы Хартли, Шеннона. Пример в MS Ex с el .

С точки зрения на информацию, как на снятую неопределеность, количество информации в сообщении о каком-то событии зависит от вероятности совершения данного события.

Научный подход к оценке сообщений был предложен еще в 1928 году Р. Хартли. Расчетная формула Хартли для равновероятностных событий имеет вид:

I = log 2 N или 2 I = N ,

где N - количество равновероятных событий (число возможных выборов), I - количество информации.

Если N = 2 (выбор из двух возможностей), то I = 1 бит.

Пример 1. Использование формулы Хартли для вычисления количества информации. Сколько бит информации несет сообщение о том, что

поезд прибывает на один из 8 путей?

Формула Хартли: I = log 2 N ,

где N – число равновероятностных исходов события, о котором речь идет в сообщении,

I – количество информации в сообщении.

I = log 2 8 = 3(бит) Ответ: 3 бита.

Модифицированная формула Хартли для неравновероятностных событий. Так как наступление каждого из N возможных событий имеет одинаковую вероятность

p = 1 / N , то N = 1 / p и формула имеет вид

I = log 2 N= log 2 (1/p) = - log 2 p

Количественная зависимость между вероятностью события (p) и количеством информации в сообщении о нем (I) выражается формулой:

I = log 2 (1/ p )

Вероятность события вычисляется по формуле p = K / N , K – величина, показывающая, сколько раз произошло интересующее нас событие; N – общее число возможных исходов, событий. Если вероятность уменьшается, то количество информации увеличивается.

Пример 2. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Сколько бит информации несет сообщение о том, что Иванов получил четверку?

Ответ:1 бит.

Использование формулы Шеннона. Общий случай вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий. Этот подход был предложен К.Шенноном в 1948 году.

Основные информационные единицы:

I ср = -

Значение I ср p i = 1 / N .

Пример 3. Сколько бит информации несет случайно сгенерированное сообщение «фара», если в среднем на каждую тысячу букв в русских текстах буква «а» встречается 200 раз, буква «ф» - 2 раза, буква «р» - 40 раз.

Будем считать, что вероятность появления символа в сообщении совпадает с частотой его появления в текстах. Поэтому буква «а» встречается со средней частотой 200/1000=0,2; Вероятность появления буквы “а” в тексте (p a)можем считать приблизительно равной 0,2;

буква «ф» встречается с частотой 2/1000=0,002; буква «р» - с частотой 40/1000=0,04;

Аналогично, p р = 0,04, p ф = 0,002. Далее поступаем согласно К.Шеннону. Берем двоичный логарифм от величины 0,2 и называем то, что получилось количеством информации, которую переносит одна-единственная буква “а” в рассматриваемом тексте. Точно такую же операцию проделаем для каждой буквы. Тогда количество собственной информации, переносимой одной буквой равно log 2 1/ p i = - log 2 p i , Удобнее в качестве меры количества информации пользоваться средним значением количества информации, приходящейся на один символ алфавита

I ср = -

Значение I ср достигает максимума при равновероятных событиях, то есть при равенстве всех p i

p i = 1 / N .

В этом случае формула Шеннона превращается в формулу Хартли.

I = M*I ср =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))=4*(-(0,002*(-8,967)+0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0,46-0,19-0,46))=4*1,1325=4,53

Ответ: 4,53 бита

Алфавитный подход к измерению информации

Алфавитный подход используется в технике, в данном случае количество информации не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте.

Для кодировки ASCII – мощность алфавита=256

I=log 2 256=8(бит);При кодировании символьной информации в кодах каждый символ, включая пробелы и знаки препинания, кодируется 1 байтом (8 битами).

Единицы измерения информации в вычислительной технике

1 бит (технический подход)	минимальная единица измерения информации	количество информации измеряется только целым числом бит
1 Кбайт (килобайт)	2 10 байт = 1024 байт	~ 1 тысяча байт
1 Мбайт (мегабайт)	2 10 Кбайт = 2 20 байт	~ 1 миллион байт
1 Гбайт (гигабайт)	2 10 Мбайт = 2 30 байт	~ 1 миллиард байт

• 3. Технологии передачи данных. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Устройства межсетевого интерфейса: повторители, мосты, маршрутизаторы, шлюзы. Методы коммутации и маршрутизации. Способы повышения производительности сети
• 5 .Одноранговые и серверные сети: сравнительная характеристика. Основные виды специализированных серверов.
• 6. Технологическая основа сети Интернет. Система адресации (IP-адреса, доменные имена, система DNS). Основные протоколы общения в сети.
• 7. Базовые пользовательские технологии работы в сети Интернет. WWW, FTP, TELNET, E-MAIL. Поиск информации в сети Интернет.
• 9. Базы данных: данные, модель данных, база данных, система управления базами данных, информационная система. Модели данных. Реляционная модель данных.
• 12. Проектирование информационных систем. Структура и модели жизненного цикла.
• 13. Моделирование и представление структуры предприятия. Диаграммы IDEF0.
• 14. Моделирование и представление потоков данных. DFD-диаграммы.
• 16. Экспертные системы (ЭС): понятие, назначение, архитектура, отличительные особенности. Классификация ЭС. Этапы разработки ЭС.
• 17. Базы знаний экспертных систем. Методы представления знаний: логические модели, продукционные правила, фреймы, семантические сети.
• 18 Знания. Виды знаний. Методы извлечения знаний: коммуникативные, текстологические.
• 19 Языки программирования, их характеристики (Пролог, Delphi, C++).
• 20. Языки программирования, их характеристики (PHP, Perl, JavaScript).
• 21. Цели, задачи, принципы и основные направления обеспечения информационной безопасности Российской Федерации. Правовая, организационная, инженерно-техническая защита информации.
• 22. Электронные издания: понятие, состав. Классификация ЭИ. Регистрация ЭИ.
• 23. Информационные ресурсы: понятие, состав. Государственные информационные ресурсы.
• 24. Операционная система персонального компьютера как средство управления ресурсами (на примере изучаемой ОС). Структура и компоненты ОС.
• 25. Вредоносное программное обеспечение: классификации, методы обнаружения и удаления.
• 26 Структура web-приложений. Протокол HTTP. Cookie. Функции web-приложения. Протокол CGI.
• 27 Обеспечение надежности работы ИС. Транзакции. OLTP-системы.
• 28. Эргономические цели и показатели качества программного продукта.
• 31.Информационный менеджмент: понятие и основные функции.
• 33 Стандартизация в области программного обеспечения. Стандарты документирования программных средств.
• 34. Оценка качественных и количественных характеристик информационных систем. Модели оценки характеристик надежности программного и информационного обеспечения. Основные понятия, показатели и методы обеспечения надежности информационных систем.
• 36.Особенности выполнения инновационных программ в сфере информатизации (характеристика информационной политики в сфере информатизации, принципы формирования проекта и внедрения ИС, управление проектами информатизации).

Данная формула также как и формула Хартли, в информатике применяется для высчитывания общего количество информации при различных вероятностях.

В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части. Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы. Так как вероятности не равны для всех трех видов военных, для того чтобы подсчитать сколько информации займет такое событие и используется формула Шеннона .

Для других же равновероятных событий, таких как подброс монеты (вероятность того что выпадет орёл или решка будет одинаковой — 50 %) используется формула Хартли.

Теперь, давайте рассмотрим применение этой формулы на конкретном примере:

В каком сообщений содержится меньше всего информации (Считайте в битах):

1. Василий сьел 6 конфет, из них 2 было барбариски.
2. В комьютере 10 папок, нужный файл нашелся в 9 папке.
3. Баба Люда сделала 4 пирога с мясом и 4 пирога с капустой. Григорий сьел 2 пирога.
4. В Африке 200 дней сухая погода, а 165 дней льют муссоны. африканец охотился 40 дней в году.

В этой задаче обратим внимания что 1,2 и 3 варианты, эти варианты считать легко, так как события равновероятны. И для этого мы будем использовать формулу Хартли I = log 2 N (рис.1) А вот с 4 пунком где видно, что распределение дней не равномерно(перевес в сторону сухой погоды), что же тогда нам в этом случае делать? Для таких событий и используется формула Шеннона или информационной энтропии: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N), (рис.3)

ФОРМУЛА КОЛИЧЕСТВА ИНФОРМАЦИ (ФОРМУЛА ХАРТЛИ, РИС.1)

В которой:

• I — количество информации
• p — вероятность того что это события случиться

Интересующие нас события в нашей задаче это

1. Было две барбариски из шести (2/6)
2. Была одна папка в которой нашлась нужный файл по отношению к общему количеству (1/10)
3. Всего пирогов было восемь из которых сьедено григорием два (2/8)
4. и последнее сорок дней охоты по отношению к двести засушливым дням и сорок дней охоты к сто шестидесяти пяти дождливым дням. (40/200) + (40/165)

таким образом получаем что:

ФОРМУЛА ВЕРОЯТНОСТИ ДЛЯ СОБЫТИЯ.

Где K — это интересующие нас событие, а N общее количество этих событий, также чтобы проверить себя вероятность того или иного события не может быть больше единицы. (потому что вероятных событий всегда меньше)

ФОРМУЛА ШЕННОНА ДЛЯ ПОДСЧЕТА ИНФОРМАЦИИ (РИС.3)

Вернемся к нашей задаче и посчитаем сколько информации содержится.

Кстате, при подсчёте логарифма удобно использовать сайт — https://planetcalc.ru/419/#

• Для первого случая — 2/6 = 0,33 = и далее Log 2 0,33 = 1.599 бит
• Для второго случая — 1/10 = 0,10 Log 2 0,10 = 3.322 бит
• Для третьего — 2/8 = 0,25 = Log 2 0,25 = 2 бит
• Для четвертого — 40/200 + 40/165 = 0.2 и 0,24 соотвественно, далее считаем по формуле -(0,2 * log 2 0,2) +-(o.24 * log 2 0.24) = 0.95856 бит

Таким образом ответ для нашей задачи получился 4.