اعتبر المهندس الأمريكي ر. هارتلي عام 1928 أن عملية الحصول على المعلومات هي اختيار رسالة واحدة من مجموعة محدودة محددة مسبقًا من عدد N من الرسائل المحتملة بالتساوي، و كمية المعلوماتتم تعريف I الموجود في الرسالة المحددة على أنه اللوغاريتم الثنائي لـ N.

صيغة هارتلي:أنا = سجل 2 N أو N = 2 ط

لنفترض أنك بحاجة إلى تخمين رقم واحد من مجموعة أرقام من واحد إلى مائة. باستخدام صيغة هارتلي، يمكنك حساب مقدار المعلومات المطلوبة لهذا: I = log 2 100 > 6.644. وبالتالي، تحتوي الرسالة المتعلقة بالرقم الذي تم تخمينه بشكل صحيح على كمية من المعلومات تساوي تقريبًا 6.644 وحدة من المعلومات.

دعونا نعطي أمثلة أخرى رسائل محتملة على قدم المساواة :

1. عند رمي عملة معدنية: "ظهرت رؤوس"، "ظهرت رؤوس"؛

2. في صفحة الكتاب: «عدد الحروف زوجي»، «عدد الحروف فردي».

دعونا الآن نحدد ما إذا كان رسائل محتملة على قدم المساواة « وستكون المرأة أول من يغادر باب المبنى.و "أول رجل يغادر باب المبنى" من المستحيل الإجابة على هذا السؤال بشكل لا لبس فيه. كل هذا يتوقف على نوع المبنى الذي نتحدث عنه. إذا كانت هذه، على سبيل المثال، محطة مترو، فإن احتمال مغادرة الباب أولاً هو نفسه بالنسبة للرجل والمرأة، وإذا كانت هذه ثكنة عسكرية، فإن هذا الاحتمال بالنسبة للرجل أعلى بكثير منه بالنسبة للمرأة .

ولمشاكل من هذا النوع، اقترح العالم الأمريكي كلود شانون صيغة أخرى في عام 1948 تحديد كمية المعلومات، مع الأخذ في الاعتبار الاحتمالية غير المتكافئة المحتملة للرسائل في المجموعة .

صيغة شانون:أنا = - (ع 1 سجل 2 ع 1 + ص 2 سجل 2 ع 2 + . . + ع ن سجل 2 ع ن)،

حيث p i هو احتمال ذلك بالضبط الرسالة الأولىتم تسليط الضوء عليه في مجموعة من رسائل N.

من السهل أن نرى أنه إذا كانت الاحتمالات ص 1، ...، ص ن متساوية، فإن كل واحد منهم يساوي 1 / ن، وتتحول صيغة شانون إلى صيغة هارتلي.

بالإضافة إلى الطريقتين المدروستين لتحديد كمية المعلومات، هناك طرق أخرى. ومن المهم أن نتذكر أن أي نتائج نظرية لا تنطبق إلا على مجموعة معينة من الحالات، التي تحددها الافتراضات الأولية.

مثل وحدات المعلومات عرض كلود شانون قبول واحدة قليل(بت إنجليزي - رقم ثنائي - رقم ثنائي).

قليلفي نظرية المعلومات - كمية المعلومات اللازمة للتمييز بين رسالتين متساويتين في الاحتمال (مثل "الرؤوس" - "الذيول"، "الزوجية" - "الفردية"، وما إلى ذلك).

في تكنولوجيا الكمبيوترالبت هو أصغر "جزء" من ذاكرة الكمبيوتر مطلوب لتخزين أحد الحرفين "0" و"1"، ويستخدم للتمثيل الداخلي للبيانات والأوامر.

البتة وحدة قياس صغيرة جدًا. في الممارسة العملية، يتم استخدام وحدة أكبر في كثير من الأحيان - بايت، أي ما يعادل ثمانية بت. إنها على وجه التحديد ثماني بتات مطلوبة لتشفير أي من الأحرف الـ 256 لأبجدية لوحة مفاتيح الكمبيوتر (256 = 2 8).

كما يتم أيضًا استخدام وحدات أكبر من المعلومات المشتقة على نطاق واسع:

1 كيلو بايت (KB) = 1024 بايت = 210 بايت،

1 ميجا بايت (MB) = 1024 كيلو بايت = 220 بايت،

1 جيجابايت (GB) = 1024 ميجابايت = 230 بايت.

في الآونة الأخيرة، بسبب الزيادة في حجم المعلومات المعالجة، مثل الوحدات المشتقة مثل:

1 تيرابايت (TB) = 1024 جيجابايت = 240 بايت،

1 بيتابايت (PB) = 1024 تيرابايت = 250 بايت.

لكل وحدة من المعلومات، يمكن للمرء اختيار كمية المعلومات اللازمة للتمييز بين، على سبيل المثال، عشر رسائل محتملة متساوية. لن تكون ثنائية (بت)، بل عشرية ( ديت) وحدة المعلومات.

يتم تحديد كمية المعلومات الموجودة في الرسالة من خلال مقدار المعرفة التي تحملها هذه الرسالة للشخص الذي يستقبلها. تحتوي الرسالة على معلومات لشخص ما إذا كانت المعلومات الواردة فيها جديدة ومفهومة لهذا الشخص، وبالتالي توسع معرفته.

يمكن اعتبار المعلومات التي يتلقاها الشخص مقياسًا لتقليل عدم اليقين في المعرفة. إذا أدت بعض الرسائل إلى انخفاض في عدم اليقين في معرفتنا، فيمكننا القول أن هذه الرسالة تحتوي على معلومات.

يتم اعتبار وحدة المعلومات هي كمية المعلومات التي نحصل عليها عندما يتم تقليل عدم اليقين بمقدار مرتين. هذه الوحدة تسمى قليل.

في الكمبيوتر، يتم تقديم المعلومات بالرمز الثنائي أو لغة الآلة، والتي تتكون أبجديتها من رقمين (0 و 1). يمكن اعتبار هذه الأرقام بمثابة حالتين محتملتين متساويتين. عند كتابة رقم ثنائي واحد، يتم تنفيذ اختيار إحدى الحالتين المحتملتين (واحد من رقمين)، وبالتالي، يحمل رقم ثنائي واحد كمية معلومات تبلغ 1 بت. تحمل وحدتان ثنائيتان بتتين من المعلومات، وثلاث بتات تحمل 3 بتات، وما إلى ذلك.

دعونا الآن نطرح المسألة العكسية ونحدد: "كم عدد الأرقام الثنائية المختلفة N التي يمكن كتابتها باستخدام أرقام ثنائية؟" باستخدام رقم ثنائي واحد يمكنك كتابة رقمين مختلفين (N=2=2 1)، باستخدام رقمين ثنائيين يمكنك كتابة أربعة أرقام ثنائية (N=4=2 2)، باستخدام ثلاثة أرقام ثنائية يمكنك كتابة ثمانية أرقام ثنائية (N) =8=2 3)، إلخ.

بشكل عام، يمكن تحديد عدد الأرقام الثنائية المختلفة بواسطة الصيغة

N – عدد الأحداث المحتملة (محتمل بنفس القدر)!!!;

في الرياضيات، هناك دالة تستخدم لحل معادلة أسية، وتسمى هذه الدالة اللوغاريتم. حل هذه المعادلة هو :

إذا الأحداث محتمل بنفس القدر ، ثم يتم تحديد كمية المعلومات بواسطة هذه الصيغة.

كمية المعلومات للأحداث مع احتمالات مختلفة حدد بواسطة صيغة شانون :

,

حيث أنا كمية المعلومات؛

N – عدد الأحداث المحتملة؛

P i – احتمال الأحداث الفردية.

مثال 3.4

هناك 32 كرة في طبلة اليانصيب. ما مقدار المعلومات التي تحتويها الرسالة حول الرقم الأول المرسوم (على سبيل المثال، تم رسم الرقم 15)؟

حل:

بما أن سحب أي من الكرات الـ 32 هو احتمال متساوٍ، فإن مقدار المعلومات حول رقم واحد مرسوم يمكن إيجاده من المعادلة: 2 I = 32.

لكن 32=25. ولذلك، أنا = 5 بت. من الواضح أن الإجابة لا تعتمد على الرقم الذي يتم رسمه.

مثال 3.5

كم عدد الأسئلة التي تحتاج إلى طرحها على محاورك لتحديد الشهر الذي ولد فيه بشكل مؤكد؟

حل:

دعونا نعتبر 12 شهرًا بمثابة 12 حدثًا محتملاً. إذا سألت عن شهر ميلاد معين، فقد تضطر إلى طرح 11 سؤالا (إذا تم تلقي إجابة سلبية على الأسئلة الـ 11 الأولى، فليس من الضروري طرح السؤال الثاني عشر، لأنه سيكون صحيحا).

والأصح طرح الأسئلة "الثنائية"، أي الأسئلة التي لا يمكن الإجابة عليها إلا بـ "نعم" أو "لا". على سبيل المثال، "هل ولدت في النصف الثاني من العام؟" يقسم كل سؤال من هذا القبيل مجموعة الخيارات إلى مجموعتين فرعيتين: إحداهما تتوافق مع الإجابة "نعم"، والأخرى تتوافق مع الإجابة "لا".

الإستراتيجية الصحيحة هي طرح الأسئلة بطريقة تقلل عدد الخيارات الممكنة إلى النصف في كل مرة. عندها سيكون عدد الأحداث المحتملة في كل مجموعة من المجموعات الفرعية الناتجة هو نفسه ويكون تخمينها محتملًا بنفس القدر. في هذه الحالة، في كل خطوة ستكون الإجابة ("نعم" أو "لا"). الحد الأقصى للمبلغالمعلومات (1 بت).

باستخدام الصيغة 2 وباستخدام الآلة الحاسبة نحصل على:

مضرب.

ويتوافق عدد بتات المعلومات المتلقاة مع عدد الأسئلة المطروحة، ولكن لا يمكن أن يكون عدد الأسئلة عددًا غير صحيح. نقوم بالتقريب إلى عدد صحيح أكبر ونحصل على الإجابة: باستخدام الإستراتيجية الصحيحة، عليك أن تضعها لا يزيد عن 4 أسئلة.

مثال 3.6

بعد امتحان علوم الكمبيوتر الذي قام به أصدقاؤك، يتم الإعلان عن الدرجات ("2" أو "3" أو "4" أو "5"). ما مقدار المعلومات التي ستنقلها الرسالة الخاصة بدرجة الطالب أ، الذي تعلم نصف التذاكر فقط، والرسالة الخاصة بدرجة الطالب ب، الذي تعلم جميع التذاكر.

حل:

تظهر التجربة أنه بالنسبة للطالب "أ" تكون جميع التقييمات (الأحداث) الأربعة محتملة بالتساوي ومن ثم يمكن حساب كمية المعلومات التي تحملها رسالة التقييم باستخدام الصيغة (1):

بناءً على الخبرة، يمكننا أيضًا أن نفترض أن الدرجة الأكثر احتمالاً للطالب ب هي "5" (ع 1 = 1/2)، واحتمال الدرجة "4" أقل مرتين (ع 2 = 1/4)، ولا يزال احتمال الدرجات "2" و"3" أقل مرتين (ع 3 = ع 4 = 1/8). وبما أن الأحداث ليست محتملة بنفس القدر، فسوف نستخدم الصيغة 2 لحساب كمية المعلومات في الرسالة:

أظهرت الحسابات أنه مع الأحداث المحتملة بنفس القدر، نحصل على معلومات أكثر من الأحداث المحتملة غير المتكافئة.

مثال 3.7

تحتوي حقيبة غير شفافة على 10 كرات بيضاء و20 كرة حمراء و30 كرة زرقاء و40 كرة خضراء. ما مقدار المعلومات التي ستحتويها الرسالة المرئية حول لون الكرة التي تمت إزالتها؟

حل:

وبما أن عدد الكرات ذات الألوان المختلفة ليس واحدًا، فإن احتمالات الرسائل المرئية حول لون الكرة التي يتم إخراجها من الكيس تختلف أيضًا وتساوي عدد الكرات من لون معين مقسومًا على إجمالي عدد الكرات :

ف ب = 0.1؛ ف ك = 0.2؛ ف الصورة =0.3؛ ف ض =0.4.

الأحداث ليست محتملة على قدم المساواة، لذلك لتحديد كمية المعلومات الواردة في الرسالة حول لون الكرة، نستخدم الصيغة 2:

لحساب هذا التعبير الذي يحتوي على اللوغاريتمات، يمكنك استخدام الآلة الحاسبة. أنا"1.85 بت.

مثال 3.8

باستخدام صيغة شانون، من السهل جدًا تحديد عدد بتات المعلومات أو الأرقام الثنائية اللازمة لتشفير 256 شخصيات مختلفة. يمكن اعتبار 256 رمزًا مختلفًا بمثابة 256 حالة (أحداث) مختلفة ومتساوية الاحتمال. وفقا للنهج الاحتمالي لقياس كمية المعلومات، فإن كمية المعلومات المطلوبة ل الترميز الثنائي 256 حرفًا يساوي:

أنا = سجل 2 256 = 8 بت = 1 بايت

لذلك، للتشفير الثنائي لحرف واحد، يلزم وجود بايت واحد من المعلومات أو 8 بتات ثنائية.

ما مقدار المعلومات الموجودة، على سبيل المثال، في نص رواية "الحرب والسلام"، أو في اللوحات الجدارية لرافائيل، أو في الشفرة الوراثية البشرية؟ لا يقدم العلم إجابات على هذه الأسئلة، وفي جميع الاحتمالات، لن يقدم إجابات قريبا. هل من الممكن قياس كمية المعلومات بشكل موضوعي؟ إن أهم نتيجة لنظرية المعلومات هي الاستنتاج التالي: "في ظل ظروف معينة وواسعة جدًا، من الممكن إهمال السمات النوعية للمعلومات، والتعبير عن كميتها كرقم، وكذلك مقارنة كمية المعلومات الموجودة في مجموعات مختلفة من البيانات."

في الوقت الحالي، أصبحت أساليب تحديد مفهوم "كمية المعلومات" منتشرة على نطاق واسع، على أساس أن المعلومات الواردة في الرسالة يمكن تفسيرها بشكل فضفاض بمعنى حداثتها، أو بمعنى آخر، تقليل عدم اليقين بشأن معرفتنا بالموضوع.تستخدم هذه الأساليب المفاهيم الرياضية للاحتمال واللوغاريتم.

لقد ذكرنا من قبل أن صيغة هارتلي هي حالة خاصة من صيغة شانون للبدائل ذات الاحتمال المتساوي.

استبدال في الصيغة (1) بدلا من ذلك ص أنا(في الحالة المحتملة بنفس القدر، مستقلة عن أنا) القيمة فنحصل على :

وهكذا تبدو صيغة هارتلي بسيطة للغاية:

(2)

ويترتب على ذلك بوضوح أنه كلما زاد عدد البدائل ( ن) ، كلما زاد عدم اليقين ( ح). وترتبط هذه الكميات في الصيغة (2) ليس خطيا، ولكن من خلال لوغاريتم ثنائي. اللوغاريتم للأساس 2 يقلل من عدد الخيارات لوحدات المعلومات - البتات.

لاحظ أن الإنتروبيا ستكون عددًا صحيحًا فقط إذا نهي قوة 2، أي. لو نينتمي إلى السلسلة: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

أرز. 10. تعتمد الإنتروبيا على عدد الاختيارات ذات الاحتمال المتساوي (البدائل المتكافئة).

دعونا نذكرك ما هو اللوغاريتم.

أرز. 11. إيجاد اللوغاريتم بمرتكز على أ- يجد درجات، الذي تحتاج إلى البناء عليه أ، ليحصل ب.

يسمى اللوغاريتم ذو الأساس 2 الثنائية:

سجل 2 (8)=3 => 2 3 =8

سجل 2 (10)=3.32 => 2 3.32 =10

يسمى اللوغاريتم للأساس 10 عدد عشري:

سجل 10 (100)=2 => 10 2 =100

الخصائص الأساسية للوغاريتم:

سجل (1) = 0، لأن أي رقم أس صفر يعطي 1؛

سجل(أ ب)=ب*سجل(أ);

log(a*b)=log(a)+log(b);

سجل(أ/ب)=سجل(أ)-سجل(ب);

سجل(1/ب)=0-سجل(ب)=-سجل(ب).

لحل المسائل العكسية عند عدم اليقين ( ح) أو مقدار المعلومات التي تم الحصول عليها نتيجة لإزالتها ( أنا) وتحتاج إلى تحديد عدد البدائل المحتملة المتساوية التي تتوافق مع حدوث عدم اليقين هذا، استخدم صيغة هارتلي العكسية، والتي تبدو أبسط:

(3)

على سبيل المثال، إذا كان من المعروف أنه نتيجة لتحديد أن كوليا إيفانوف التي تهمنا تعيش في الطابق الثاني، تم الحصول على 3 أجزاء من المعلومات، فيمكن تحديد عدد الطوابق في المنزل باستخدام الصيغة (3)، مثل ن=2 3 = 8 طوابق.

إذا كان السؤال هو: "يوجد 8 طوابق في المنزل، ما مقدار المعلومات التي تلقيناها عندما علمنا أن كوليا إيفانوف مهتمة بالعيش في الطابق الثاني؟"، نحتاج إلى استخدام الصيغة (2): أنا= سجل 2 (8) = 3 بت.

1. مقدار المعلومات المستلمة أثناء عملية الرسالة

لقد قدمنا ​​حتى الآن صيغًا لحساب الإنتروبيا (عدم اليقين) ح، مشيرا الى حيمكن استبدالها بـ أنا، لأن كمية المعلومات الواردة عند إزالتها بالكاملريبةلحالة معينة تساوي كميا الإنتروبيا الأولية لهذه الحالة.

لكن لا يمكن إزالة عدم اليقين إلا جزئيا، وبالتالي فإن كمية المعلوماتأنا، المستلمة من بعض الرسائل، يتم حسابها كـ انخفاض الانتروبيا الناتج عن الحصول علىمنح رسائل.

(4)

للحالة المحتملة على قدم المساواةوباستخدام صيغة هارتلي لحساب الانتروبيا نحصل على:

(5)

المساواة الثانية مشتقة على أساس خصائص اللوغاريتم. وهكذا، في الحالة المحتملة على قدم المساواة أنايعتمد على كم مرةلقد تغير عدد الاختيارات التي تم النظر فيها (التنوع في الاعتبار).

وبناء على (5) يمكن استنتاج ما يلي:

لو
، الذي - التي
- الإزالة الكاملة لحالة عدم اليقين، حيث أن كمية المعلومات الواردة في الرسالة تساوي حالة عدم اليقين التي كانت موجودة قبل استلام الرسالة.

لو
، الذي - التي
- عدم اليقين لم يتغير، وبالتالي، لم يتم تلقي أي معلومات.

لو
، الذي - التي
=>
، لو
,
=>
. أولئك. ستكون كمية المعلومات المستلمة قيمة موجبة إذا انخفض عدد البدائل قيد النظر نتيجة لتلقي الرسالة، وسالبة إذا زادت.

إذا انخفض عدد البدائل المعتبرة نتيجة لتلقي الرسالة إلى النصف، أي.
، الذي - التي أنا=سجل 2 (2) = 1 بت.بمعنى آخر، تلقي بت واحد من المعلومات يلغي نصف الخيارات المكافئة من الاعتبار.

لنأخذ على سبيل المثال تجربة مجموعة مكونة من 36 بطاقة.

أرز. 12. رسم توضيحي للتجربة بمجموعة مكونة من 36 بطاقة.

اطلب من شخص ما أن يأخذ بطاقة واحدة من على سطح السفينة. نحن مهتمون بمعرفة أي من البطاقات الـ 36 التي أخرجها. عدم اليقين الأولي المحسوب باستخدام الصيغة (2) هو ح= سجل 2 (36)  5.17 بت. الشخص الذي يرسم البطاقة يخبرنا ببعض المعلومات. باستخدام الصيغة (5)، نحدد مقدار المعلومات التي نتلقاها من هذه الرسائل:

خيارأ. "هذاكارتأأحمر بدلة”.

I=log 2 (36/18)=log 2 (2)=1 بت (توجد نصف بطاقات حمراء في المجموعة، وقد انخفض عدم اليقين بمقدار مرتين).

خيارب. "هذاكارتأقمة بدلة”.

I=log 2 (36/9)=log 2 (4)=2 بت (تشكل البطاقات المجرفه ربع المجموعة، وقد انخفض عدم اليقين بمقدار 4 مرات).

الخيار ج. "هذه إحدى الأوراق العالية: جاك، أو الملكة، أو الملك، أو الآس."

I=log 2 (36) –log 2 (16)=5.17-4=1.17 بت (انخفض عدم اليقين بأكثر من النصف، وبالتالي فإن كمية المعلومات المستلمة تزيد عن بت واحد).

خيارد. "هذه بطاقة واحدة من على سطح السفينة."

I=log 2 (36/36)=log 2 (1)=0 بت (لم ينخفض ​​عدم اليقين - الرسالة ليست مفيدة).

خيارد. "هذه سيدةقمة".

I=log 2 (36/1)=log 2 (36)=5.17 بت (تمت إزالة عدم اليقين تمامًا).

من المعروف مسبقًا أن الكرة موجودة في إحدى الجرار الثلاث: A أو B أو C. حدد عدد أجزاء المعلومات الموجودة في الرسالة التي تشير إلى أنها موجودة في الجرة B. الخيارات: 1 بت، 1.58 بت، 2 بت، 2.25 بت.

احتمال الحدث الأول هو 0.5، والثاني والثالث هو 0.25. ما هي إنتروبيا المعلومات لمثل هذا التوزيع؟ الخيارات: 0.5 بت، 1 بت، 1.5 بت، 2 بت، 2.5 بت، 3 بت.

فيما يلي قائمة بموظفي منظمة معينة:

تحديد كمية المعلومات المفقودة لتلبية الطلبات التالية:

يرجى الاتصال بإيفانوفا على الهاتف.

أنا مهتم بأحد موظفيكم، فهي من مواليد عام 1970.

ما هي الرسالة التي تحتوي على مزيد من المعلومات:

نتيجة رمي العملة (الصورة والكتابة)، تكون النتيجة كتابة.

إشارات المرور (الأحمر والأصفر والأخضر) أصبحت الآن خضراء.

ونتيجة رمي النرد (1، 2، 3، 4، 5، 6)، تم الحصول على 3 نقاط.

سنحدد المعلومات من خلال خصائصها الأساسية (نظرًا لأنها، إلى جانب المادة والطاقة، هي المفهوم الأساسي لعالمنا وبالتالي لا يمكن تعريفها بالمعنى الدقيق للكلمة):

• فالمعلومات تجلب معلومات عن العالم المحيط لم تكن متاحة في النقطة المعنية قبل تلقيها؛
• المعلومات ليست مادية ولا يمكن أن توجد بمعزل عن شكل عرض المعلومات (تسلسل الإشارات أو الإشارات – الرسائل)؛
• تحتوي الرسائل على معلومات فقط لأولئك القادرين على التعرف عليها.

تحتوي الرسائل على معلومات ليس لأنها تنسخ كائنات من الواقع، ولكن وفقًا لاتفاق اجتماعي حول العلاقة بين الناقلين والأشياء التي يعينها هذا الناقل (على سبيل المثال، تشير الكلمة إلى بعض كائنات الواقع الموضوعي). بالإضافة إلى ذلك، يمكن تشكيل ناقلات من خلال العمليات الفيزيائية التي تحدث بشكل طبيعي.

لكي يتم نقل الرسالة إلى المستلم، من الضروري استخدام بعض العمليات الفيزيائية التي يمكن أن تنتشر بسرعة أو بأخرى من المصدر إلى مستلم الرسالة. تسمى العملية الفيزيائية المتغيرة بمرور الوقت والتي تعكس الرسالة المرسلة بالإشارة.

لاستخدام الأدوات الرياضية لدراسة المعلومات، تحتاج إلى التجريد من معنى المعلومات ومحتواها. وهذا المنهج كان شائعا عند الباحثين الذين ذكرناهم، إذ إن الرياضيات البحتة تعمل بعلاقات كمية دون الخوض في الطبيعة الفيزيائية للأشياء التي تقف خلفها العلاقات. ولذلك، إذا تم إخصاء المعنى من الرسائل، فإن نقطة البداية ل تقييم المعلوماتالأحداث، فلا يبقى إلا مجموعة من الأحداث التي تختلف عن بعضها البعض، وبالتالي الرسائل المتعلقة بها.

دعونا نهتم بالمعلومات التالية حول حالة بعض الأجسام: في أي من الحالات الأربع المحتملة (الصلبة، السائلة، الغازية، البلازما) توجد مادة ما؟ أي من دورات المدرسة الفنية الأربعة يدرس فيها الطالب؟ وفي كل هذه الحالات، هناك حالة من عدم اليقين بشأن الحدث الذي يهمنا، ويتميز بوجود خيار من بين أربعة احتمالات. إذا قمنا في الإجابات على الأسئلة المذكورة أعلاه بتجريد معناها، فإن كلتا الإجابتين ستحملان نفس القدر من المعلومات، حيث أن كل منهما يحدد إحدى الحالات الأربع المحتملة للكائن، وبالتالي يزيل نفس عدم اليقين في الرسالة .

عدم اليقين متأصل في مفهوم الاحتمال. يرتبط تقليل عدم اليقين دائمًا باختيار (اختيار) واحد أو أكثر من العناصر (البدائل) من مجموعة معينة منها. كان هذا الانعكاس المتبادل لمفاهيم الاحتمالية وعدم اليقين بمثابة الأساس لاستخدام مفهوم الاحتمالية عند قياس درجة عدم اليقين في نظرية المعلومات. إذا افترضنا أن أيًا من الإجابات الأربعة للأسئلة متساوي في احتمالها، فإن احتمالها في جميع الأسئلة متساوٍ 1/4 .

إن الاحتمال المتساوي للإجابات في هذا المثال يحدد أيضًا عدم اليقين المتساوي الذي تمت إزالته بواسطة الإجابة في كل سؤال من السؤالين، مما يعني أن كل إجابة تحمل نفس المعلومات.

والآن دعونا نحاول المقارنة بين السؤالين التاليين: أي من المقررات الدراسية الأربعة في المدرسة الفنية يدرسها الطالب؟ كيف ستسقط العملة عند رميها: مقلوبة أم مقلوبة؟ في الحالة الأولى، هناك أربع إجابات محتملة على قدم المساواة ممكنة، في الثانية - اثنان. ولذلك فإن احتمال وجود إجابة ما في الحالة الثانية أكبر منه في الأولى ( 1/2 > 1/4 )، في حين أن عدم اليقين الذي تزيله الإجابات يكون أكبر في الحالة الأولى. أي إجابة محتملة للسؤال الأول تزيل قدرًا أكبر من عدم اليقين من أي إجابة للسؤال الثاني. لذلك فإن إجابة السؤال الأول تحتوي على معلومات أكثر! وبالتالي، كلما انخفض احتمال وقوع حدث ما، زاد عدم اليقين الذي تزيله الرسالة حول حدوثه، وبالتالي زادت المعلومات التي تحملها.

لنفترض أن بعض الأحداث لديها مالنتائج المحتملة على قدم المساواة. مثل هذا الحدث يمكن أن يكون، على سبيل المثال، ظهور أي حرف من الحروف الأبجدية يحتوي على مثل هذه الأحرف. كيفية قياس كمية المعلومات التي يمكن نقلها باستخدام مثل هذه الأبجدية؟ ويمكن القيام بذلك عن طريق تحديد الرقم نالرسائل المحتملة التي يمكن إرسالها باستخدام هذه الأبجدية. إذا كانت الرسالة مكونة من حرف واحد، إذن ن = م، إذا كان من اثنين، ثم ن = م م = م 2. إذا كانت الرسالة تحتوي على أحرف n ( ن- طول الرسالة)، ثم ن = مليون. يبدو أنه تم العثور على المقياس المطلوب لكمية المعلومات. ويمكن فهمه على أنه مقياس لعدم اليقين بشأن نتيجة التجربة، إذا كنا نعني بالتجربة الاختيار العشوائي لرسالة من عدد معين من الرسائل المحتملة. ومع ذلك، فإن هذا الإجراء ليس مناسبا تماما.

إذا كان هناك أبجدية مكونة من حرف واحد، أي. متى م = 1، قد يظهر هذا الرمز فقط. لذلك، ليس هناك شك في هذه الحالة، وظهور هذا الرمز لا ينقل أي معلومات. وفي الوقت نفسه، المعنى نفي م = 1لا يذهب إلى الصفر. لمصدرين مستقلين للرسائل (أو الأبجدية) مع ن 1و ن 2عدد الرسائل المحتملة العدد الإجمالي للرسائل المحتملة ن = ن 1 ن 2، في حين أنه سيكون من المنطقي أكثر اعتبار أن كمية المعلومات الواردة من مصدرين مستقلين لا ينبغي أن تكون منتجًا، بل مجموع كميات المكونات.

تم العثور على طريقة للخروج آر هارتليالذي قدم المعلومات أنالكل رسالة واحدة، يتم تحديده من خلال لوغاريتم العدد الإجمالي للرسائل المحتملة ن:

أنا (ن) = سجل ن

إذا كانت المجموعة الكاملة للرسائل المحتملة تتكون من رسالة واحدة ( ن = م = 1)، الذي - التي

أنا(ن) = سجل 1 = 0,

وهو ما يتوافق مع نقص المعلومات في هذه الحالة. إذا كانت هناك مصادر مستقلة للمعلومات من ن 1و ن 2عدد الرسائل الممكنة

أنا (N) = سجل N = سجل N 1 N 2 = سجل N 1 + سجل N 2

أولئك. كمية المعلومات لكل رسالة تساوي مجموع كميات المعلومات التي سيتم تلقيها من مصدرين مستقلين، بشكل منفصل.

الصيغة المقترحة هارتلي، يفي بالمتطلبات. ولذلك، يمكن استخدامه لقياس كمية المعلومات. إذا كان احتمال ظهور أي رمز من رموز الأبجدية محتملاً بنفس القدر (وقد افترضنا حتى الآن أن هذا هو الحال بالضبط)، فإن هذا الاحتمال ص= 1/م. الاعتقاد بذلك ن = م، نحن نحصل

I = log N = log m = log (1/p) = – log p,

تسمح الصيغة الناتجة لبعض الحالات بتحديد كمية المعلومات. ومع ذلك، لأغراض عملية، من الضروري تحديد وحدة القياس. للقيام بذلك، افترض أن المعلومات قد تم التخلص من عدم اليقين. بعد ذلك، في أبسط حالة من عدم اليقين، سيتم الاختيار بين رسالتين متنافيتين ومتساويتين في الاحتمال، على سبيل المثال، بين سمتين نوعيتين: النبضات الإيجابية والسلبية، والاندفاع والتوقف، وما إلى ذلك.

يتم التعامل مع كمية المعلومات المرسلة في هذه الحالة الأبسط على أنها وحدة كمية المعلومات. وتسمى وحدة المعلومات الناتجة، والتي هي عبارة عن اختيار بين حدثين محتملين متساويين، بوحدة ثنائية أو بت. (اسم قليلتتكون من الحرفين الأول والأخير من التعبير الإنجليزي وحدة ثنائية، وهو ما يعني وحدة ثنائية.)

البت ليس وحدة معلومات فحسب، بل هو أيضًا وحدة عدم اليقين. يشير هذا إلى حالة عدم اليقين الموجودة في تجربة واحدة لها نتيجتان محتملتان متساويتان. يتأثر مقدار المعلومات الواردة من الرسالة بعامل المفاجأة بالنسبة للمستلم، والذي يعتمد على احتمالية تلقي رسالة معينة. كلما انخفض هذا الاحتمال، زادت الرسالة غير المتوقعة، وبالتالي أصبحت أكثر إفادة. رسالة، احتمال

الذي يتمتع بدرجة عالية ومنخفضة من المفاجأة، يحمل القليل من المعلومات.

آر هارتليفهم أن الرسائل لها احتمالات مختلفة، وبالتالي فإن مفاجأة ظهورها بالنسبة للمستلم ليست هي نفسها. ولكن عند تحديد كمية المعلومات، حاول القضاء تمامًا على عامل "المفاجأة". وبالتالي فإن الصيغة هارتلييسمح لك بتحديد مقدار المعلومات في الرسالة فقط في الحالة التي يكون فيها ظهور الرموز محتملاً بشكل متساوٍ وتكون مستقلة إحصائيًا. في الممارسة العملية هذه الشروط

نادرا ما يتم تنفيذها. عند تحديد كمية المعلومات، من الضروري أن نأخذ في الاعتبار ليس فقط عدد الرسائل المختلفة التي يمكن تلقيها من المصدر، ولكن أيضًا احتمالية استلامها.

الطريقة الأكثر استخدامًا لتحديد متوسط ​​كمية المعلومات الواردة في الرسائل الواردة من مصادر ذات طبيعة متنوعة هي ما يلي. ل شانون.

النظر في الوضع التالي. المصدر ينقل الإشارات الأولية ك أنواع مختلفة. دعونا نتبع مقطعًا طويلًا إلى حد ما من الرسالة. فليكن ن 1إشارات من النوع الأول ن 2إشارات من النوع الثاني، ...، نكإشارات ك-النوع، و ن 1 + ن 2 + ... + ن ك = ن- العدد الإجمالي للإشارات في الجزء المرصود، و 1، و 2، ...، و ك- ترددات الإشارات المقابلة. ومع زيادة طول مقطع الرسالة، يميل كل تردد إلى حد ثابت، أي.

ليم f i = p i , (i = 1, 2, ..., k),

أين باييمكن اعتبار احتمال الإشارة. لنفترض أنه تم استلام إشارة أنا-النوع مع الاحتمال باي، تحتوي - com.logpiوحدات المعلومات. في الجزء المدروس أنا-ستتم مواجهة الإشارة تقريبًا نيب طمرات (سنفترض ذلك نكبيرة بما فيه الكفاية) و معلومات عامة، التي يتم تسليمها بواسطة إشارات من هذا النوع ستكون مساوية للمنتج Np أنا سجل Р i. الأمر نفسه ينطبق على الإشارات من أي نوع آخر، وبالتالي فإن إجمالي كمية المعلومات التي يتم تسليمها بواسطة شريحة من نستكون الإشارات متساوية تقريبًا. لتحديد متوسط ​​كمية المعلومات لكل إشارة، أي. محتوى معلومات محدد للمصدر، تحتاج إلى تقسيم هذا الرقم عليه ن. ومع النمو غير المحدود، ستتحول المساواة التقريبية إلى مساواة تامة.

ونتيجة لذلك، سيتم الحصول على علاقة مقاربة - الصيغة شانون. اتضح أن الصيغة المقترحة هارتلي، هي حالة خاصة لأكثر من ذلك صيغة عامة شانون.

بالإضافة إلى هذه الصيغة، اقترح شانون مخطط اتصال تجريدي يتكون من خمسة عناصر (مصدر المعلومات، المرسل، خط الاتصال، المستقبل والمرسل إليه)، وصياغة نظريات حول عرض النطاق، الحصانة من الضوضاء، والترميز، وما إلى ذلك.

60. قياس المعلومات - النهج الاحتمالي والأبجدي. صيغ هارتلي وشانون. مثال فيآنسةالسابقمعش.

من وجهة نظر المعلومات باعتبارها إزالة عدم اليقين، فإن كمية المعلومات الموجودة في الرسالة حول حدث ما تعتمد على احتمالية وقوع هذا الحدث.

تم اقتراح النهج العلمي لتقييم الرسائل في عام 1928 من قبل ر. هارتلي. محسوب صيغة هارتلي للأحداث متساوية الاحتماللديه النموذج:

أنا = سجل 2 نأو 2أنا = ن,

حيث N هو الرقم محتمل بنفس القدرالأحداث (عدد الخيارات الممكنة)، أنا - كمية المعلومات.

إذا كان N = 2 (الاختيار من بين احتمالين)، فأنا = 1 بت.

مثال 1.استخدام صيغة هارتلي لحساب كمية المعلومات. كم عدد بتات المعلومات التي تنقلها الرسالة؟

هل يصل القطار على أحد المسارات الثمانية؟

صيغة هارتلي: أنا = سجل 2 ن,

حيث N هو عدد النتائج المحتملة بالتساوي للحدث المشار إليه في الرسالة،

I - كمية المعلومات في الرسالة.

أنا = سجل 2 8 = 3 (بتات) الإجابة: 3 بتات.

صيغة هارتلي المعدلة للأحداث غير المحتملة.بما أن وقوع كل حدث من الأحداث المحتملة N له نفس الاحتمال

ص = 1 / ن، الذي - التي ن = 1 / صوالصيغة تبدو

I = سجل 2 N= سجل 2 (1/ع) = - سجل 2 ص

يتم التعبير عن العلاقة الكمية بين احتمال وقوع حدث (ع) وكمية المعلومات في الرسالة عنه (I) بالصيغة:

أنا = سجل 2 (1/ ص)

يتم حساب احتمالية الحدث باستخدام الصيغة ص= ك/ ن، K - قيمة توضح عدد مرات وقوع الحدث الذي يهمنا؛ N هو العدد الإجمالي للنتائج والأحداث المحتملة. فإذا قل الاحتمال، زادت كمية المعلومات.

مثال 2.هناك 30 شخصا في الفصل. خلف امتحانفي الرياضيات حصلت على 6 درجات أ، و15 درجة ب، و8 درجات ج، ودرجة واحدة د. كم عدد أجزاء المعلومات التي تحملها الرسالة التي تفيد بأن إيفانوف تلقى "ب"؟

الجواب: 1 بت.

باستخدام صيغة شانون.الحالة العامة لحساب كمية المعلومات في رسالة حول أحد الأحداث N، ولكن غير المتكافئة. تم اقتراح هذا النهج من قبل ك. شانون في عام 1948.

وحدات المعلومات الأساسية:

أناتزوج= -

معنى أناتزوج باي= 1 / ن.

مثال 3.كم عدد أجزاء المعلومات التي تحملها رسالة "المصباح الأمامي" التي يتم إنشاؤها عشوائيًا، إذا ظهر الحرف "a" في المتوسط ​​لكل ألف حرف في النصوص الروسية 200 مرة، والحرف "f" - مرتين، والحرف "r" - 40 مرات.

سنفترض أن احتمال ظهور الرمز في الرسالة يتزامن مع تكرار ظهوره في النصوص. ولذلك فإن الحرف "a" يظهر بمتوسط ​​تردد 200/1000 = 0.2؛ يمكن اعتبار احتمالية ظهور الحرف "أ" في النص (p a) مساوية تقريبًا لـ 0.2؛

الحرف "f" يحدث بتكرار 2/1000=0.002؛ الحرف "p" - بتردد 40/1000=0.04؛

وبالمثل، ص ص = 0.04، ص و = 0.002. بعد ذلك نتصرف وفقًا لـ K. Shannon. نحن نأخذ اللوغاريتم الثنائي للقيمة 0.2 ونطلق على ما نحصل عليه كمية المعلومات المنقولة بواسطة حرف واحد "a" في النص المعني. سنقوم بتنفيذ نفس العملية بالضبط لكل حرف. إذن فإن كمية المعلومات الجوهرية التي يحملها حرف واحد تساوي سجل 2 1/ باي = - سجل 2 باي, من الملائم أكثر استخدام متوسط ​​كمية المعلومات لكل حرف من الحروف الأبجدية كمقياس لكمية المعلومات

أناتزوج= -

معنى أناتزوجيصل إلى الحد الأقصى للأحداث المحتملة على قدم المساواة، أي عندما تكون جميع p i متساوية

باي= 1 / ن.

في هذه الحالة، تتحول صيغة شانون إلى صيغة هارتلي.

I = M*I متوسط ​​=4*(-(0.002*سجل 2 0.002+0.2* سجل 2 0.2+0.04* سجل 2 0.04+0.2* سجل 2 0.2))= 4*(-(0.002*(-8.967)+ 0.2*(-2.322)+0.04*(-4.644)+0.2*(-2.322)))=4*(-(-0.018-0 .46-0.19-0.46))=4*1.1325=4.53

الجواب: 4.53 بت

النهج الأبجدي لقياس المعلومات

يتم استخدام النهج الأبجدي في التكنولوجيا؛ وفي هذه الحالة، لا تعتمد كمية المعلومات على المحتوى، بل تعتمد على قوة الأبجدية وعدد الأحرف في النص.

بالنسبة لترميز ASCII - قوة الأبجدية = 256

I=log 2 256=8(bits); عند تشفير معلومات الأحرف في الرموز، يتم تشفير كل حرف، بما في ذلك المسافات وعلامات الترقيم، بمقدار بايت واحد (8 بتات).

وحدات قياس المعلومات في الحوسبة

1 بت (النهج الفني)	الحد الأدنى من وحدة المعلومات	يتم قياس كمية المعلومات فقط بعدد صحيح من البتات
1 كيلو بايت (كيلو بايت)	2 10 بايت = 1024 بايت	~ 1 ألف بايت
1 ميجابايت (ميجابايت)	2 10 كيلو بايت = 2 20 بايت	~1 مليون بايت
1 جيجابايت (جيجابايت)	210 ميجابايت = 230 بايت	~1 مليار بايت

• 3. تقنيات نقل البيانات. إيثرنت، Token Ring، ISDN، X.25، ترحيل الإطارات.
• 4. أجهزة البوابة: أجهزة إعادة الإرسال، الجسور، أجهزة التوجيه، البوابات. طرق التحويل والتوجيه. طرق تحسين أداء الشبكة
• 5. شبكات الند للند والخادم: الخصائص المقارنة. الأنواع الرئيسية للخوادم المتخصصة.
• 6. الأساس التكنولوجي للإنترنت. نظام العنونة (عناوين IP وأسماء النطاق ونظام DNS). بروتوكولات الاتصال الأساسية على الشبكة.
• 7. تقنيات المستخدم الأساسية للعمل على الإنترنت. شبكة الاتصالات العالمية، بروتوكول نقل الملفات، التلنت، البريد الإلكتروني. البحث عن المعلومات على شبكة الإنترنت.
• 9. قواعد البيانات: البيانات، نموذج البيانات، قاعدة البيانات، نظام إدارة قواعد البيانات، نظام المعلومات. نماذج البيانات. نموذج البيانات العلائقية.
• 12. تصميم نظم المعلومات. هيكل دورة الحياة ونماذجها.
• 13. نمذجة وعرض هيكل المؤسسة. الرسوم البيانية IDEF0.
• 14. نمذجة وعرض تدفقات البيانات. مخططات DFD.
• 16. الأنظمة الخبيرة (ES): المفهوم، الغرض، الهندسة المعمارية، السمات المميزة. تصنيف ES. مراحل تطور ES.
• 17. القواعد المعرفية للأنظمة الخبيرة. طرق تمثيل المعرفة: النماذج المنطقية، قواعد الإنتاج، الإطارات، الشبكات الدلالية.
• 18 المعرفة. أنواع المعرفة. طرق استخلاص المعرفة: التواصلية، النصية.
• 19 لغة برمجة وخصائصها (Prolog، Delphi، C++).
• 20. لغات البرمجة وخصائصها (PHP، Perl، JavaScript).
• 21. الأهداف والغايات والمبادئ والاتجاهات الرئيسية لضمان أمن المعلومات في الاتحاد الروسي. الحماية القانونية والتنظيمية والهندسية والفنية للمعلومات.
• 22. المنشورات الإلكترونية: المفهوم والتكوين. تصنيف EI. تسجيل EI.
• 23. موارد المعلومات: المفهوم والتكوين. موارد معلومات الدولة.
• 24. نظام تشغيل الكمبيوتر الشخصي كوسيلة لإدارة الموارد (باستخدام مثال نظام التشغيل قيد الدراسة). هيكل نظام التشغيل ومكوناته.
• 25. البرامج الضارة: التصنيفات وطرق الكشف والإزالة.
• 26 هيكل تطبيقات الويب. بروتوكول HTTP. بسكويت. وظائف تطبيقات الويب. بروتوكول CGI.
• 27 ضمان موثوقية تشغيل IS. المعاملات. أنظمة OLTP.
• 28. الأهداف المريحة ومؤشرات الجودة لمنتج برمجي.
• 31. إدارة المعلومات: المفهوم والوظائف الرئيسية.
• 33 التقييس في مجال البرمجيات. معايير توثيق البرمجيات.
• 34. تقييم الخصائص النوعية والكمية لنظم المعلومات. نماذج لتقييم خصائص موثوقية دعم البرمجيات والمعلومات. المفاهيم والمؤشرات والأساليب الأساسية لضمان موثوقية نظم المعلومات.
• 36. ملامح تنفيذ البرامج المبتكرة في مجال المعلوماتية (خصائص سياسة المعلومات في مجال المعلوماتية، مبادئ تكوين المشروع وتنفيذ نظم المعلومات، إدارة مشاريع المعلوماتية).

تُستخدم هذه الصيغة، مثل صيغة هارتلي، في علوم الكمبيوتر لحساب إجمالي كمية المعلومات باحتمالات مختلفة.

مثال على الاحتمالات غير المتكافئة المختلفة هو خروج الناس من الثكنات في وحدة عسكرية. يمكن للجندي والضابط وحتى الجنرال مغادرة الثكنات. لكن توزيع الجنود والضباط والجنرالات في الثكنات مختلف، وهذا أمر واضح، لأنه سيكون هناك أكثر الجنود، ثم الضباط عددا، والنوع الأكثر ندرة سيكون الجنرالات. نظرًا لأن الاحتمالات ليست متساوية بالنسبة لجميع أنواع القوات المسلحة الثلاثة، فمن أجل حساب مقدار المعلومات التي سيستغرقها مثل هذا الحدث، نستخدم صيغة شانون.

بالنسبة للأحداث الأخرى ذات الاحتمال المتساوي، مثل رمي العملة المعدنية (احتمال ظهور الصورة أو الصورة هو نفسه - 50%)، يتم استخدام صيغة هارتلي.

والآن لننظر إلى تطبيق هذه الصيغة باستخدام مثال محدد:

أي رسالة تحتوي على أقل المعلومات (العدد بالبت):

1. أكل فاسيلي 6 حلويات، 2 منها من البرباريس.
2. يوجد 10 مجلدات على جهاز الكمبيوتر، تم العثور على الملف المطلوب في المجلد 9.
3. قام بابا لودا بإعداد 4 فطائر باللحم و 4 فطائر بالملفوف. أكل غريغوري فطيرتين.
4. تتمتع أفريقيا بـ 200 يوم من الطقس الجاف و165 يومًا من الأمطار الموسمية. يصطاد الأفريقي 40 يومًا في السنة.

في هذه المسألة، دعونا ننتبه إلى حقيقة أن الخيارات 1 و 2 و 3 يسهل حسابها، لأن الأحداث متساوية في احتمال حدوثها. ولهذا سوف نستخدم صيغة هارتلي أنا = سجل 2 ن(الشكل 1) لكن مع النقطة 4 حيث من الواضح أن توزيع الأيام ليس متساويا (الرجحان نحو الطقس الجاف)، فماذا يجب علينا أن نفعل في هذه الحالة؟ لمثل هذه الأحداث، يتم استخدام صيغة شانون أو إنتروبيا المعلومات: أنا = - (ع 1 سجل 2 ع 1 + ص 2 سجل 2 ع 2 + . . + ع ن سجل 2 ع ن)،(تين. 3)

صيغة كمية المعلومات (صيغة هارتلي، الشكل 1)

حيث:

• أنا - كمية المعلومات
• p هو احتمال حدوث هذا الحدث

الأحداث التي تهمنا في مشكلتنا هي

1. كان هناك اثنان من البرباريس من أصل ستة (2/6)
2. يوجد مجلد واحد تم العثور فيه على الملف المطلوب بالنسبة للعدد الإجمالي (1/10)
3. كان هناك ثمانية فطائر في المجموع، أكل غريغوري اثنتين منها (2/8)
4. وآخر أربعين يوما من الصيد إلى مائتي يوما جافا وأربعين يوما من الصيد إلى مائة وخمسة وستين يوما ممطرا. (40/200) + (40/165)

وهكذا نحصل على أن:

صيغة الاحتمال لحدث ما.

حيث K هو الحدث الذي نهتم به، و N هو العدد الإجمالي لهذه الأحداث، وللتحقق أيضًا بنفسك، لا يمكن أن يكون احتمال وقوع حدث معين أكبر من واحد. (لأن هناك دائمًا عدد أقل من الأحداث المحتملة)

صيغة شانون لحساب المعلومات (الشكل 3)

دعنا نعود إلى مهمتنا ونحسب مقدار المعلومات الموجودة.

بالمناسبة، عند حساب اللوغاريتم، من المناسب استخدام الموقع - https://planetcalc.ru/419/#

• في الحالة الأولى - 2/6 = 0.33 = ثم سجل 2 0.33 = 1.599 بت
• للحالة الثانية - 1/10 = 0.10 سجل 2 0.10 = 3.322 بت
• للثالث - 2/8 = 0.25 = السجل 2 0.25 = 2 بت
• للرابع - 40/200 + 40/165 = 0.2 و 0.24 على التوالي، ثم نحسب باستخدام الصيغة -(0.2 * سجل 2 0.2) + -(o.24 * سجل 2 0.24) = 0.95856 بت

وهكذا كان الجواب لمشكلتنا 4.