Ο Αμερικανός μηχανικός R. Hartley το 1928 θεώρησε τη διαδικασία λήψης πληροφοριών ως την επιλογή ενός μηνύματος από ένα πεπερασμένο προκαθορισμένο σύνολο N ισοπιθανών μηνυμάτων και ποσότητα πληροφοριώνΤο I που περιέχεται στο επιλεγμένο μήνυμα ορίστηκε ως ο δυαδικός λογάριθμος του N.

Φόρμουλα Hartley: I = log 2 N ή N = 2 i

Ας υποθέσουμε ότι πρέπει να μαντέψετε έναν αριθμό από ένα σύνολο αριθμών από το ένα έως το εκατό. Χρησιμοποιώντας τον τύπο Hartley, μπορείτε να υπολογίσετε πόσες πληροφορίες απαιτούνται για αυτό: I \u003d log 2 100\u003e 6.644. Έτσι, ένα μήνυμα σχετικά με έναν σωστά εικασμένο αριθμό περιέχει μια ποσότητα πληροφοριών περίπου ίση με 6.644 μονάδες πληροφοριών.

Εδώ είναι μερικά άλλα παραδείγματα ισότιμα ​​μηνύματα :

1. όταν πετάτε ένα κέρμα: "ουρές έπεσαν έξω", "ουρές έπεσαν έξω";

2. στη σελίδα του βιβλίου: «ο αριθμός των γραμμάτων είναι ζυγός», «ο αριθμός των γραμμάτων είναι περιττός».

Ας προσδιορίσουμε τώρα αν ισότιμα ​​μηνύματα « η γυναίκα θα βγει πρώτη από την πόρτα του κτιρίου»Και «Ο άντρας θα είναι ο πρώτος που θα βγει από την πόρτα του κτιρίου". Είναι αδύνατο να απαντηθεί αυτό το ερώτημα με σαφήνεια. Όλα εξαρτώνται από το είδος του κτιρίου μιλάμε. Εάν πρόκειται, για παράδειγμα, για σταθμό του μετρό, τότε η πιθανότητα να βγείτε πρώτα από την πόρτα είναι η ίδια για έναν άνδρα και μια γυναίκα, και εάν πρόκειται για στρατιωτικό στρατώνα, τότε για έναν άνδρα αυτή η πιθανότητα είναι πολύ μεγαλύτερη από ό,τι για έναν γυναίκα.

Για προβλήματα αυτού του είδους, ο Αμερικανός επιστήμονας Claude Shannon πρότεινε το 1948 έναν άλλο τύπο προσδιορίζοντας την ποσότητα των πληροφοριών, λαμβάνοντας υπόψη την πιθανή άνιση πιθανότητα μηνυμάτων στο σύνολο .

Τύπος Shannon: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),

όπου p i είναι η πιθανότητα ότι ακριβώς i-ο μήνυμαεπιλεγμένο σε ένα σύνολο Ν μηνυμάτων.

Είναι εύκολο να δούμε ότι αν οι πιθανότητες p 1 , ..., p N είναι ίσες, τότε καθεμία από αυτές είναι ίση με 1 / N και ο τύπος του Shannon μετατρέπεται στον τύπο του Hartley.

Εκτός από τις δύο εξεταζόμενες προσεγγίσεις για τον προσδιορισμό του όγκου των πληροφοριών, υπάρχουν και άλλες. Είναι σημαντικό να θυμόμαστε ότι τυχόν θεωρητικά αποτελέσματα είναι εφαρμόσιμα μόνο σε ένα συγκεκριμένο εύρος περιπτώσεων, που περιγράφονται από τις αρχικές παραδοχές.

Οπως και μονάδες πληροφοριών Ο Claude Shannon προσφέρθηκε να πάρει ένα κομμάτι(Αγγλικό bit - δυαδικό ψηφίο - δυαδικό ψηφίο).

Κομμάτιστη θεωρία της πληροφορίας - ο όγκος των πληροφοριών που απαιτούνται για τη διάκριση μεταξύ δύο εξίσου πιθανών μηνυμάτων (όπως "κεφάλια" - "ουρές", "ζυγά" - "περίεργα" κ.λπ.).

ΣΕ επιστήμη των υπολογιστώνΤο bit είναι το μικρότερο "τμήμα" της μνήμης του υπολογιστή που απαιτείται για την αποθήκευση ενός από τους δύο χαρακτήρες "0" και "1" που χρησιμοποιούνται για την ενδομηχανική αναπαράσταση δεδομένων και εντολών.

Το bit είναι πολύ μικρή μονάδα μέτρησης. Στην πράξη, μια μεγαλύτερη μονάδα χρησιμοποιείται πιο συχνά - ψηφιόλεξηίσο με οκτώ bit. Είναι οκτώ bit που απαιτούνται για την κωδικοποίηση οποιουδήποτε από τους 256 χαρακτήρες του αλφαβήτου του πληκτρολογίου του υπολογιστή (256=28).

Ακόμη και μεγαλύτερες παράγωγες μονάδες πληροφοριών χρησιμοποιούνται επίσης ευρέως:

1 Kilobyte (KB) = 1024 byte = 210 byte,

1 Megabyte (MB) = 1024 KB = 220 byte,

1 Gigabyte (GB) = 1024 MB = 230 byte.

Πρόσφατα, λόγω της αύξησης του όγκου των επεξεργασμένων πληροφοριών, προκύπτουν μονάδες όπως:

1 Terabyte (TB) = 1024 GB = 240 byte,

1 Petabyte (PB) = 1024 TB = 250 byte.

Για μια μονάδα πληροφοριών, θα μπορούσε κανείς να επιλέξει την ποσότητα πληροφοριών που χρειάζεται για να διακρίνει, για παράδειγμα, δέκα εξίσου πιθανά μηνύματα. Δεν θα είναι δυαδικό (bit), αλλά δεκαδικό ( dit) μονάδα πληροφοριών.

Η ποσότητα των πληροφοριών που περιέχονται στο μήνυμα καθορίζεται από την ποσότητα γνώσης που μεταφέρει αυτό το μήνυμα στο άτομο που το λαμβάνει. Ένα μήνυμα περιέχει πληροφορίες για ένα άτομο εάν οι πληροφορίες που περιέχονται σε αυτό είναι νέες και κατανοητές για αυτό το άτομο και, ως εκ τούτου, αναπληρώνει τις γνώσεις του.

Οι πληροφορίες που λαμβάνει ένα άτομο μπορούν να θεωρηθούν ως μέτρο μείωσης της αβεβαιότητας της γνώσης. Εάν ένα συγκεκριμένο μήνυμα οδηγεί σε μείωση της αβεβαιότητας των γνώσεών μας, τότε μπορούμε να πούμε ότι ένα τέτοιο μήνυμα περιέχει πληροφορίες.

Η μονάδα της ποσότητας πληροφοριών λαμβάνεται ως η ποσότητα των πληροφοριών που λαμβάνουμε όταν η αβεβαιότητα μειωθεί κατά 2 φορές. Αυτή η μονάδα ονομάζεται κομμάτι.

Σε έναν υπολογιστή, οι πληροφορίες παρουσιάζονται σε δυαδικό κώδικα ή σε γλώσσα μηχανής, το αλφάβητο του οποίου αποτελείται από δύο ψηφία (0 και 1). Αυτά τα στοιχεία μπορούν να θεωρηθούν ως δύο ισοπιθανές καταστάσεις. Όταν γράφετε ένα δυαδικό ψηφίο, υλοποιείται η επιλογή μιας από τις δύο πιθανές καταστάσεις (ένα από δύο ψηφία) και, επομένως, ένα δυαδικό ψηφίο μεταφέρει την ποσότητα πληροφοριών σε 1 bit. Δύο δυαδικά bit μεταφέρουν πληροφορίες 2 bit, τρία bit - 3 bit κ.λπ.

Ας ορίσουμε τώρα το αντίστροφο πρόβλημα και ας προσδιορίσουμε: «Πόσοι διαφορετικοί δυαδικοί αριθμοί N μπορούν να γραφτούν χρησιμοποιώντας δυαδικά ψηφία I;» Με ένα δυαδικό ψηφίο, μπορείτε να γράψετε 2 διαφορετικούς αριθμούς (N=2=2 1), με δύο δυαδικά ψηφία, μπορείτε να γράψετε τέσσερις δυαδικούς αριθμούς (N=4=2 2), με τρία δυαδικά ψηφία, μπορείτε να γράψετε οκτώ δυαδικά αριθμοί (Ν =8=2 3) κ.λπ.

Στη γενική περίπτωση, ο αριθμός των διαφορετικών δυαδικών αριθμών μπορεί να προσδιοριστεί από τον τύπο

N είναι ο αριθμός των πιθανών γεγονότων (ισόποσο)!!!;

Στα μαθηματικά, υπάρχει μια συνάρτηση με την οποία λύνεται μια εκθετική εξίσωση, αυτή η συνάρτηση ονομάζεται λογάριθμος. Η λύση σε μια τέτοια εξίσωση είναι:

Αν τα γεγονότα ισοπιθανος , τότε η ποσότητα των πληροφοριών καθορίζεται από αυτόν τον τύπο.

Ο όγκος των πληροφοριών για εκδηλώσεις με διαφορετικές πιθανότητες αποφασισμένος από Η φόρμουλα του Shannon :

,

όπου εγώ είναι ο όγκος των πληροφοριών.

N είναι ο αριθμός των πιθανών γεγονότων.

P i είναι η πιθανότητα μεμονωμένων γεγονότων.

Παράδειγμα 3.4

Υπάρχουν 32 μπάλες στο τύμπανο του λαχείου. Πόσες πληροφορίες περιέχει το μήνυμα για τον πρώτο αριθμό που κληρώθηκε (για παράδειγμα, ο αριθμός 15 έπεσε έξω);

Λύση:

Εφόσον η σχεδίαση οποιασδήποτε από τις 32 μπάλες είναι εξίσου πιθανή, η ποσότητα των πληροφοριών για έναν αριθμό που έπεσε βρίσκεται από την εξίσωση: 2 I =32.

Αλλά 32=2 5 . Επομένως, I=5 bit. Προφανώς, η απάντηση δεν εξαρτάται από τον αριθμό που κληρώνεται.

Παράδειγμα 3.5

Πόσες ερωτήσεις είναι αρκετές για να κάνετε στον συνομιλητή σας για να προσδιορίσετε με βεβαιότητα τον μήνα που γεννήθηκε;

Λύση:

Θα εξετάσουμε τους 12 μήνες ως 12 πιθανά γεγονότα. Εάν ρωτάτε για έναν συγκεκριμένο μήνα γέννησης, τότε ίσως χρειαστεί να κάνετε 11 ερωτήσεις (αν οι πρώτες 11 ερωτήσεις απαντήθηκαν αρνητικά, τότε η 12η ερώτηση δεν είναι απαραίτητη, αφού θα είναι σωστή).

Είναι πιο σωστό να κάνουμε «δυαδικές» ερωτήσεις, δηλαδή ερωτήσεις που μπορούν να απαντηθούν μόνο με «ναι» ή «όχι». Για παράδειγμα, «Γεννήθηκες το δεύτερο εξάμηνο του έτους;». Κάθε τέτοια ερώτηση χωρίζει το σύνολο των επιλογών σε δύο υποσύνολα: το ένα αντιστοιχεί στην απάντηση «ναι» και το άλλο στην απάντηση «όχι».

Η σωστή στρατηγική είναι να κάνετε ερωτήσεις με τέτοιο τρόπο ώστε ο αριθμός των πιθανών επιλογών να μειώνεται στο μισό κάθε φορά. Τότε ο αριθμός των πιθανών γεγονότων σε καθένα από τα ληφθέντα υποσύνολα θα είναι ο ίδιος και η εικασία τους είναι εξίσου πιθανή. Σε αυτή την περίπτωση, σε κάθε βήμα, η απάντηση ("ναι" ή "όχι") θα έχει μέγιστο ποσόπληροφορίες (1 bit).

Σύμφωνα με τον τύπο 2 και χρησιμοποιώντας μια αριθμομηχανή, παίρνουμε:

κομμάτι.

Ο αριθμός των ληφθέντων bits πληροφοριών αντιστοιχεί στον αριθμό των ερωτήσεων που τέθηκαν, αλλά ο αριθμός των ερωτήσεων δεν μπορεί να είναι ένας μη ακέραιος αριθμός. Στρογγυλοποιούμε σε έναν μεγαλύτερο ακέραιο αριθμό και παίρνουμε την απάντηση: με τη σωστή στρατηγική, πρέπει να ορίσετε όχι περισσότερες από 4 ερωτήσεις.

Παράδειγμα 3.6

Μετά τις εξετάσεις πληροφορικής που έδωσαν οι φίλοι σας, ανακοινώνονται οι βαθμοί ("2", "3", "4" ή "5"). Πόσες πληροφορίες θα μεταφέρει το μήνυμα για την αξιολόγηση του μαθητή Α, που έμαθε μόνο τα μισά εισιτήρια, και το μήνυμα για την αξιολόγηση του μαθητή Β, που έμαθε όλα τα δελτία.

Λύση:

Η εμπειρία δείχνει ότι για τον μαθητή Α, και οι τέσσερις βαθμοί (γεγονότα) είναι εξίσου πιθανοί και, στη συνέχεια, ο όγκος των πληροφοριών που φέρει το μήνυμα του βαθμού μπορεί να υπολογιστεί χρησιμοποιώντας τον τύπο (1):

Με βάση την εμπειρία, μπορούμε επίσης να υποθέσουμε ότι για τον μαθητή Β, ο πιο πιθανός βαθμός είναι "5" (p 1 = 1/2), η πιθανότητα ενός βαθμού "4" είναι το μισό (p 2 = 1/4) , και οι πιθανότητες των βαθμών "2 "και" 3 "είναι ακόμα δύο φορές μικρότερες (p 3 \u003d p 4 \u003d 1/8). Δεδομένου ότι τα γεγονότα δεν είναι εξίσου πιθανά, θα χρησιμοποιήσουμε τον τύπο 2 για να υπολογίσουμε την ποσότητα των πληροφοριών στο μήνυμα:

Οι υπολογισμοί έχουν δείξει ότι με τα ισοπιθανά συμβάντα λαμβάνουμε περισσότερες πληροφορίες από ό,τι με τα μη ισοπιθανά γεγονότα.

Παράδειγμα 3.7

Μια αδιαφανής τσάντα περιέχει 10 λευκά, 20 κόκκινα, 30 μπλε και 40 πράσινα μάρμαρα. Πόσες πληροφορίες θα περιέχουν ένα οπτικό μήνυμα σχετικά με το χρώμα της κληρωμένης μπάλας.

Λύση:

Δεδομένου ότι ο αριθμός των σφαιρών διαφορετικών χρωμάτων δεν είναι ο ίδιος, οι πιθανότητες οπτικών μηνυμάτων σχετικά με το χρώμα της μπάλας που βγήκε από την τσάντα διαφέρουν επίσης και είναι ίσες με τον αριθμό των μπάλες ενός δεδομένου χρώματος διαιρεμένο με τον συνολικό αριθμό των σφαιρών :

Pb =0,1; Ρ έως =0,2; Pc =0,3; P s \u003d 0,4.

Τα γεγονότα δεν είναι εξίσου πιθανά, επομένως, για να προσδιορίσουμε την ποσότητα των πληροφοριών που περιέχονται στο μήνυμα σχετικά με το χρώμα του μπαλονιού, χρησιμοποιούμε τον τύπο 2:

Μπορείτε να χρησιμοποιήσετε μια αριθμομηχανή για να υπολογίσετε αυτήν την έκφραση που περιέχει λογάριθμους. Ι" 1,85 bit.

Παράδειγμα 3.8

Χρησιμοποιώντας τον τύπο του Shannon, είναι πολύ απλό να προσδιοριστεί πόσα bits πληροφοριών ή δυαδικά ψηφία χρειάζονται για την κωδικοποίηση 256 διάφορα σύμβολα. 256 διαφορετικά σύμβολα μπορούν να θεωρηθούν ως 256 διαφορετικές εξίσου πιθανές καταστάσεις (γεγονότα). Σύμφωνα με την πιθανολογική προσέγγιση για τη μέτρηση της ποσότητας πληροφοριών, η απαιτούμενη ποσότητα πληροφοριών για δυαδική κωδικοποίηση 256 χαρακτήρων είναι:

I=log 2 256=8 bit=1 byte

Επομένως, για δυαδική κωδικοποίηση 1 χαρακτήρα, απαιτείται 1 byte πληροφοριών ή 8 bit.

Πόσες πληροφορίες περιέχονται, για παράδειγμα, στο κείμενο του μυθιστορήματος Πόλεμος και Ειρήνη, στις τοιχογραφίες του Ραφαήλ ή στον ανθρώπινο γενετικό κώδικα; Η επιστήμη δεν δίνει απαντήσεις σε αυτά τα ερωτήματα και, κατά πάσα πιθανότητα, δεν θα δώσει σύντομα. Είναι δυνατόν να μετρηθεί αντικειμενικά ο όγκος των πληροφοριών; Το πιο σημαντικό αποτέλεσμα της θεωρίας της πληροφορίας είναι το ακόλουθο συμπέρασμα: «Υπό ορισμένες, πολύ ευρείες συνθήκες, μπορεί κανείς να παραμελήσει τα ποιοτικά χαρακτηριστικά των πληροφοριών, να εκφράσει την ποσότητα τους ως αριθμό και επίσης να συγκρίνει την ποσότητα των πληροφοριών που περιέχονται σε διαφορετικές ομάδες δεδομένων».

Προς το παρόν, προσεγγίσεις στον ορισμό της έννοιας «ποσότητα πληροφοριών» βασίζονται στο γεγονός ότι ότι οι πληροφορίες που περιέχονται στο μήνυμα μπορούν να ερμηνευθούν χαλαρά με την έννοια της καινοτομίας του ή, με άλλα λόγια, μειώνοντας την αβεβαιότητα της γνώσης μας για το αντικείμενο.Αυτές οι προσεγγίσεις χρησιμοποιούν τις μαθηματικές έννοιες της πιθανότητας και του λογάριθμου.

Έχουμε ήδη αναφέρει ότι ο τύπος του Hartley είναι μια ειδική περίπτωση του τύπου Shannon για ισοπιθανές εναλλακτικές.

Αντικατάσταση στον τύπο (1) αντί για Π Εγώτου (στην ισοδύναμη περίπτωση, ανεξάρτητα από Εγώ) αξία, παίρνουμε:

Έτσι, ο τύπος του Hartley φαίνεται πολύ απλός:

(2)

Από αυτό προκύπτει σαφώς ότι όσο μεγαλύτερος είναι ο αριθμός των εναλλακτικών ( Ν), τόσο μεγαλύτερη είναι η αβεβαιότητα ( H). Αυτές οι ποσότητες συσχετίζονται στον τύπο (2) όχι γραμμικά, αλλά μέσω ενός δυαδικού λογάριθμου. Λογάριθμος στη βάση 2 και φέρνει τον αριθμό των επιλογών σε μονάδες πληροφοριών - bit.

Σημειώστε ότι η εντροπία θα είναι ακέραιος μόνο αν Νείναι δύναμη 2, δηλ. Αν Νανήκει στη σειρά: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Ρύζι. 10. Εξάρτηση της εντροπίας από τον αριθμό των ισοπιθανών επιλογών (ισοδύναμες εναλλακτικές).

Θυμηθείτε τι είναι λογάριθμος.

Ρύζι. 11. Εύρεση του λογάριθμου σιαπό τον λόγο έναβρίσκει βαθμούς, στο οποίο πρέπει να αυξήσετε ένα, Αποκτώ σι.

Ο λογάριθμος βάσης 2 ονομάζεται δυάδικος:

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Ο λογάριθμος στη βάση 10 ονομάζεται δεκαδικός:

log 10 (100)=2 => 10 2 =100

Οι κύριες ιδιότητες του λογαρίθμου:

log(1)=0 επειδή οποιοσδήποτε αριθμός στη μηδενική ισχύ δίνει 1.

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Για να λύσετε αντίστροφα προβλήματα όταν η αβεβαιότητα είναι γνωστή ( H) ή τον όγκο των πληροφοριών που αποκτήθηκαν ως αποτέλεσμα της αφαίρεσής τους ( Εγώ) και πρέπει να προσδιορίσετε πόσες ισοπιθανές εναλλακτικές αντιστοιχούν στην εμφάνιση αυτής της αβεβαιότητας, χρησιμοποιήστε τον αντίστροφο τύπο Hartley, ο οποίος φαίνεται ακόμα πιο απλός:

(3)

Για παράδειγμα, εάν είναι γνωστό ότι ως αποτέλεσμα του προσδιορισμού ότι ο Kolya Ivanov, που μας ενδιαφέρει, ζει στον δεύτερο όροφο, ελήφθησαν 3 bits πληροφοριών, τότε ο αριθμός των ορόφων στο σπίτι μπορεί να προσδιοριστεί με τύπο (3), όπως Ν=2 3 =8 όροφοι.

Εάν η ερώτηση είναι η εξής: "υπάρχουν 8 όροφοι στο σπίτι, πόσες πληροφορίες λάβαμε όταν μάθαμε ότι ο Κόλια Ιβάνοφ, που μας ενδιαφέρει, μένει στον δεύτερο όροφο;", πρέπει να χρησιμοποιήσετε τον τύπο ( 2): Εγώ= κούτσουρο 2 (8)=3 bit.

1. Ο όγκος των πληροφοριών που λαμβάνονται κατά τη διαδικασία του μηνύματος

Μέχρι στιγμής, έχουμε δώσει τύπους για τον υπολογισμό της εντροπίας (αβεβαιότητα) H, υποδεικνύοντας ότι Hμπορούν να αντικατασταθούν από Εγώ, επειδή ο όγκος των πληροφοριών που ελήφθησαν με πλήρη αφαίρεσηαβεβαιότητακάποια κατάσταση είναι ποσοτικά ίση με την αρχική εντροπία αυτής της κατάστασης.

Αλλά Η αβεβαιότητα μπορεί να αφαιρεθεί μόνο εν μέρει, επομένως ο όγκος των πληροφοριώνΕγώ, που λαμβάνεται από κάποιο μήνυμα, υπολογίζεται ως η μείωση της εντροπίας που προέκυψε ως αποτέλεσμα της απόκτησηςδεδομένος μηνύματα.

(4)

Για μια πιθανή περίπτωση, χρησιμοποιώντας τον τύπο Hartley για τον υπολογισμό της εντροπίας, παίρνουμε:

(5)

Η δεύτερη ισότητα προκύπτει με βάση τις ιδιότητες του λογαρίθμου. Έτσι, στην ισοπιθανή περίπτωση Εγώεξαρτάται από πόσες φορέςο αριθμός των επιλογών που εξετάστηκαν έχει αλλάξει (εξεταζόμενη ποικιλομορφία).

Με βάση το (5), μπορούμε να συμπεράνουμε τα εξής:

Αν
, Οτι
- πλήρης άρση της αβεβαιότητας, ο όγκος των πληροφοριών που ελήφθησαν στο μήνυμα είναι ίσος με την αβεβαιότητα που υπήρχε πριν από τη λήψη του μηνύματος.

Αν
, Οτι
- η αβεβαιότητα δεν έχει αλλάξει, επομένως δεν ελήφθησαν πληροφορίες.

Αν
, Οτι
=>
, Αν
,
=>
. Εκείνοι. ο όγκος των πληροφοριών που λαμβάνονται θα είναι θετικός εάν, ως αποτέλεσμα της λήψης του μηνύματος, ο αριθμός των εναλλακτικών που εξετάζονται έχει μειωθεί και αρνητικός εάν έχει αυξηθεί.

Εάν ο αριθμός των εξεταζόμενων εναλλακτικών λύσεων μειωθεί στο μισό ως αποτέλεσμα της λήψης του μηνύματος, π.χ.
, Οτι I=κούτσουρο 2 (2)=1 bit.Με άλλα λόγια, η λήψη 1 bit πληροφοριών αποκλείει τις μισές από τις ισοδύναμες επιλογές από την εξέταση.

Εξετάστε, για παράδειγμα, ένα πείραμα με μια τράπουλα 36 φύλλων.

Ρύζι. 12. Εικονογράφηση για ένα πείραμα με μια τράπουλα 36 καρτών.

Ας πάρει κάποιος ένα φύλλο από την τράπουλα. Μας ενδιαφέρει ποια από τις 36 κάρτες έβγαλε. Η αρχική αβεβαιότητα που υπολογίζεται από τον τύπο (2) είναι H= κούτσουρο 2 (36)  5,17 bit. Αυτός που τραβάει την κάρτα μας λέει κάποιες από τις πληροφορίες. Χρησιμοποιώντας τον τύπο (5), προσδιορίζουμε πόσες πληροφορίες λαμβάνουμε από αυτά τα μηνύματα:

ΕπιλογήΕΝΑ. "ΑυτόκαρτΕΝΑτο κόκκινο κοστούμια”.

I=log 2 (36/18)=log 2 (2)=1 bit (υπάρχουν μισές κόκκινες κάρτες στην τράπουλα, η αβεβαιότητα έχει μειωθεί κατά 2 φορές).

Επιλογήσι. "ΑυτόκαρτΕΝΑκορυφή κοστούμια”.

I=log 2 (36/9)=log 2 (4)=2 bit (τα φύλλα των μπαστούνι αποτελούν το ένα τέταρτο της τράπουλας, η αβεβαιότητα έχει μειωθεί κατά 4 φορές).

Επιλογή Γ. "Αυτό είναι ένα από τα υψηλότερα φύλλα: τζακ, βασίλισσα, βασιλιάς ή άσος."

I=log 2 (36)–log 2 (16)=5,17-4=1,17 bit (η αβεβαιότητα έχει μειωθεί περισσότερο από δύο φορές, επομένως ο όγκος των πληροφοριών που λαμβάνονται είναι περισσότερο από ένα bit).

Επιλογήρε. «Αυτό είναι ένα φύλλο από την τράπουλα».

I=log 2 (36/36)=log 2 (1)=0 bit (η αβεβαιότητα δεν έχει μειωθεί - το μήνυμα δεν είναι ενημερωτικό).

Επιλογήρε. «Αυτή είναι μια κυρίακορυφή".

I=log 2 (36/1)=log 2 (36)=5,17 bit (η αβεβαιότητα έχει αφαιρεθεί πλήρως).

Είναι γνωστό εκ των προτέρων ότι η μπάλα βρίσκεται σε ένα από τα τρία δοχεία: A, B ή C. Προσδιορίστε πόσα bits πληροφοριών περιέχει το μήνυμα που βρίσκεται στη λάρνακα B. Επιλογές: 1 bit, 1,58 bit, 2 bit, 2,25 bit.

Η πιθανότητα του πρώτου συμβάντος είναι 0,5, και του δεύτερου και του τρίτου 0,25. Ποια είναι η εντροπία πληροφοριών για μια τέτοια κατανομή. Επιλογές: 0,5 bit, 1 bit, 1,5 bit, 2 bit, 2,5 bit, 3 bit.

Ακολουθεί μια λίστα με τους υπαλλήλους ορισμένων οργανισμών:

Προσδιορίστε τον όγκο των πληροφοριών που λείπουν για να ικανοποιηθούν τα ακόλουθα αιτήματα:

Καλέστε την Ivanova στο τηλέφωνο.

Ενδιαφέρομαι για μια από τις υπαλλήλους σας, γεννήθηκε το 1970.

Ποιο μήνυμα περιέχει περισσότερες πληροφορίες:

Ως αποτέλεσμα της ρίψης ενός νομίσματος (κεφάλια, ουρές), έπεσαν ουρές.

Τα φανάρια (κόκκινα, κίτρινα, πράσινα) είναι πλέον πράσινα.

Ως αποτέλεσμα της ρίψης ζαριού (1, 2, 3, 4, 5, 6), έπεσαν 3 πόντοι.

Η πληροφορία θα οριστεί μέσω των κύριων ιδιοτήτων της (επειδή, μαζί με την ύλη και την ενέργεια, είναι η πρωταρχική έννοια του κόσμου μας και επομένως δεν μπορεί να οριστεί με τη στενή έννοια):

• Οι πληροφορίες φέρνουν πληροφορίες για τον κόσμο γύρω από τον οποίο δεν βρίσκονταν στο υπό εξέταση σημείο πριν ληφθούν·
• οι πληροφορίες δεν είναι υλικές και δεν μπορούν να υπάρχουν μεμονωμένα από τη μορφή παρουσίασης πληροφοριών (ακολουθίες σημάτων ή σημάτων - μηνυμάτων).
• Τα μηνύματα περιέχουν πληροφορίες μόνο για όσους μπορούν να τις αναγνωρίσουν.

Τα μηνύματα περιέχουν πληροφορίες όχι επειδή αντιγράφουν αντικείμενα της πραγματικότητας, αλλά με κοινωνική συμφωνία σχετικά με τη σύνδεση μεταξύ φορέων και αντικειμένων που ορίζονται από αυτόν τον φορέα (για παράδειγμα, μια λέξη υποδηλώνει κάποιο αντικείμενο της αντικειμενικής πραγματικότητας). Επιπλέον, οι φορείς μπορούν να σχηματιστούν με φυσικές διεργασίες.

Για να μεταδοθεί το μήνυμα στον παραλήπτη, είναι απαραίτητο να χρησιμοποιηθεί κάποια φυσική διαδικασία που μπορεί να μεταδοθεί από την πηγή στον παραλήπτη του μηνύματος με τη μια ή την άλλη ταχύτητα. Η χρονικά μεταβαλλόμενη φυσική διαδικασία που αντανακλά το μεταδιδόμενο μήνυμα ονομάζεται σήμα.

Για να εφαρμόσουμε μαθηματικά μέσα για τη μελέτη πληροφοριών, είναι απαραίτητο να αφαιρέσουμε από το νόημα, το περιεχόμενο των πληροφοριών. Αυτή η προσέγγιση ήταν κοινή για τους ερευνητές που αναφέραμε, αφού τα καθαρά μαθηματικά λειτουργούν με ποσοτικούς λόγους χωρίς να υπεισέρχονται στη φυσική φύση εκείνων των αντικειμένων πίσω από τα οποία βρίσκονται οι αναλογίες. Επομένως, εάν το νόημα αποδυναμώνεται από τα μηνύματα, τότε το σημείο εκκίνησης για αξιολόγηση πληροφοριώνγεγονότα, μόνο ένα σύνολο γεγονότων που είναι διαφορετικά μεταξύ τους και, κατά συνέπεια, παραμένουν μηνύματα για αυτά.

Ας μας ενδιαφέρουν οι ακόλουθες πληροφορίες σχετικά με την κατάσταση ορισμένων αντικειμένων: σε ποια από τις τέσσερις πιθανές καταστάσεις (στερεό, υγρό, αέριο, πλάσμα) βρίσκεται κάποια ουσία; σε ποιο από τα τέσσερα μαθήματα της τεχνικής σχολής σπουδάζει ο μαθητής; Σε όλες αυτές τις περιπτώσεις, υπάρχει μια αβεβαιότητα για το γεγονός που μας ενδιαφέρει, που χαρακτηρίζεται από την παρουσία επιλογής μιας από τις τέσσερις πιθανότητες. Αν αγνοήσουμε το νόημά τους στις απαντήσεις στις παραπάνω ερωτήσεις, τότε και οι δύο απαντήσεις θα φέρουν τον ίδιο όγκο πληροφοριών, αφού καθεμία από αυτές ξεχωρίζει μία από τις τέσσερις πιθανές καταστάσεις του αντικειμένου και, επομένως, αφαιρεί την ίδια αβεβαιότητα του μηνύματος .

Η αβεβαιότητα είναι εγγενής στην έννοια της πιθανότητας. Η μείωση της αβεβαιότητας συνδέεται πάντα με την επιλογή (επιλογή) ενός ή περισσότερων στοιχείων (εναλλακτικών) από κάποιο από το σύνολο τους. Αυτή η αμοιβαία αντιστρεψιμότητα των εννοιών της πιθανότητας και της αβεβαιότητας χρησίμευσε ως βάση για τη χρήση της έννοιας της πιθανότητας για τη μέτρηση του βαθμού αβεβαιότητας στη θεωρία της πληροφορίας. Αν υποθέσουμε ότι οποιαδήποτε από τις τέσσερις απαντήσεις στις ερωτήσεις είναι εξίσου πιθανή, τότε η πιθανότητα της σε όλες τις ερωτήσεις είναι ίση με 1/4 .

Η ίδια πιθανότητα απαντήσεων σε αυτό το παράδειγμα καθορίζει επίσης την ίση αβεβαιότητα που αφαιρείται από την απάντηση σε καθεμία από τις δύο ερωτήσεις, πράγμα που σημαίνει ότι κάθε απάντηση φέρει τις ίδιες πληροφορίες.

Ας προσπαθήσουμε τώρα να συγκρίνουμε τις ακόλουθες δύο ερωτήσεις: σε ποιο από τα τέσσερα μαθήματα της τεχνικής σχολής σπουδάζει ο μαθητής; Πώς θα πέσει ένα νόμισμα όταν πεταχτεί: επάνω «εθνόσημο» ή «αριθμός»; Στην πρώτη περίπτωση, τέσσερις εξίσου πιθανές απαντήσεις είναι δυνατές, στη δεύτερη - δύο. Επομένως, η πιθανότητα κάποιας απάντησης στη δεύτερη περίπτωση είναι μεγαλύτερη από την πρώτη ( 1/2 > 1/4 ), ενώ η αβεβαιότητα που αφαιρείται από τις απαντήσεις είναι μεγαλύτερη στην πρώτη περίπτωση. Οποιαδήποτε πιθανή απάντηση στο πρώτο ερώτημα αφαιρεί περισσότερη αβεβαιότητα από οποιαδήποτε απάντηση στο δεύτερο ερώτημα. Επομένως, η απάντηση στην πρώτη ερώτηση περιέχει περισσότερες πληροφορίες! Κατά συνέπεια, όσο μικρότερη είναι η πιθανότητα ενός γεγονότος, τόσο περισσότερη αβεβαιότητα αφαιρεί το μήνυμα σχετικά με την εμφάνισή του και, κατά συνέπεια, τόσο περισσότερες πληροφορίες μεταφέρει.

Ας υποθέσουμε ότι κάποιο γεγονός έχει Μεξίσου πιθανά αποτελέσματα. Ένα τέτοιο γεγονός μπορεί να είναι, για παράδειγμα, η εμφάνιση οποιουδήποτε χαρακτήρα από ένα αλφάβητο που περιέχει m τέτοιους χαρακτήρες. Πώς να μετρήσετε την ποσότητα των πληροφοριών που μπορούν να μεταδοθούν χρησιμοποιώντας ένα τέτοιο αλφάβητο; Αυτό μπορεί να γίνει ορίζοντας έναν αριθμό Νπιθανά μηνύματα που μπορούν να μεταδοθούν χρησιμοποιώντας αυτό το αλφάβητο. Εάν το μήνυμα σχηματίζεται από έναν χαρακτήρα, τότε N=m, αν από δύο, τότε N \u003d m m \u003d m 2. Εάν το μήνυμα περιέχει n χαρακτήρες ( nείναι το μήκος του μηνύματος), τότε N=mn. Φαίνεται ότι έχει βρεθεί το απαιτούμενο μέτρο του όγκου των πληροφοριών. Μπορεί να γίνει κατανοητό ως μέτρο της αβεβαιότητας του αποτελέσματος ενός πειράματος, εάν με τον όρο εμπειρία εννοούμε μια τυχαία επιλογή ενός μηνύματος από έναν ορισμένο αριθμό πιθανών. Ωστόσο, αυτό το μέτρο δεν είναι απολύτως βολικό.

Με την παρουσία ενός αλφαβήτου που αποτελείται από έναν χαρακτήρα, δηλ. Οταν m = 1, μπορεί να εμφανίζεται μόνο αυτός ο χαρακτήρας. Επομένως, δεν υπάρχει αβεβαιότητα σε αυτήν την περίπτωση και η εμφάνιση αυτού του συμβόλου δεν φέρει καμία πληροφορία. Εν τω μεταξύ, η αξία Νστο m = 1δεν πάει στο μηδέν. Για δύο ανεξάρτητες πηγές μηνυμάτων (ή αλφάβητο) με Ν 1Και Ν 2αριθμός πιθανών μηνυμάτων συνολικός αριθμός πιθανών μηνυμάτων N = N 1 N 2, ενώ θα ήταν πιο λογικό να υποθέσουμε ότι η ποσότητα των πληροφοριών που λαμβάνονται από δύο ανεξάρτητες πηγές δεν πρέπει να είναι προϊόν, αλλά το άθροισμα των συστατικών ποσοτήτων.

Βρέθηκε διέξοδος R. Hartleyπου πρόσφερε πληροφορίες Εγώανά μήνυμα καθορίζεται από τον λογάριθμο του συνολικού αριθμού των πιθανών μηνυμάτων Ν:

I(N) = log N

Εάν ολόκληρο το σύνολο των πιθανών μηνυμάτων αποτελείται από ένα ( N=m=1), Οτι

I(N) = log 1 = 0,

που αντιστοιχεί στην έλλειψη ενημέρωσης στην προκειμένη περίπτωση. Παρουσία ανεξάρτητων πηγών πληροφοριών με Ν 1Και Ν 2αριθμός πιθανών μηνυμάτων

I (N) \u003d log N \u003d ημερολόγιο N 1 N 2 \u003d ημερολόγιο N 1 + ημερολόγιο N 2

εκείνοι. ο όγκος πληροφοριών ανά μήνυμα ισούται με το άθροισμα των ποσοτήτων πληροφοριών που θα λαμβάνονταν από δύο ανεξάρτητες πηγές, λαμβανόμενες χωριστά.

Προτεινόμενη φόρμουλα Χάρτλεϋ, ικανοποιεί τις απαιτήσεις. Επομένως, μπορεί να χρησιμοποιηθεί για τη μέτρηση του όγκου των πληροφοριών. Εάν η πιθανότητα εμφάνισης οποιουδήποτε χαρακτήρα του αλφαβήτου είναι ισοδύναμη (και μέχρι στιγμής υποθέτουμε ότι είναι), τότε αυτή η πιθανότητα p= 1/m. Υποθέτοντας ότι N=m, παίρνουμε

I = log N = log m = log (1/p) = – log p,

Ο προκύπτων τύπος επιτρέπει σε ορισμένες περιπτώσεις να προσδιορίσουν την ποσότητα των πληροφοριών. Ωστόσο, για πρακτικούς λόγους, είναι απαραίτητο να καθοριστεί η μονάδα μέτρησής του. Για να γίνει αυτό, υποθέστε ότι η πληροφορία είναι η αφαιρεθείσα αβεβαιότητα. Στη συνέχεια, στην απλούστερη περίπτωση αβεβαιότητας, η επιλογή θα γίνει ανάμεσα σε δύο αμοιβαία αποκλειόμενα εξίσου πιθανά μηνύματα, για παράδειγμα, μεταξύ δύο ποιοτικών ζωδίων: θετικές και αρνητικές παρορμήσεις, παρόρμηση και παύση κ.λπ.

Ο όγκος των πληροφοριών που μεταδίδονται σε αυτήν την απλούστερη περίπτωση λαμβάνεται πιο βολικά ως μονάδα του όγκου των πληροφοριών. Η προκύπτουσα μονάδα της ποσότητας των πληροφοριών, η οποία είναι επιλογή δύο εξίσου πιθανών γεγονότων, ονομάζεται δυαδική μονάδα ή bit. (Ονομα κομμάτιπου σχηματίζεται από δύο αρχικά και τελευταία γράμματα μιας αγγλικής έκφρασης δυαδική μονάδα, που σημαίνει δυαδική μονάδα.)

Το bit δεν είναι μόνο μονάδα της ποσότητας πληροφοριών, αλλά και μονάδα μέτρησης του βαθμού αβεβαιότητας. Αυτό αναφέρεται στην αβεβαιότητα που περιέχεται σε ένα πείραμα που έχει δύο εξίσου πιθανά αποτελέσματα. Ο όγκος των πληροφοριών που λαμβάνονται από ένα μήνυμα επηρεάζεται από τον παράγοντα έκπληξη για τον παραλήπτη, ο οποίος εξαρτάται από την πιθανότητα λήψης ενός συγκεκριμένου μηνύματος. Όσο μικρότερη είναι αυτή η πιθανότητα, τόσο πιο απροσδόκητο και επομένως πιο ενημερωτικό είναι το μήνυμα. Μήνυμα, πιθανότητα

εκ των οποίων ο βαθμός έκπληξης είναι υψηλός και, κατά συνέπεια, χαμηλός, περιέχει λίγες πληροφορίες.

R. Hartleyκατανοήθηκε ότι τα μηνύματα έχουν διαφορετικές πιθανότητες και, επομένως, το απροσδόκητο της εμφάνισής τους για τον παραλήπτη δεν είναι το ίδιο. Αλλά ποσοτικοποιώντας τον όγκο των πληροφοριών, προσπάθησε να εξαλείψει εντελώς τον παράγοντα «έκπληξη». Επομένως ο τύπος Χάρτλεϋσας επιτρέπει να προσδιορίσετε την ποσότητα των πληροφοριών στο μήνυμα μόνο για την περίπτωση που η εμφάνιση συμβόλων είναι εξίσου πιθανή και είναι στατιστικά ανεξάρτητα. Στην πράξη, αυτές οι προϋποθέσεις

σπάνια εκτελείται. Κατά τον προσδιορισμό του όγκου των πληροφοριών, είναι απαραίτητο να λαμβάνεται υπόψη όχι μόνο ο αριθμός των διαφόρων μηνυμάτων που μπορούν να ληφθούν από την πηγή, αλλά και η πιθανότητα λήψης τους.

Η πιο ευρέως χρησιμοποιούμενη προσέγγιση για τον προσδιορισμό της μέσης ποσότητας πληροφοριών που περιέχονται σε μηνύματα από πηγές πολύ διαφορετικής φύσης είναι η προσέγγιση. ΠΡΟΣ ΤΗΝ Σάνον.

Σκεφτείτε την ακόλουθη κατάσταση. Η πηγή μεταδίδει στοιχειώδη σήματα κ διάφοροι τύποι. Ας παρακολουθήσουμε ένα αρκετά μεγάλο τμήμα του μηνύματος. Αφήστε το να έχει Ν 1σήματα πρώτου τύπου, Ν 2σήματα δεύτερου τύπου, ..., Nkσήματα κ-ο τύπος, και N 1 + N 2 + ... + N k = Nείναι ο συνολικός αριθμός των σημάτων στο παρατηρούμενο τμήμα, f 1 , f 2 , ..., f kείναι οι συχνότητες των αντίστοιχων σημάτων. Καθώς το μήκος του τμήματος μηνύματος αυξάνεται, καθεμία από τις συχνότητες τείνει σε ένα σταθερό όριο, δηλ.

lim f i = p i , (i = 1, 2, ..., k),

Οπου πιμπορεί να θεωρηθεί η πιθανότητα του σήματος. Ας υποθέσουμε ότι λαμβάνεται ένα σήμα Εγώ-ο τύπος με πιθανότητα πιπου περιέχει - ημερολόγιο p iμονάδες πληροφοριών. Στην ενότητα που εξετάζουμε Εγώ-το σήμα θα συναντηθεί περίπου Np iφορές (θα υποθέσουμε ότι Ναρκετά μεγάλο), και γενικές πληροφορίεςπου παραδίδονται από σήματα αυτού του τύπου θα είναι ίσα με το προϊόν Np i log p i. Το ίδιο ισχύει για σήματα οποιουδήποτε άλλου τύπου, επομένως ο συνολικός όγκος πληροφοριών που παραδίδεται από ένα τμήμα Ντα σήματα θα είναι περίπου ίσα. Για να προσδιορίσετε τη μέση ποσότητα πληροφοριών ανά σήμα, π.χ. συγκεκριμένο περιεχόμενο πληροφοριών της πηγής, πρέπει να διαιρέσετε αυτόν τον αριθμό με Ν. Με απεριόριστη ανάπτυξη, η κατά προσέγγιση ισότητα θα μετατραπεί σε ακριβή.

Ως αποτέλεσμα, θα ληφθεί μια ασυμπτωτική σχέση - ο τύπος Σάνον. Αποδείχθηκε ότι ο προτεινόμενος τύπος Χάρτλεϋ, είναι μια ειδική περίπτωση περισσότερων γενικός τύπος Σάνον.

Εκτός από αυτόν τον τύπο, ο Shannon πρότεινε ένα αφηρημένο σχήμα επικοινωνίας που αποτελείται από πέντε στοιχεία (πηγή πληροφοριών, πομπός, γραμμή επικοινωνίας, δέκτης και παραλήπτης) και διατύπωσε θεωρήματα σχετικά με εύρος ζώνης, θόρυβος, κωδικοποίηση κ.λπ.

60. Μέτρηση πληροφοριών – πιθανολογικές και αλφαβητικές προσεγγίσεις. Formulas of Hartley, Shannon. Παράδειγμα σεΚυρίαΠρώηνΜεελ.

Από την άποψη της πληροφορίας, από την άρση της αβεβαιότητας, η ποσότητα των πληροφοριών στο μήνυμα για κάποιο γεγονός εξαρτάται από την πιθανότητα αυτού του γεγονότος.

Μια επιστημονική προσέγγιση για την αξιολόγηση των μηνυμάτων προτάθηκε το 1928 από τον R. Hartley. Εκτιμώμενος Ο τύπος του Χάρτλεϋ για ισοπιθανά γεγονόταμοιάζει με:

Εγώ = κούτσουρο 2 Νή 2Εγώ = Ν,

όπου Ν είναι ο αριθμός ισοπιθανοςσυμβάντα (ο αριθμός των πιθανών επιλογών), I - ο όγκος των πληροφοριών.

Αν N = 2 (επιλογή δύο δυνατοτήτων), τότε I = 1 bit.

Παράδειγμα 1Χρησιμοποιώντας τον τύπο Hartley για τον υπολογισμό του όγκου των πληροφοριών. Πόσα bits πληροφοριών μεταφέρει το μήνυμα;

το τρένο φτάνει σε μια από τις 8 γραμμές;

Φόρμουλα Hartley: Εγώ = κούτσουρο 2 Ν,

όπου N είναι ο αριθμός των ισοπιθανών αποτελεσμάτων του γεγονότος που αναφέρεται στο μήνυμα,

I είναι ο όγκος των πληροφοριών στο μήνυμα.

I = log 2 8 = 3(bit) Απάντηση: 3 bit.

Τροποποιήθηκε ο τύπος του Hartley για μη ομοιόμορφα συμβάντα.Δεδομένου ότι η εμφάνιση καθενός από τα N πιθανά γεγονότα έχει την ίδια πιθανότητα

Π = 1 / Ν, Οτι Ν = 1 / Πκαι ο τύπος μοιάζει

I = log 2 N= log 2 (1/p) = - log 2 p

Η ποσοτική σχέση μεταξύ της πιθανότητας ενός συμβάντος (p) και του όγκου των πληροφοριών στο μήνυμα σχετικά με αυτό (I) εκφράζεται με τον τύπο:

Εγώ = κούτσουρο 2 (1/ Π)

Η πιθανότητα ενός συμβάντος υπολογίζεται από τον τύπο Π= κ/ Ν, K είναι μια τιμή που δείχνει πόσες φορές έχει συμβεί το συμβάν που μας ενδιαφέρει. N είναι ο συνολικός αριθμός των πιθανών αποτελεσμάτων, γεγονότων. Εάν η πιθανότητα μειωθεί, τότε ο όγκος των πληροφοριών αυξάνεται.

Παράδειγμα 2Υπάρχουν 30 άτομα στην τάξη. Πίσω δοκιμήστα μαθηματικά ελήφθησαν 6 πεντάδες, 15 τετράδες, 8 τριάδες και 1 δύο. Πόσες πληροφορίες μεταφέρει το μήνυμα ότι ο Ιβάνοφ έλαβε τετράδα;

Απάντηση: 1 bit.

Χρησιμοποιώντας τον τύπο Shannon.Η γενική περίπτωση του υπολογισμού της ποσότητας πληροφοριών σε ένα μήνυμα για ένα από τα N, αλλά όχι εξίσου πιθανά γεγονότα. Αυτή η προσέγγιση προτάθηκε από τον K. Shannon το 1948.

Βασικές ενότητες πληροφοριών:

ΕγώΝυμφεύομαι= -

Εννοια ΕγώΝυμφεύομαι πι= 1 / Ν.

Παράδειγμα 3Πόσα bit πληροφοριών μεταφέρει ένα τυχαία παραγόμενο μήνυμα "προβολέας" εάν, κατά μέσο όρο, για κάθε χίλια γράμματα στα ρωσικά κείμενα, το γράμμα "a" εμφανίζεται 200 ​​φορές, το γράμμα "f" - 2 φορές, το γράμμα "r" - 40 φορές.

Θα υποθέσουμε ότι η πιθανότητα εμφάνισης ενός χαρακτήρα σε ένα μήνυμα συμπίπτει με τη συχνότητα εμφάνισής του σε κείμενα. Επομένως, το γράμμα "a" εμφανίζεται με μέση συχνότητα 200/1000=0,2. Η πιθανότητα εμφάνισης του γράμματος "a" στο κείμενο (p a) μπορεί να θεωρηθεί περίπου ίση με 0,2.

το γράμμα "f" εμφανίζεται με συχνότητα 2/1000=0,002. το γράμμα "p" - με συχνότητα 40/1000=0,04.

Ομοίως, p p = 0,04, p f = 0,002. Στη συνέχεια προχωράμε σύμφωνα με τον K. Shannon. Παίρνουμε τον δυαδικό λογάριθμο της τιμής 0,2 και ονομάζουμε αυτό που πήραμε τον όγκο των πληροφοριών που φέρει ένα μεμονωμένο γράμμα «a» στο κείμενο που εξετάζουμε. Θα κάνουμε την ίδια λειτουργία για κάθε γράμμα. Τότε η ποσότητα των κατάλληλων πληροφοριών που μεταφέρονται από ένα γράμμα ισούται με κούτσουρο 2 1/ πι = - κούτσουρο 2 πι, Είναι πιο βολικό να χρησιμοποιείτε τη μέση τιμή της ποσότητας πληροφοριών ανά χαρακτήρα του αλφαβήτου ως μέτρο της ποσότητας πληροφοριών.

ΕγώΝυμφεύομαι= -

Εννοια ΕγώΝυμφεύομαιφτάνει ένα μέγιστο για εξίσου πιθανά γεγονότα, όταν δηλαδή όλα τα p i

πι= 1 / Ν.

Σε αυτή την περίπτωση, ο τύπος του Shannon μετατρέπεται σε τύπο του Hartley.

I = M*I cf =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))= 4*(-(0,002*(-8,967)+ 0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0 ,46-0,19-0,46))=4*1,1325=4,53

Απάντηση: 4,53 bit

Αλφαβητική προσέγγιση στη μέτρηση πληροφοριών

Η αλφαβητική προσέγγιση χρησιμοποιείται στην τεχνολογία, στην περίπτωση αυτή η ποσότητα των πληροφοριών δεν εξαρτάται από το περιεχόμενο, αλλά εξαρτάται από τη δύναμη του αλφαβήτου και τον αριθμό των χαρακτήρων του κειμένου.

Για κωδικοποίηση ASCII - alphabet power=256

I=log 2 256=8(bit); Κατά την κωδικοποίηση πληροφοριών χαρακτήρων σε κώδικες, κάθε χαρακτήρας, συμπεριλαμβανομένων των διαστημάτων και των σημείων στίξης, κωδικοποιείται από 1 byte (8 bit).

Μονάδες μέτρησης της πληροφορίας στους υπολογιστές

1 bit (τεχνική προσέγγιση)	ελάχιστη μονάδα πληροφοριών	η ποσότητα των πληροφοριών μετριέται μόνο με έναν ακέραιο αριθμό bit
1 KB (kilobyte)	2 10 byte = 1024 byte	~ 1 χιλιάδες byte
1 MB (megabyte)	2 10 KB = 2 20 byte	~ 1 εκατομμύριο byte
1 GB (gigabyte)	2 10 MB = 2 30 byte	~ 1 δισεκατομμύριο byte

• 3. Τεχνολογίες μετάδοσης δεδομένων. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Συσκευές πύλης: επαναλήπτες, γέφυρες, δρομολογητές, πύλες. Μέθοδοι μεταγωγής και δρομολόγησης. Τρόποι βελτίωσης της απόδοσης του δικτύου
• 5. Δίκτυα peer-to-peer και διακομιστή: συγκριτικά χαρακτηριστικά. Οι κύριοι τύποι εξειδικευμένων διακομιστών.
• 6. Τεχνολογική βάση του Διαδικτύου. Σύστημα διευθύνσεων (διευθύνσεις IP, ονόματα τομέα, σύστημα DNS). Βασικά πρωτόκολλα επικοινωνίας στο δίκτυο.
• 7. Βασικές τεχνολογίες χρήστη για εργασία στο Διαδίκτυο. WWW, FTP, TELNET, E-MAIL. Αναζήτηση πληροφοριών στο Διαδίκτυο.
• 9. Βάσεις δεδομένων: δεδομένα, μοντέλο δεδομένων, βάση δεδομένων, σύστημα διαχείρισης βάσεων δεδομένων, σύστημα πληροφοριών. μοντέλα δεδομένων. Μοντέλο σχεσιακών δεδομένων.
• 12. Σχεδιασμός πληροφοριακών συστημάτων. Μοντέλα δομής και κύκλου ζωής.
• 13. Μοντελοποίηση και αναπαράσταση της δομής της επιχείρησης. Διαγράμματα IDEF0.
• 14. Μοντελοποίηση και παρουσίαση ροών δεδομένων. Διαγράμματα DFD.
• 16. Εξειδικευμένα συστήματα (ES): έννοια, σκοπός, αρχιτεκτονική, διακριτικά χαρακτηριστικά. Ταξινόμηση ES. Στάδια ανάπτυξης του Ε.Σ.
• 17. Γνωσιακές βάσεις έμπειρων συστημάτων. Μέθοδοι αναπαράστασης γνώσης: λογικά μοντέλα, κανόνες παραγωγής, πλαίσια, σημασιολογικά δίκτυα.
• 18 Γνώση. Είδη γνώσης. Μέθοδοι εξαγωγής γνώσης: επικοινωνιακή, κειμενολογική.
• 19 Γλώσσες προγραμματισμού, τα χαρακτηριστικά τους (Prolog, Delphi, C++).
• 20. Γλώσσες προγραμματισμού, τα χαρακτηριστικά τους (PHP, Perl, JavaScript).
• 21. Στόχοι, στόχοι, αρχές και κύριες κατευθύνσεις για τη διασφάλιση της ασφάλειας των πληροφοριών της Ρωσικής Ομοσπονδίας. Νομική, οργανωτική, μηχανική και τεχνική προστασία των πληροφοριών.
• 22. Ηλεκτρονικές εκδόσεις: έννοια, σύνθεση. Ταξινόμηση EI. Εγγραφή ΕΙ.
• 23. Πηγές πληροφοριών: έννοια, σύνθεση. Κρατικοί πόροι πληροφοριών.
• 24. Το λειτουργικό σύστημα ενός προσωπικού υπολογιστή ως μέσο διαχείρισης πόρων (στο παράδειγμα του μελετημένου ΛΣ). Δομή και εξαρτήματα του λειτουργικού συστήματος.
• 25. Κακόβουλο λογισμικό: ταξινομήσεις, μέθοδοι εντοπισμού και αφαίρεσης.
• 26 Η δομή των διαδικτυακών εφαρμογών. Πρωτόκολλο HTTP. Κουλουράκι. Λειτουργίες διαδικτυακής εφαρμογής. Πρωτόκολλο CGI.
• 27 Διασφάλιση της αξιοπιστίας του ΚΠ. συναλλαγές. συστήματα OLTP.
• 28. Εργονομικοί στόχοι και δείκτες ποιότητας του προϊόντος λογισμικού.
• 31.Διαχείριση πληροφοριών: έννοια και κύριες λειτουργίες.
• 33 Τυποποίηση λογισμικού. Πρότυπα τεκμηρίωσης λογισμικού.
• 34. Αξιολόγηση των ποιοτικών και ποσοτικών χαρακτηριστικών πληροφοριακών συστημάτων. Μοντέλα για την αξιολόγηση των χαρακτηριστικών αξιοπιστίας λογισμικού και υποστήριξης πληροφοριών. Βασικές έννοιες, δείκτες και μέθοδοι για τη διασφάλιση της αξιοπιστίας των πληροφοριακών συστημάτων.
• 36. Χαρακτηριστικά υλοποίησης καινοτόμων προγραμμάτων στον τομέα της πληροφορικής (χαρακτηριστικά της πολιτικής πληροφόρησης στον τομέα της πληροφορικής, αρχές διαμόρφωσης έργου και υλοποίησης ΔΙ, διαχείριση έργων πληροφορικής).

Αυτός ο τύπος, όπως ο τύπος Hartley, χρησιμοποιείται στην επιστήμη των υπολογιστών για τον υπολογισμό της συνολικής ποσότητας πληροφοριών για διάφορες πιθανότητες.

Παράδειγμα διαφόρων άνισων πιθανοτήτων είναι η έξοδος ανθρώπων από τους στρατώνες σε μια στρατιωτική μονάδα. Ένας στρατιώτης, ένας αξιωματικός, ακόμα και ένας στρατηγός μπορεί να φύγει από τον στρατώνα. Αλλά η κατανομή στρατιωτών, αξιωματικών και στρατηγών στους στρατώνες είναι διαφορετική, πράγμα προφανές, γιατί θα υπάρχουν οι περισσότεροι στρατιώτες, μετά έρχονται σε αριθμό αξιωματικοί και ο πιο σπάνιος τύπος θα είναι στρατηγοί. Δεδομένου ότι οι πιθανότητες δεν είναι ίσες και για τους τρεις τύπους στρατιωτικών, προκειμένου να υπολογιστεί πόσες πληροφορίες θα λάβει και θα χρησιμοποιήσει ένα τέτοιο γεγονός Η φόρμουλα του Shannon.

Για άλλα εξίσου πιθανά γεγονότα, όπως η ρίψη νομίσματος (η πιθανότητα τα κεφάλια ή οι ουρές να είναι ίδια - 50%), χρησιμοποιείται ο τύπος του Χάρτλεϋ.

Τώρα, ας δούμε την εφαρμογή αυτού του τύπου σε ένα συγκεκριμένο παράδειγμα:

Ποιο μήνυμα περιέχει τις λιγότερες πληροφορίες (Μετρήστε σε bit):

1. Ο Βασίλης έφαγε 6 γλυκά, τα 2 από αυτά ήταν κουραμπιέδες.
2. Υπάρχουν 10 φάκελοι στον υπολογιστή, το επιθυμητό αρχείο βρέθηκε στον 9ο φάκελο.
3. Ο Μπάμπα Λούντα έφτιαξε 4 κρεατόπιτες και 4 λαχανόπιτες. Ο Γρηγόρης έφαγε 2 πίτες.
4. Η Αφρική έχει 200 ​​ημέρες ξηρού καιρού και 165 ημέρες μουσώνων. ένας Αφρικανός κυνηγούσε 40 μέρες το χρόνο.

Σε αυτό το πρόβλημα, δίνουμε προσοχή ότι οι επιλογές 1, 2 και 3, αυτές οι επιλογές είναι εύκολο να ληφθούν υπόψη, καθώς τα γεγονότα είναι εξίσου πιθανά. Και για αυτό θα χρησιμοποιήσουμε τον τύπο Hartley I = log 2 N(Εικ. 1) Αλλά με το 4ο σημείο, όπου είναι σαφές ότι η κατανομή των ημερών δεν είναι ομοιόμορφη (επικράτηση προς τον ξηρό καιρό), τότε τι πρέπει να κάνουμε σε αυτή την περίπτωση; Για τέτοια συμβάντα, χρησιμοποιείται ο τύπος Shannon ή η εντροπία πληροφοριών: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),(εικ.3)

ΤΥΠΟΣ ΓΙΑ ΤΗΝ ΠΟΣΟΤΗΤΑ ΤΩΝ ΠΛΗΡΟΦΟΡΙΩΝ (FORMULA HARTLEY, Εικ. 1)

Εν:

• I - ποσότητα πληροφοριών
• p είναι η πιθανότητα να συμβούν αυτά τα γεγονότα

Τα γεγονότα που μας ενδιαφέρουν στο πρόβλημά μας είναι

1. Υπήρχαν δύο barberries στα έξι (2/6)
2. Υπήρχε ένας φάκελος στον οποίο βρέθηκε το απαιτούμενο αρχείο σε σχέση με τον συνολικό αριθμό (1/10)
3. Υπήρχαν οκτώ πίτες συνολικά, από τις οποίες ο Γρηγόρης έφαγε δύο (2/8)
4. και οι τελευταίες σαράντα μέρες κυνηγιού σε σχέση με διακόσιες ξηρές ημέρες, και σαράντα ημέρες κυνηγιού έως εκατόν εξήντα πέντε βροχερές ημέρες. (40/200) + (40/165)

έτσι παίρνουμε ότι:

ΤΥΠΟΣ ΠΙΘΑΝΟΤΗΤΑΣ ΓΙΑ ΕΝΑ ΓΕΓΟΝΟΤΟ.

Όπου K είναι το συμβάν που μας ενδιαφέρει και N είναι ο συνολικός αριθμός αυτών των γεγονότων, για να ελέγξετε επίσης τον εαυτό σας, η πιθανότητα ενός συμβάντος δεν μπορεί να είναι μεγαλύτερη από ένα. (γιατί πάντα υπάρχουν λιγότερο πιθανά γεγονότα)

ΤΥΠΟΣ SHANNON ΓΙΑ ΜΕΤΡΗΣΗ ΠΛΗΡΟΦΟΡΙΩΝ (ΕΙΚ. 3)

Ας επιστρέψουμε στην εργασία μας και ας υπολογίσουμε πόσες πληροφορίες περιέχονται.

Παρεμπιπτόντως, κατά τον υπολογισμό του λογάριθμου, είναι βολικό να χρησιμοποιήσετε τον ιστότοπο - https://planetcalc.ru/419/#

• Για την πρώτη περίπτωση - 2/6 = 0,33 = και περαιτέρω Log 2 0,33 = 1,599 bit
• Για τη δεύτερη περίπτωση - 1/10 = 0,10 Log 2 0,10 = 3,322 bit
• Για το τρίτο - 2/8 = 0,25 = Καταγραφή 2 0,25 = 2 bit
• Για το τέταρτο - 40/200 + 40/165 = 0,2 και 0,24, αντίστοιχα, τότε υπολογίζουμε σύμφωνα με τον τύπο - (0,2 * log 2 0,2) + - (o,24 * log 2 0,24) = 0,95856 bit

Έτσι, αποδείχθηκε η απάντηση στο πρόβλημά μας 4.