Fandom

Science Wiki

Πληροφορική Εντροπία

63.255pages on
this wiki
Add New Page
Talk1 Share

Ad blocker interference detected!


Wikia is a free-to-use site that makes money from advertising. We have a modified experience for viewers using ad blockers

Wikia is not accessible if you’ve made further modifications. Remove the custom ad blocker rule(s) and the page will load as expected.

Πληροφορική Εντροπία

Information Entropy



Η εντροπία στη θεωρία της Πληροφορίας είναι ένα "μέτρο αβεβαιότητας" που διακατέχει ένα σύστημα.


ΓενικάEdit

Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη Θερμοδυναμική.

Στη θεωρία της πληροφορίας εισήχθη από τον Shannon το 1938 και για αυτό τον λόγο ονομάζεται και εντροπία Shannon. Επιπλέον η εντροπία της Θερμοδυναμικής μπορεί να θεωρηθεί ως εφαρμογή της εντροπίας στη θεωρία της Πληροφορίας.

ΟρισμόςEdit

Έστω ένα Πείραμα Τύχης με n πιθανά αποτελέσματα.

Θεωρούμε την Τυχαία Μεταβλητή X και τα απλά ενδεχόμενα x1...xn που πραγματοποιούνται με πιθανότητες p1...pn (\sum_{i=1}^np_i=1) αντίστοιχα.

Η εντροπία ορίζεται ως:

H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,

με την σύμβαση 0\log_20=0.


Δοκιμή BernoulliEdit

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p.

Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι άσπρες και Ν(1-p) μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα.

Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (p = 1 ή p = 0 αντίστοιχα), τότε ξέρουμε με βεβαιότητα το αποτέλεσμα του πειράματος και η εντροπία είναι 0.

Τη μέγιστη αβεβαιότητα για το αποτέλεσμα προκύπτει όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, p = 0,5.


Ισοπίθανα γεγονόταEdit

'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n.

Η εντροπία τότε είναι:

H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.


Εσωτερική ΑρθρογραφίαEdit

ΒιβλιογραφίαEdit

ΙστογραφίαEdit


Ikl.jpg Κίνδυνοι ΧρήσηςIkl.jpg

Αν και θα βρείτε εξακριβωμένες πληροφορίες
σε αυτήν την εγκυκλοπαίδεια
ωστόσο, παρακαλούμε να λάβετε σοβαρά υπ' όψη ότι
η "Sciencepedia" δεν μπορεί να εγγυηθεί, από καμιά άποψη,
την εγκυρότητα των πληροφοριών που περιλαμβάνει.

"Οι πληροφορίες αυτές μπορεί πρόσφατα
να έχουν αλλοιωθεί, βανδαλισθεί ή μεταβληθεί από κάποιο άτομο,
η άποψη του οποίου δεν συνάδει με το "επίπεδο γνώσης"
του ιδιαίτερου γνωστικού τομέα που σας ενδιαφέρει."

Πρέπει να λάβετε υπ' όψη ότι
όλα τα άρθρα μπορεί να είναι ακριβή, γενικώς,
και για μακρά χρονική περίοδο,
αλλά να υποστούν κάποιο βανδαλισμό ή ακατάλληλη επεξεργασία,
ελάχιστο χρονικό διάστημα, πριν τα δείτε.



Επίσης,
Οι διάφοροι "Εξωτερικοί Σύνδεσμοι (Links)"
(όχι μόνον, της Sciencepedia
αλλά και κάθε διαδικτυακού ιστότοπου (ή αλλιώς site)),
αν και άκρως απαραίτητοι,
είναι αδύνατον να ελεγχθούν
(λόγω της ρευστής φύσης του Web),
και επομένως είναι ενδεχόμενο να οδηγήσουν
σε παραπλανητικό, κακόβουλο ή άσεμνο περιεχόμενο.
Ο αναγνώστης πρέπει να είναι
εξαιρετικά προσεκτικός όταν τους χρησιμοποιεί.

- Μην κάνετε χρήση του περιεχομένου της παρούσας εγκυκλοπαίδειας
αν διαφωνείτε με όσα αναγράφονται σε αυτήν

IonnKorr-System-00-goog.png



>>Διαμαρτυρία προς την wikia<<

- Όχι, στις διαφημίσεις που περιέχουν απαράδεκτο περιεχόμενο (άσεμνες εικόνες, ροζ αγγελίες κλπ.)


Also on Fandom

Random Wiki