Quantität und Qualität der Informationen

Ebenen der Informationsübertragungsprobleme

Bei der Umsetzung von Informationsprozessen werden Informationen stets räumlich und zeitlich von der Informationsquelle zum Empfänger (Empfänger) mittels Signalen übertragen. Signal - ein physikalischer Prozess (Phänomen), der eine Nachricht (Information) über ein Ereignis oder einen Zustand eines Beobachtungsobjekts übermittelt.

Nachricht- eine Form der Darstellung von Informationen in Form einer Reihe von Zeichen (Symbolen), die zur Übertragung verwendet werden.

Eine Nachricht als Zeichensatz kann aus Sicht der Semiotik – einer Wissenschaft, die die Eigenschaften von Zeichen und Zeichensystemen untersucht – auf drei Ebenen untersucht werden:

1) syntaktisch, Dabei werden die internen Eigenschaften von Nachrichten berücksichtigt, d. h. die Beziehungen zwischen Zeichen, die die Struktur eines bestimmten Zeichensystems widerspiegeln.

2) semantisch, wo die Beziehungen zwischen Zeichen und den von ihnen bezeichneten Objekten, Handlungen und Eigenschaften analysiert werden, d. h. der semantische Inhalt der Nachricht, ihre Beziehung zur Informationsquelle;

3) pragmatisch, Dabei wird die Beziehung zwischen der Nachricht und dem Empfänger betrachtet, d. h. der Verbraucherinhalt der Nachricht, ihre Beziehung zum Empfänger.

Probleme syntaktische Ebene befassen sich mit der Schaffung theoretischer Grundlagen für das Konstruieren Informationssysteme. Auf dieser Ebene betrachten sie die Probleme der Übermittlung von Nachrichten an den Empfänger als Zeichensatz unter Berücksichtigung der Art des Mediums und der Art der Informationsdarstellung, der Übertragungs- und Verarbeitungsgeschwindigkeit, der Größe der Informationsdarstellungscodes und der Zuverlässigkeit und Genauigkeit der Konvertierung dieser Codes usw., völlig abstrahiert vom semantischen Inhalt der Nachrichten und ihrem beabsichtigten Zweck. Auf dieser Ebene werden Informationen, die nur aus syntaktischer Sicht betrachtet werden, üblicherweise als Daten bezeichnet, da die semantische Seite keine Rolle spielt.

Probleme semantische Ebene sind mit der Formalisierung und Berücksichtigung der Bedeutung der übermittelten Informationen verbunden und bestimmen den Grad der Übereinstimmung zwischen dem Bild des Objekts und dem Objekt selbst. An dieses Niveau Die Informationen, die die Informationen widerspiegeln, werden analysiert, semantische Zusammenhänge untersucht, Konzepte und Ideen gebildet, Bedeutung und Inhalt der Informationen offengelegt und deren Verallgemeinerung durchgeführt.

Auf einer pragmatischen Ebene Interesse an den Folgen des Erhalts und der Verwendung dieser Informationen durch den Verbraucher. Probleme auf dieser Ebene hängen mit der Bestimmung des Werts und der Nützlichkeit der Nutzung von Informationen zusammen, wenn der Verbraucher eine Lösung zur Erreichung seines Ziels entwickelt. Die Hauptschwierigkeit besteht darin, dass der Wert und Nutzen von Informationen für verschiedene Empfänger völlig unterschiedlich sein kann und darüber hinaus von einer Reihe von Faktoren abhängt, wie beispielsweise der Aktualität ihrer Übermittlung und Nutzung.

Informationsmaßnahmen

Maße für Informationen auf syntaktischer Ebene

Um Informationen auf syntaktischer Ebene zu messen, werden zwei Parameter eingeführt: die Informationsmenge (Daten) - V D(Volumenansatz) und Informationsmenge - ICH(Entropieansatz).

Informationsumfang V D. Bei der Umsetzung von Informationsprozessen werden Informationen in Form einer Nachricht übermittelt, bei der es sich um eine Reihe von Symbolen eines Alphabets handelt. Wenn die in einer Nachricht mit einem Zeichen enthaltene Informationsmenge als eins betrachtet wird, dann ist die Informationsmenge (Daten) V D in jeder anderen Nachricht entspricht der Anzahl der Zeichen (Ziffern) in dieser Nachricht.

Im dezimalen Zahlensystem hat also eine Ziffer das Gewicht 10, und dementsprechend ist die Maßeinheit der Informationen dit (Dezimalstelle). In diesem Fall eine Nachricht im Formular N V D= P dit. Beispielsweise hat die vierstellige Zahl 2003 ein Datenvolumen VD = 4 dit.

IN binäres System In der Notation hat eine Ziffer das Gewicht 2, und dementsprechend ist die Maßeinheit für Informationen das Bit (Bit (Binärziffer)- Binärzahl). In diesem Fall eine Nachricht im Formular N-Digitale Nummer hat Datenvolumen V D = n bisschen. Beispielsweise hat der Acht-Bit-Binärcode 11001011 ein Datenvolumen V D= 8 Bit.

In der modernen Datenverarbeitung wird neben der minimalen Dateneinheit Bits häufig auch die erweiterte Byteeinheit verwendet, die 8 Bits entspricht. Bei der Arbeit mit großen Informationsmengen werden größere Maßeinheiten zur Berechnung der Menge verwendet, z. B. Kilobyte (KB), Megabyte (MB), Gigabyte (GB), Terabyte (TB):

1 kByte = 1024 Bytes = 2 10 Bytes;

1 MB = 1024 KB = 2 20 Byte = 1.048.576 Byte;

1 GB = 1024 MB = 2 30 Byte = 1.073.741.824 Byte; .

1 TB = 1024 GB = 2 40 Byte = 1.099.511.627.776 Byte.

Informationsmenge I (Entropieansatz). In der Informations- und Kodierungstheorie wird ein Entropieansatz zur Messung von Informationen übernommen. Dieser Ansatz basiert auf der Tatsache, dass die Tatsache der Informationsgewinnung immer mit einer Abnahme der Diversität bzw. Unsicherheit (Entropie) des Systems verbunden ist. Auf dieser Grundlage wird die Informationsmenge in einer Nachricht als Maß für die Verringerung der Unsicherheit über den Zustand eines bestimmten Systems nach dem Empfang der Nachricht bestimmt. Sobald ein Beobachter etwas in einem physikalischen System identifiziert hat, nimmt die Entropie des Systems ab, weil das System für den Beobachter geordneter geworden ist.

Beim Entropieansatz wird Information also als der quantitative Wert der Unsicherheit verstanden, der während eines Prozesses (Testen, Messen usw.) verschwunden ist. In diesem Fall wird die Entropie als Maß für die Unsicherheit eingeführt N, und die Informationsmenge beträgt:

Wo H Apr - A-priori-Entropie über den Zustand des untersuchten Systems;

Zufällig- hintere Entropie.

A posteriori- aus Erfahrung (Tests, Messungen) stammen.

A priori- ein Konzept, das Wissen charakterisiert, das der Erfahrung vorausgeht (Prüfung) und von dieser unabhängig ist.

Für den Fall, dass während des Tests die bestehende Unsicherheit beseitigt wird (ein bestimmtes Ergebnis erhalten wird, d. h. Zufällig = 0) stimmt die Menge der empfangenen Informationen mit der anfänglichen Entropie überein

Betrachten wir als das untersuchte System eine diskrete Informationsquelle (eine Quelle diskreter Nachrichten), womit wir ein physisches System meinen, das eine endliche Menge möglicher Zustände hat. Das ist eine Menge A= (A 1, A 2 , ..., a p) Zustände eines Systems werden in der Informationstheorie als abstraktes Alphabet oder Alphabet einer Nachrichtenquelle bezeichnet.

Einzelne Staaten a 1, a 2,..., a„ werden Buchstaben oder Symbole des Alphabets genannt.

Ein solches System kann zu jedem Zeitpunkt zufällig einen Zustand aus einer endlichen Menge möglicher Zustände annehmen. und ich.

Da einige Zustände von der Quelle häufiger und andere seltener ausgewählt werden, handelt es sich im allgemeinen Fall um ein Ensemble A, d. h. eine vollständige Menge von Zuständen mit Eintrittswahrscheinlichkeiten, die sich zu eins summieren:

, und (2.2)

Lassen Sie uns ein Maß für die Unsicherheit bei der Wahl des Quellzustands einführen. Es kann auch als Maß für die Informationsmenge betrachtet werden, die unter vollständiger Eliminierung der Unsicherheit hinsichtlich gleichwahrscheinlicher Zustände der Quelle erhalten wird.

Dann um N=1 wir bekommen AUF DER)= 0.

Dieses Maß wurde 1928 vom amerikanischen Wissenschaftler R. Hartley vorgeschlagen. Die Basis des Logarithmus in Formel (2.3) ist nicht von grundlegender Bedeutung und bestimmt nur den Maßstab oder die Maßeinheit. Abhängig von der Basis des Logarithmus sind die folgenden Einheiten der Messung verwendet werden.

1. Bits – in diesem Fall ist die Basis des Logarithmus gleich 2:

(2.4)

2. Nits – in diesem Fall ist die Basis des Logarithmus gleich e:

3. Dits – in diesem Fall ist die Basis des Logarithmus gleich 10:

In der Informatik wird üblicherweise Formel (2.4) als Maß für die Unsicherheit verwendet. In diesem Fall wird die Einheit der Unsicherheit als binäre Einheit oder Bit bezeichnet und stellt die Unsicherheit dar, die bei der Auswahl zweier gleich wahrscheinlicher Ereignisse entsteht.

Formel (2.4) kann empirisch ermittelt werden: Um die Unsicherheit in einer Situation mit zwei gleich wahrscheinlichen Ereignissen zu beseitigen, sind eine Erfahrung und dementsprechend ein Informationsbit erforderlich; im Falle einer Unsicherheit, die aus vier gleich wahrscheinlichen Ereignissen besteht, sind 2 Informationsbits erforderlich genügen, um die gewünschte Tatsache zu erraten. Um eine Karte aus einem Kartenspiel mit 32 Karten zu identifizieren, genügen 5 Bits an Informationen, d. h. es reicht aus, fünf Fragen mit den Antworten „Ja“ oder „Nein“ zu stellen, um die gesuchte Karte zu bestimmen.

Die vorgeschlagene Maßnahme ermöglicht die Lösung bestimmter praktischer Probleme, wenn alle möglichen Zustände der Informationsquelle die gleiche Wahrscheinlichkeit haben.

Im Allgemeinen hängt der Grad der Unsicherheit bei der Umsetzung des Zustands der Informationsquelle nicht nur von der Anzahl der Zustände ab, sondern auch von der Wahrscheinlichkeit dieser Zustände. Wenn eine Informationsquelle beispielsweise zwei mögliche Zustände mit Wahrscheinlichkeiten von 0,99 und 0,01 aufweist, ist die Auswahlunsicherheit deutlich geringer als die einer Quelle mit zwei gleich wahrscheinlichen Zuständen, da in diesem Fall das Ergebnis praktisch vorbestimmt ist ( Realisierung des Zustands, Wahrscheinlichkeit, die gleich 0,99 ist).

Der amerikanische Wissenschaftler K. Shannon verallgemeinerte das Konzept eines Maßes für die Entscheidungsunsicherheit H falls H hängt nicht nur von der Anzahl der Zustände ab, sondern auch von den Wahrscheinlichkeiten dieser Zustände (Wahrscheinlichkeiten). p ich Charakterauswahl und ich, Alpha Beta). Dieses Maß, das die Unsicherheit pro Staat im Durchschnitt darstellt, wird aufgerufen Entropie einer diskreten Informationsquelle:

(2.5)

Wenn wir uns erneut auf die Messung der Unsicherheit in binären Einheiten konzentrieren, sollte die Basis des Logarithmus gleich zwei angenommen werden:

(2.6)

Bei gleichwahrscheinlichen Wahlen ist die Wahrscheinlichkeit p i =1/N Formel (2.6) wird in R. Hartleys Formel (2.3) umgewandelt:

Das vorgeschlagene Maß wurde nicht zufällig Entropie genannt. Der Punkt ist, dass die formale Struktur des Ausdrucks (2.5) mit der Entropie übereinstimmt physikalisches System, zuvor von Boltzmann definiert.

Mit den Formeln (2.4) und (2.6) können wir die Redundanz ermitteln D Alphabet der Nachrichtenquelle A, was zeigt, wie rational die Symbole eines bestimmten Alphabets verwendet werden:

Wo N max (A) - die maximal mögliche Entropie, bestimmt durch Formel (2.4);

AUF DER) - Entropie der Quelle, bestimmt durch Formel (2.6).

Der Kern dieser Maßnahme besteht darin, dass bei einer gleichwahrscheinlichen Wahl durch die Verwendung eines kleineren Alphabets die gleiche Informationslast auf einem Zeichen sichergestellt werden kann wie bei einer ungleichen Wahl.

Bei der Bewertung von Informationen werden Aspekte wie Syntax, Semantik und Pragmatik unterschieden. Syntaktischer Aspekt mit der Methode der Informationsübertragung verbunden, unabhängig von ihren semantischen und Verbraucherqualitäten. Auf syntaktischer Ebene werden die Formen seiner Übertragung und Speicherung betrachtet. Typischerweise werden die Informationen, die übermittelt werden sollen, als Nachricht bezeichnet. Die Nachricht kann in Form von Zeichen und Symbolen dargestellt, in elektrische Form umgewandelt und kodiert, d. h. in Form einer bestimmten Folge elektrischer Signale dargestellt, die die übertragenen Nachrichten eindeutig anzeigen. Die Merkmale der Prozesse der Transformation von Nachrichten zur Übertragung werden durch den syntaktischen Aspekt bestimmt. Während der Speicherung wird der syntaktische Aspekt durch andere Formen der Informationsdarstellung bestimmt, die dies ermöglichen der beste Weg Informationen in der Informationsdatenbank suchen, aufzeichnen, aktualisieren und ändern. Informationen, die nur in Bezug auf den syntaktischen Aspekt betrachtet werden, werden häufig aufgerufen Daten. Semantischer Aspekt vermittelt den semantischen Inhalt von Informationen und korreliert ihn mit zuvor verfügbaren Informationen. Es werden semantische Zusammenhänge zwischen Wörtern und anderen Elementen der Sprache reflektiert "Thesaurus"(Wörterbuch). Es besteht aus zwei Teilen: einer Liste von Wörtern und Phrasen, gruppiert nach Bedeutung, und einem bestimmten Schlüssel (Alphabet), der es Ihnen ermöglicht, Wörter in einer bestimmten Reihenfolge anzuordnen. Beim Empfang von Informationen kann der Thesaurus geändert werden, und der Grad dieser Änderung charakterisiert die Menge der wiedergegebenen Informationen. Pragmatischer Aspekt ermittelt die Möglichkeit, das gesetzte Ziel unter Berücksichtigung der erhaltenen Informationen zu erreichen. Dieser Aspekt spiegelt die Verbrauchereigenschaften von Informationen wider – wenn sich die Informationen als wertvoll erweisen, ändert sich das Verhalten ihres Verbrauchers in die richtige Richtung. Der pragmatische Aspekt manifestiert sich, wenn Einheit zwischen Verbraucher und Ziel besteht.

Somit durchlaufen Informationen über ihr Auftreten und ihre Transformationen drei Phasen, die ihre semantischen, syntaktischen und pragmatischen Aspekte bestimmen. Ein Mensch beobachtet zunächst einige Fakten der umgebenden Realität, die sich in Form eines bestimmten Datensatzes in seinem Bewusstsein widerspiegeln – hier ist syntaktischer Aspekt. Dann, nach der Strukturierung dieser Daten nach Fachbereich eine Person formalisiert Wissen über die Struktur eines Objekts – das ist semantischer Aspekt Information empfangen. Informationen in Form von Wissen haben hochgradig Strukturierung, die Ihnen das Hervorheben ermöglicht volle Informationüber die umgebende Realität und erstellen Informationsmodelle der untersuchten Objekte. Das erworbene Wissen nutzt der Mensch dann in seiner Praxis, also zur Erreichung seiner Ziele, was sich widerspiegelt pragmatischer Aspekt.

Einheiten der Informationsmenge, die im Rahmen des probabilistischen und volumetrischen Ansatzes definiert werden, sind Arten syntaktischer Informationsmaße, die im allgemeinsten Ansatz verwendet werden, wenn Gegenstand der Betrachtung nicht nur Informationen im engeren Sinne sind (z. B. verarbeitet durch a Computer), sondern alle seine Arten, einschließlich sozialer Informationen.

Syntaktisches Maß operiert mit unpersönlichen Informationen, die keine semantische Beziehung zum Objekt ausdrücken. Die Datenmenge einer Informationsnachricht wird anhand der Anzahl der Zeichen (Bits) gemessen. IN verschiedene Systeme Notationsziffern haben unterschiedliche Gewichte und die Dateneinheiten ändern sich entsprechend. Beispiele sind bit, nat, trit, dit. Im Rahmen des probabilistischen Ansatzes wird das syntaktische Maß der Informationsmenge durch den Grad der Änderung der Unsicherheit des Systemzustands bestimmt, im Rahmen des volumetrischen Ansatzes charakterisiert es die Informationsmenge.

Semantisches Maß Wird verwendet, um Informationen hinsichtlich ihrer Bedeutung zu charakterisieren. Die semantische Analyse ermöglicht es, den Inhalt von Informationen aufzudecken und die Beziehungen zwischen den semantischen Bedeutungen ihrer Bestandteile aufzuzeigen. In Kombination mit dem Begriff „Thesaurus“ wird das semantische Maß genannt Thesaurusmaß Information. Das Thesaurusmaß wurde von Yu.I. Schneider vorgeschlagen und verbreitete sich. Thesaurus ist eine Sammlung von Informationen, die einem Benutzer oder System zur Verfügung stehen. Eine weitere Definition, die der ersten nicht widerspricht: Thesaurus ist die Vollständigkeit eines systematischen Datensatzes zum Informationsgegenstand. Während des Informationsprozesses ändert sich abhängig von der Beziehung zwischen dem semantischen Inhalt der Informationen und dem Thesaurus des Benutzers die Menge der semantischen Informationen, die der Benutzer wahrnimmt und die er anschließend in seinen Thesaurus aufnimmt. Der Benutzer erhält die maximale Menge an semantischen Informationen, wenn die Informationen für ihn klar sind und ihm bisher unbekannte Informationen (nicht im Thesaurus) enthalten. Die Menge der während des Informationsprozesses gewonnenen semantischen Informationen ist ein relativer Wert, da dieselbe Nachricht für einen kompetenten Benutzer semantischen Inhalt haben und für einen inkompetenten Benutzer bedeutungslos (semantisches Rauschen) sein kann. Ein Maß für semantische Informationen kann der Inhaltskoeffizient sein, der als Verhältnis der Menge semantischer Informationen zu ihrem Gesamtvolumen definiert ist.

Pragmatische Maßnahme charakterisiert den Nutzen (Wert) von Informationen für den Benutzer, um sein Ziel zu erreichen. Auch bei diesem Maß handelt es sich um einen relativen Wert, abhängig von den konkreten Bedürfnissen des Nutzers und den Bedingungen des Informationsprozesses. In einem technischen System bestimmen die pragmatischen Eigenschaften von Informationen die Möglichkeit, die Qualität der Funktionsweise des Systems zu verbessern.

Formulare zur Darstellung von Informationen auf einem Computer. Zahlensysteme

Die physikalische Grundlage der Computertechnik ist die Erzeugung, Verarbeitung und Übertragung elektrischer Signale. Elektrische Signale werden unterteilt in analog(kontinuierlich) und Digital(diskret). Wird in der Informatik verwendet digitale Signale. Jedem Spannungs-(Strom-)Pegel ist eine bestimmte Nummer zugeordnet. Die Korrelation elektrischer Signalparameter mit Zahlen spiegelt die Verbindung zwischen Technologie und Mathematik wider. Moderne Computer basieren auf einem binären Zahlensystem, in dem es nur zwei Ziffern gibt – 0 und 1. Die Wahl für dieses System ist darauf zurückzuführen, dass es technisch einfacher zu implementieren ist als das dem Menschen bekannte dezimale Zahlensystem.

Das Hauptelement der Computerelektronik ist ein Transistor Schlüsselmodus. In diesem Modus realisiert der Transistor je nach anliegender Spannung zwei logische Zustände nach dem Schalterprinzip: offen – geschlossen oder ein – aus. Diese beiden Zustände vergleichen 0 und 1 des binären Zahlensystems – jene mathematischen Objekte, mit deren Hilfe alle von einem Computer verarbeiteten Informationen kodiert werden. Auf der Ebene der Eigenschaften eines elektrischen Signals kann „Null“ beispielsweise einer Spannung von minus 5 Volt und „Eins“ einer Spannung von plus 5 Volt entsprechen. Oder – 15 V und + 15 V. Die Absolutwerte der Spannungen, die den logischen Zuständen 0 und 1 zugeordnet sind, sind für die Softwareverarbeitung von Informationen nicht von Bedeutung und werden durch die optimalen Betriebsbedingungen der elektronischen Platinen bestimmt. In Datenspeichergeräten können Informationen „Nullen“ und „Einsen“ unterschiedlich implementiert werden: Beispielsweise entsprechen auf einer Magnetplatte die Zustände 0 und 1 unterschiedlichen Richtungen des Magnetisierungsvektors; bei Flash-Laufwerken – das Fehlen oder Vorhandensein einer elektrischen Ladung in einem bestimmten mikroskopischen Bereich einer Substanz; in RAM-Chips - ein ungeladener oder geladener Kondensator.

Die interne Darstellung aller Informationen in einem Computer ist also binär. In der Programmierung werden auch oktale und hexadezimale Zahlensysteme verwendet. Da es sich beim Computernutzer außerdem um eine Person handelt, ist die Verbindung der genannten Zahlensysteme mit der Dezimalzahl wichtig.

Notation– eine akzeptierte Schreibweise für Zahlen – gekennzeichnet durch die Anzahl der Ziffern, mit denen eine beliebige Zahl ausgedrückt werden kann. Alle Zahlensysteme lassen sich in zwei Klassen einteilen: positionell Und nicht positionell. Positionszahlensysteme sind solche, bei denen die Gewichtung der Ziffern von ihrer Position im Zahlendatensatz abhängt. Die Anzahl der Ziffern in einem Positionssystem wird aufgerufen Zahlensystembasis. Nachfolgend sind in einem Block wichtige Definitionen zu Zahlensystemen zusammengefasst.

Zahlen– Symbole, die zum Schreiben von Zahlen und zum Zusammenstellen eines Alphabets verwendet werden.

Nummer– eine bestimmte Größe, die nach bestimmten Regeln aus Zahlen zusammengesetzt wird.

Notation- eine Möglichkeit, Zahlen mit Ziffern zu schreiben.

Positionszahlensystem– ein Zahlensystem, bei dem die Gewichtung einer Ziffer von ihrer Position im Datensatz abhängt.

Entladung– Position einer Ziffer in einer Zahl.

Base– die Anzahl der Ziffern, die zum Schreiben von Zahlen verwendet werden.

Computer verwenden Positionszahlensysteme.

Zahlensysteme

am häufigsten in der Informatik verwendet

Base	Notation
	binär
	oktal	0, 1, 2, 3, 4, 5, 6, 7
	Dezimal	0, 1, 2, 3, 4, 5, 6, 7, 8, 9
	hexadezimal	0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F

Ein Beispiel für ein nicht-positionelles Zahlensystem ist das römische. Dieses System verwendet 7 Zeichen (I, V, X, L, C, D, M), die den folgenden Werten entsprechen: I – 1, V – 5, X – 10, L – 50, C – 100, D – 500, M – 1000. Normalerweise werden römische Ziffern verwendet, wenn Kapitel in Büchern oder Jahrhunderte in der Geschichte nummeriert werden. Der Nachteil nichtpositionaler Zahlensysteme, der ihre Verwendung in der Informatik ausschließt, ist das Fehlen formaler Regeln für die Schreibweise von Zahlen und dementsprechend die Unmöglichkeit, arithmetische Operationen mit ihnen durchzuführen.

Betrachten wir die Darstellung einer Zahl im Positionszahlensystem. Beginnen wir mit einem einfachen Beispiel. Sei N – ganz Nummer. Es kann als kurzer oder erweiterter Eintrag präsentiert werden. Kurze Aufzeichnung der Nummer:

N = (a n a n -1 …a 1 a 0) p

Hier sind a 0 , a 1 , … , a n -1 , a n die Ziffern, die sich jeweils an der Null-, ersten, …, (n-1)-ten, n-ten Position im Zahlendatensatz befinden. Die Nummerierung der Stellen bzw. Ziffern beginnt bei Null und verläuft von rechts nach links. 0 ist die niedrigstwertige Ziffer der Zahl, die das geringste Gewicht hat; n – die höchstwertige Ziffer mit dem größten Gewicht. Die Zahl p ist die Basis des Zahlensystems.

Beispielsweise stellt in der Zahl N = (6874) 10 die Ziffer 4 die Nullziffer dar, 7 die erste Ziffer, 8 die zweite Ziffer und 6 die dritte Ziffer. Die Gewichtung der Ziffern nimmt von rechts nach links zu, von Einer bis Tausender: 4 Einheiten – 7 Dutzende – 8 Hunderte – 6 tausend. 10 – die Basis des Zahlensystems – weist darauf hin, dass diese Zahl im dem Menschen geläufigen Dezimalzahlensystem geschrieben ist und als gelesen wird sechstausendachthundertvierundsiebzig.

Die Zahl N kann durch erweiterte Notation dargestellt werden:

N = a n p n + a n-1 p n-1 + … + a 1 p 1 + a 0 p 0

Hier wird die Zahl N als Summe ausgedrückt, deren jedes Glied das Produkt der Ziffer mit der Basis des Zahlensystems darstellt, potenziert mit der Positionsnummer (Ziffer) dieser Ziffer in der Zahl:

Nummer  (Base) Ziffernnummer

Um auf das oben besprochene Beispiel zurückzukommen, geben wir eine erweiterte Notation der Zahl N = (6874) 10 an:

(6874) 10 = 610 3 + 810 2 + 710 1 + 410 0 .

Mit der erweiterten Schreibweise einer Zahl ist eine universelle Methode zur Umrechnung von Zahlen aus beliebigen Zahlensystemen in Dezimalzahlen verbunden.

Sie möchten beispielsweise die Hexadezimalzahl (E7B) 16 in das dezimale Zahlensystem umwandeln.

Zuerst nummerieren wir die Ziffern der Zahl – von rechts nach links, von der niedrigstwertigen zur höchstwertigen. Wir berücksichtigen, dass die Nummerierung der Ziffern bei Null beginnt.

Berücksichtigen wir die Entsprechung zwischen den Ziffern des hexadezimalen und dezimalen Zahlensystems: E – 14, B – 11. Dann

Damit ist das Problem gelöst: (E7B) 16 = (3707) 10.

Eine ähnliche Methode wird zur Umwandlung von Bruchzahlen verwendet. Die Zahlen rechts vom Dezimalpunkt entsprechen Ziffern mit negativen Zahlen.

N = (a n a n-1 …a 1 a 0 ,a -1 a -2 …a -k) p

Betrachten wir die Umwandlung der gebrochenen Oktalzahl (725,46) 8 in das dezimale Zahlensystem.

Wir nummerieren die Kategorien.

Führen wir die Berechnungen durch und erhalten das Ergebnis im Dezimalzahlensystem.

(725,46) 8 = 78 2 + 28 1 + 58 0 + 48 -1 + 68 -2 = 448 + 16 + 5 + 4/8 + 6/64 =

448 + 16 + 5 + 0,5 + 0,09375 = 469,59375

Also (725,46) 8 = (469,59375) 10.

Etwas schwieriger ist es, Zahlen vom Dezimalsystem in andere Zahlensysteme umzuwandeln.

Die Technik basiert auf sequentiell ganze Zahl Division mit Auswahl der Reste als Ziffern der gewünschten Zahl. Die ursprüngliche Zahl wird durch die Basis des Zahlensystems dividiert, in das die Umrechnung durchgeführt wird. Das Ergebnis einer ganzzahligen Division ist der Quotient, dargestellt durch eine ganze Zahl und einen Rest. Dieser Rest ist die niedrigstwertige Ziffer der gewünschten Zahl. Der im ersten Schritt erhaltene Quotient wird erneut durch die Basis des gewünschten Zahlensystems dividiert und erhält erneut den Quotienten und den Rest. Der Rest wird als nächste Ziffer der gewünschten Zahl gespeichert. Die Division wird fortgesetzt, bis der nächste Quotient kleiner als die Basis des erforderlichen Zahlensystems ist. Dieser Quotient ist die höchstwertige Ziffer der gewünschten Zahl. Daraus und den im letzten und vorherigen Schritt erhaltenen Resten wird die benötigte Zahl gebildet.

Schauen wir uns diese Technik anhand eines Beispiels an. Sie müssen die Zahl (894) 10 in das septale Zahlensystem umrechnen.

894: 7 = 127, Rest 5

127: 7 = 18, Rest 1

18: 7 = 2 , Rest 4

Der letzte Quotient – ​​2 – ist kleiner als die Basis des Zahlensystems, in das umgerechnet wird – 7. Jetzt können Sie die gewünschte Zahl schreiben: (2415) 7.

Also (894) 10 = (2415) 7.

Logische Grundlagen von Computern

Algebra der Logik. Logische Aussagen

Der Vorläufer und Bestandteil der Algebra, nach deren Regeln digitale Computergeräte arbeiten, ist die Algebra der Logik. Diese Algebra operiert mit logischen Aussagen, deren Inhalt als wahrheitsgemäß (wahr) oder nicht mit der Realität vereinbar (falsch) beurteilt werden kann.

Eine logische Aussage ist ein Aussagesatz, dessen Wahrheit oder Falschheit beurteilt werden kann.

Beispiele für wahre Aussagen: „Wasser ist eine Flüssigkeit“, „Nach dem Winter kommt der Frühling“, „Die Zahl 48 ist achtmal größer als die Zahl 6.“ Beispiele für falsche Aussagen: „Der Kama-Fluss mündet in den Baikalsee“, „Ein Spatz ist ein Falke“, „Die Zahl 2 ist größer als die Zahl 3“.

Im ersten Satz wird das Verb im Imperativ verwendet. Ein Anreizsatz kann keine logische Aussage sein.

Der zweite Satz ist aufgrund der Absurdität der Begriffe „Fläche eines Segments“ und „Länge eines Würfels“ keine logische Aussage.

Der dritte Satz ist fragend und kann daher auch keine logische Aussage sein.

Der vierte Satz ist eine logische Aussage und eine falsche.

Der erste Satz ist eine logische Aussage. Das ist falsch, denn in Wirklichkeit ist Merkur der sonnennächste Planet.

Der zweite Satz ist nicht deklarativ, sondern ausrufend, also keine logische Aussage.

Der dritte Satz könnte eine logische Aussage sein, wenn die darin enthaltenen Informationen ausreichen würden, um zu beurteilen, ob sie wahr oder falsch ist. Es ist jedoch unmöglich zu beurteilen, ob die Zahl X zum angegebenen Intervall gehört, da diese Zahl selbst unbekannt ist. Daher ist auch der dritte Satz keine logische Aussage.

Boolsche Algebra. Grundlegende logische Operationen

Computerlogische Geräte werden auf der Grundlage des mathematischen Apparats der Booleschen Algebra entwickelt, benannt nach dem englischen Mathematiker George Boole, der ihre Grundkonzepte und Regeln formulierte. Dies ist eine Algebra binärer Variablen, Konstanten und Funktionen, die nur zwei Werte annehmen – Einheit(in der Algebra der Logik entspricht es dem Wert WAHR) und null(in der Algebra der Logik - FALSCH).

Hauptoperationen boolsche Algebra Sind Umkehrung, Verbindung, Disjunktion. Ihre russischen Namen sind jeweils Negation, logische Multiplikation, logische Ergänzung. Ansonsten - Operationen NICHT, UND, ODER.

Notation logischer Operationen der Booleschen Algebra

A und B sind logische Aussagen.

Wahrheitstabellen dienen der visuellen Darstellung und Durchführung logischer Berechnungen.

Nachfolgend finden Sie die Wahrheitstabellen grundlegender logischer Operationen.

Umkehrung

Inversion ist eine Funktion eines Arguments, nämlich der logischen Aussage A. Wenn A falsch ist, dann ist Ā wahr und umgekehrt.

Konjunktion und Disjunktion

Konjunktion und Disjunktion sind Funktionen von zwei oder mehr Argumenten. Ihr Ergebnis ist eine komplexe (zusammengesetzte) logische Aussage, die je nach Wert der Funktionsargumente den Wert 1 oder 0 annimmt. Die Wahrheitstabelle muss alle möglichen Kombinationen von Argumentwerten umfassen – einfache oder komplexe logische Aussagen. Es gibt 2 n solcher Kombinationen, wobei n die Anzahl der Argumente ist. Im einfachsten Fall, wenn wir mit zwei logischen Aussagen A und B arbeiten, sehen die Wahrheitstabellen so aus.

Konjunktion Disjunktion

Argumente		Ergebnis			Argumente		Ergebnis

Für eine beliebige Anzahl von Argumenten gelten zwei Regeln.

1. Wenn unter den Argumenten Konjunktionen Gibt es mindestens eines, das immer den Wert 0 (FALSE) annimmt, dann ist das Ergebnis der Konjunktion, unabhängig von den Werten der anderen Argumente, ebenfalls 0 (FALSE).

2. Wenn unter den Argumenten Disjunktionen Gibt es mindestens eines, das immer den Wert 1 (WAHR) annimmt, dann ist das Ergebnis der Disjunktion, unabhängig von den Werten der anderen Argumente, ebenfalls 1 (WAHR).

Die folgenden Wahrheitstabellen bestätigen diese Regeln.

Einige Aussagen der gewöhnlichen menschlichen Sprache können mit logischen Funktionen verglichen werden. Zum Beispiel die Aussage „Um bei einer Prüfung eine hervorragende Note zu erhalten, ist Folgendes erforderlich.“ Wie Verfügbarkeit von Übungskrediten, so und„gute Kenntnisse des theoretischen Stoffes“ entspricht der Konjunktion. Zitat: „Damit die Haut braun wird, muss man mehrere Tage am Strand in der heißen Sonne verbringen.“ oder„mehrmals das Solarium besuchen“ stellt eine Disjunktion dar. Ein weiteres Beispiel für eine Disjunktion: „Um Gewicht zu verlieren, muss man körperlich härter arbeiten und weniger essen.“ Lassen Sie uns die letzte Aussage mit einer Wahrheitstabelle veranschaulichen.

Aussagen, die eine Konjunktion darstellen, entsprechen meist der Konstruktion „ AUndB», « WieA,so undB», « Azusammen mitB"; Darstellung der Disjunktion – „ AoderB" Es kann Ausnahmen geben: Ein Beispiel ist der am Ende der vorherigen Seite analysierte Satz.

Konstruktionen wie „ oderA,oderB», « AoderB», « oderA,oderB» entspricht einer aufgerufenen Funktion strenge Disjunktion. Der Unterschied zu einer gewöhnlichen Disjunktion besteht darin, dass sie nur dann gleich 1 ist, wenn die Werte ihrer Argumente unterschiedlich sind. Die Bezeichnung der strikten Disjunktion ist –A  B, ihre anderen Namen sind Ungleichheit,exklusiv OR (XOR in Programmiersprachen), Addition Modulo 2. Nachfolgend finden Sie die Wahrheitstabelle für die strikte Disjunktion.

Strikte Disjunktion (Nichtäquivalenz)

In der modernen Algebra der Logik werden zwei weitere Grundoperationen definiert: Gleichwertigkeit Und Implikation.

Äquivalenz (Äquivalenz, Äquivalenz) ist eine Funktion, die der strengen Disjunktion entgegengesetzt ist. Die Auswertung ergibt TRUE, wenn alle seine Argumente entweder wahr oder falsch sind. Seine Bezeichnung: A  B.

Äquivalenz (Äquivalenz)

Implikation ist eine Funktion zweier logischer Argumente. Ihre Bezeichnung lautet: A  B. Die Wahrheitstabelle der Funktion „Implikation“ lautet wie folgt.

Implikation

Die Implikation kann durch die Grundoperationen der Booleschen Algebra ausgedrückt werden: A  B = A  B.

In Programmiersprachen entsprechen Äquivalente der Funktion EQV und Implikationen IMP.

Die Funktionen „Äquivalenz“ und „Implikation“ können auch mit einzelnen Aussagen der russischen Sprache korreliert werden. Äquivalenzen entsprechen Aussagen wie: „ A Äquivalent B» ; « A dann und nur wann B» ; « A notwendig und ausreichend für B" Die Implikationen entsprechen der Konstruktion: „ Wenn A, Das B» ; « B, Wenn A» ; « B notwendig für A» ; « A genug für B» ; « A nur wenn B» ; « B dann wenn A". Ein klassisches Beispiel für eine Implikation ist der Satz „Wenn es regnet, dann sind Wolken am Himmel.“ Bezeichnen wir A= „Es regnet“ B= „Es sind Wolken am Himmel“ und erstellen Sie eine Wahrheitstabelle.

			„Es regnet nicht, es sind keine Wolken am Himmel“ – ein klarer, sonniger Tag, Zusammengesetzte Aussage WAHR
			„Es regnet nicht, es sind Wolken am Himmel“ – ein trockener, bewölkter Tag, Zusammengesetzte Aussage WAHR
			„Es regnet, es sind keine Wolken am Himmel“ – das passiert nicht, Zusammengesetzte Aussage FALSCH
			„Es regnet, es sind Wolken am Himmel“ – ein bewölkter regnerischer Tag, Zusammengesetzte Aussage WAHR

Es muss betont werden, dass die Formalisierung von Äußerungen in der menschlichen Sprache sehr begrenzt ist. Die meisten Phrasen und Sätze der russischen Sprache, sowohl umgangssprachlicher als auch literarischer Art, sind aus Sicht der Algebra der Logik überhaupt keine Aussagen. Dies ist auf das Vorhandensein vieler Nuancen des Schreibens und Sprechens zurückzuführen, die nicht im Rahmen der formalen Logik erfasst werden können, auf die emotionale Färbung und Subjektivität der Urteile sowie auf die unveränderliche Tatsache, dass es auf der Welt viel mehr relative Wahrheiten gibt als absolute. Daher sind Experimente zur Korrelation der Operationen der formalen Logik mit Aussagen der menschlichen Sprache nur auf eindeutig wahrgenommene Sätze anwendbar, die die allgemeinsten und einfachsten Tatsachen darlegen.

Die Grundlage der modernen Algebra der Logik sind also fünf grundlegende logische Operationen: Inversion, Konjunktion, Disjunktion, Implikation, Äquivalenz. Alle anderen Operationen können durch Kombinationen der drei Operationen der Booleschen Algebra ausgedrückt werden: Inversion, Konjunktion und Disjunktion.

Bei der Analyse komplexer logischer Aussagen ist es notwendig, sich an die Priorität logischer Operationen zu erinnern: Wenn keine Klammern vorhanden sind, wird zuerst die Negation durchgeführt, dann folgen in absteigender Reihenfolge der Priorität Konjunktion, strikte Disjunktion, Disjunktion, Implikation und nicht zuletzt Gleichwertigkeit. Klammern können diese Reihenfolge ändern.

In der Digitaltechnik haben sich Mikroschaltungen verbreitet, die auf den logischen Elementen AND-NOT und NOR-NOT basieren. Technologisch sind sie am einfachsten umzusetzen. Es gab sogar Versuche, Computer zu bauen, die nur aus diesen Elementen bestanden. Damit verbunden sind zwei weitere binäre Algebra – die Schaeffer-Algebra und die Peirce-Algebra. Die UND-NICHT-Operation wird „Schaeffer-Strich“ genannt, die ODER-NICHT-Operation wird „Pierce-Pfeil“ genannt. Bezeichnungen: A  B bzw. A  B. Aus der Sicht der Booleschen Algebra sind beide Operationen zusammengesetzt.

A  B = A  B	A  B = A  B

Wahrheitstabellen für diese Funktionen:

Schaeffers Schlaganfall Arrow Peirce

Argumente		Ergebnis			Argumente		Ergebnis

Notationen in der Digitaltechnik.

durchschnittlich pro Bundesland auftritt, genannt Entropie einer diskreten Informationsquelle

mation.

H p i log p i

ich 1 N

Wenn wir uns erneut auf die Messung der Unsicherheit in binären Einheiten konzentrieren, sollte die Basis des Logarithmus gleich zwei angenommen werden.

H p ilog 2 p i

ich 1 N

Bei Wahlen mit gleicher Wahrscheinlichkeit, alle

	p log

und Formel (5) wird in R. Hartleys Formel (2) umgewandelt:

					1 Log2	Nlog2

Das vorgeschlagene Maß wurde nicht zufällig Entropie genannt. Tatsache ist, dass die formale Struktur des Ausdrucks (4) mit der zuvor von Boltzmann definierten Entropie des physikalischen Systems übereinstimmt. Nach dem zweiten Hauptsatz der Thermodynamik wird die Entropie eines geschlossenen Raumes bestimmt durch

		P ich 1

dann wachsen

kann geschrieben werden als

Pilne

ich 1 N

Diese Formel stimmt vollständig mit (4) überein

In beiden Fällen charakterisiert der Wert den Diversitätsgrad des Systems.
	Mithilfe der Formeln (3) und (5) können wir die Redundanz des Nachrichtenquellenalphabets bestimmen.
		Das zeigt, wie rational die Symbole eines bestimmten Alphabets verwendet werden:
		) ist die maximal mögliche Entropie, bestimmt durch Formel (3);				() - Entropie
Quelle, bestimmt durch Formel (5).

Der Kern dieser Maßnahme besteht darin, dass bei einer gleichwahrscheinlichen Wahl durch die Verwendung eines kleineren Alphabets die gleiche Informationslast auf einem Zeichen sichergestellt werden kann wie bei einer ungleichen Wahl.

Informationsmaßnahmen auf semantischer Ebene

Um den semantischen Inhalt von Informationen zu messen, d.h. seine Menge pro semantische Ebene Am weitesten verbreitet ist das Thesaurusmaß, das die semantischen Eigenschaften von Informationen mit der Fähigkeit des Benutzers verbindet, die eingehende Nachricht zu akzeptieren. Denn um die erhaltenen Informationen zu verstehen und zu nutzen, muss der Empfänger über ein gewisses Maß an Wissen verfügen. Die völlige Unkenntnis des Themas erlaubt es uns nicht, aus der empfangenen Nachricht nützliche Informationen zu diesem Thema zu extrahieren. Mit zunehmendem Wissen über ein Thema wächst auch die Menge an nützlichen Informationen, die aus der Nachricht extrahiert werden.

Wenn wir das Wissen des Empfängers über ein bestimmtes Thema als „Thesaurus“ bezeichnen (d. h. eine bestimmte Menge von Wörtern, Konzepten, Namen von Objekten, die durch semantische Verbindungen verbunden sind), dann kann die Menge an Informationen, die in einer bestimmten Nachricht enthalten ist, anhand des Grades beurteilt werden der Veränderung des individuellen Thesaurus unter dem Einfluss dieser Nachricht.

Ein Thesaurus ist eine Sammlung von Informationen, die einem Benutzer oder System zur Verfügung stehen.

Mit anderen Worten: Die Menge an semantischen Informationen, die der Empfänger aus eingehenden Nachrichten extrahiert, hängt vom Grad der Bereitschaft seines Thesaurus ab, solche Informationen wahrzunehmen.

Abhängig von der Beziehung zwischen dem semantischen Inhalt der Informationen und dem Thesaurus des Benutzers ändert sich die Menge der semantischen Informationen, die der Benutzer wahrnimmt und die er anschließend in seinen Thesaurus aufnimmt. Die Art dieser Abhängigkeit ist in Abbildung 3 dargestellt. Betrachten wir zwei Grenzfälle, in denen die Menge an semantischen Informationen gleich ist

Abbildung 3 – Abhängigkeit der Menge semantischer Informationen, die der Verbraucher von seinem Thesaurus wahrnimmt ()

Der Verbraucher erwirbt durch seine Zustimmung die größtmögliche Menge an semantischen Informationen

Kombinieren seines semantischen Inhalts mit seinem Thesaurus (), wenn die eingehenden Informationen für den Benutzer verständlich sind und ihm bisher unbekannte (nicht in seinem Thesaurus enthaltene) Informationen bringen.

Folglich ist die Menge an semantischen Informationen in einer Nachricht, die Menge an neuem Wissen, das der Benutzer erhält, ein relativer Wert. Dieselbe Nachricht kann für einen kompetenten Benutzer einen sinnvollen Inhalt haben, für einen inkompetenten Benutzer jedoch bedeutungslos sein.

Bei der Beurteilung des semantischen (inhaltlichen) Aspekts von Informationen ist eine Harmonisierung der Werte und Werte anzustreben.

Ein relatives Maß für die Menge semantischer Informationen kann der Inhaltskoeffizient sein, der als Verhältnis der Menge semantischer Informationen zu ihrem Volumen definiert ist:

Ein anderer Ansatz für semantische Einschätzungen Informationen, die im Rahmen wissenschaftlicher Studien entwickelt wurden, bestehen darin, dass die Anzahl der Links darauf in anderen Dokumenten als Hauptindikator für den semantischen Wert der im analysierten Dokument (Nachricht, Veröffentlichung) enthaltenen Informationen angesehen wird. Basierend auf der statistischen Verarbeitung der Anzahl der Links in verschiedenen Stichproben werden spezifische Indikatoren gebildet.

Informationsmaße auf pragmatischer Ebene

Dieses Maß bestimmt den Nutzen einer Information (Wert) für den Benutzer, um sein Ziel zu erreichen. Es handelt sich auch um einen relativen Wert, der durch die Besonderheiten der Verwendung dieser Informationen in einem bestimmten System bestimmt wird.

Einer der ersten einheimischen Wissenschaftler, der sich mit diesem Problem befasste, war A. A. Kharkevich, der vorschlug, als Maß für den Informationswert die zur Erreichung des Ziels erforderliche Informationsmenge zu nehmen, d.h. Berechnen Sie den Zuwachs der Wahrscheinlichkeit, das Ziel zu erreichen. Also, wenn

Der Wert von Informationen wird also in Informationseinheiten gemessen, in diesem Fall in Bits.

Ausdruck (7) kann als Ergebnis der Normalisierung der Anzahl der Ergebnisse betrachtet werden. Zur Erläuterung zeigt Abbildung 4 drei Diagramme, in denen die gleichen Werte für die Anzahl der Ergebnisse verwendet werden: 2 und 6 für die Punkte 0 bzw. 1. Ausgangsposition- Punkt 0. Aufgrund der erhaltenen Informationen wird zu Punkt 1 übergegangen. Das Ziel ist mit einem Kreuz markiert. Günstige Ergebnisse werden durch Linien dargestellt, die zum Ziel führen. Lassen Sie uns den Wert der erhaltenen Informationen in allen drei Fällen bestimmen:

a) Die Anzahl der günstigen Ergebnisse beträgt drei:

und deshalb

b) es gibt ein günstiges Ergebnis:

c) die Zahl der günstigen Ergebnisse beträgt vier:

Im Beispiel b) wurde ein negativer Informationswert (negative Information) ermittelt. Solche Informationen, die die anfängliche Unsicherheit erhöhen und die Wahrscheinlichkeit, ein Ziel zu erreichen, verringern, werden als Fehlinformationen bezeichnet. So haben wir in Beispiel b) Fehlinformationen über 1,58 Binäreinheiten erhalten.

Thema 2. Grundlagen der Darstellung und Verarbeitung von Informationen in einem Computer

Literatur

1. Informatik in den Wirtschaftswissenschaften: Lehrbuch/Hrsg. SEI. Odintsova, A.N. Romanova. – M.: Universitätslehrbuch, 2008.

2. Informatik: Grundkurs: Lehrbuch/Hrsg. S.V. Simonowitsch. – St. Petersburg: Peter, 2009.

3. Informatik. Allgemeiner Kurs: Lehrbuch/Co-Autor: A.N. Guda, M.A. Butakova, N.M. Nechitailo, A.V. Tschernow; Unter allgemein Hrsg. IN UND. Kolesnikowa. – M.: Dashkov und K, 2009.

4. Informatik für Wirtschaftswissenschaftler: Lehrbuch/Hrsg. Matjuschka V.M. - M.: Infra-M, 2006.

5. Wirtschaftsinformatik: Einführung in die Wirtschaftsanalyse von Informationssystemen. - M.: INFRA-M, 2005.

Informationsmaße (syntaktisch, semantisch, pragmatisch)

Zur Messung von Informationen können verschiedene Ansätze verwendet werden, am weitesten verbreitet sind sie jedoch statistisch(wahrscheinlich), semantisch und P pragmatisch Methoden.

Statistisch(probabilistische) Methode zur Messung von Informationen wurde 1948 von K. Shannon entwickelt, der vorschlug, die Informationsmenge als Maß für die Unsicherheit des Systemzustands zu betrachten, die durch den Empfang von Informationen beseitigt wird. Der quantitative Ausdruck der Unsicherheit wird Entropie genannt. Wenn der Beobachter nach Erhalt einer Nachricht die Nachricht erhält Weitere Informationenüber das System X, dann hat die Unsicherheit abgenommen. Die zusätzlich empfangene Informationsmenge ist definiert als:

Wo ist die zusätzliche Menge an Informationen über das System? X, in Form einer Nachricht empfangen;

Anfängliche Unsicherheit (Entropie) des Systems X;

Endliche Unsicherheit (Entropie) des Systems X, nach Erhalt der Nachricht auftritt.

Wenn das System X kann in einem der diskreten Zustände sein, deren Anzahl N, und die Wahrscheinlichkeit, das System in jedem von ihnen zu finden, gleich ist und die Summe der Wahrscheinlichkeiten aller Zustände gleich eins ist, dann wird die Entropie mit der Shannon-Formel berechnet:

wo ist die Entropie von System X;

A- die Basis des Logarithmus, die die Maßeinheit der Informationen bestimmt;

N– die Anzahl der Zustände (Werte), in denen sich das System befinden kann.

Entropie ist eine positive Größe, und da Wahrscheinlichkeiten immer kleiner als eins sind und ihr Logarithmus negativ ist, macht das Minuszeichen in K. Shannons Formel die Entropie positiv. Somit wird die gleiche Entropie, jedoch mit umgekehrtem Vorzeichen, als Maß für die Informationsmenge genommen.

Der Zusammenhang zwischen Information und Entropie kann wie folgt verstanden werden: Die Beschaffung von Informationen (ihre Zunahme) bedeutet gleichzeitig eine Verringerung der Unwissenheit oder Informationsunsicherheit (Entropie).

Der statistische Ansatz berücksichtigt also die Wahrscheinlichkeit des Erscheinens von Nachrichten: Die Nachricht, die weniger wahrscheinlich ist, wird als informativer angesehen, d. h. am wenigsten erwartet. Die Menge an Informationen erreicht Maximalwert, wenn die Ereignisse gleich wahrscheinlich sind.

R. Hartley schlug die folgende Formel zur Messung von Informationen vor:

I=log2n ,

Wo N- Anzahl gleich wahrscheinlicher Ereignisse;

ICH– ein Maß an Informationen in einer Nachricht über das Auftreten eines dieser Ereignisse N Veranstaltungen

Das Maß der Information wird in ihrem Umfang ausgedrückt. Am häufigsten betrifft dies die Größe des Computerspeichers und die über Kommunikationskanäle übertragene Datenmenge. Als Einheit wird die Informationsmenge angesehen, bei der die Unsicherheit um die Hälfte reduziert wird; eine solche Informationseinheit wird aufgerufen bisschen .

Wenn der natürliche Logarithmus () als Basis des Logarithmus in Hartleys Formel verwendet wird, dann ist die Maßeinheit für Informationen nat ( 1 Bit = ln2 ≈ 0,693 nat). Wenn die Zahl 3 als Basis des Logarithmus verwendet wird, dann - behandeln, wenn 10, dann - sagte (Hartley).

In der Praxis wird häufiger eine größere Einheit verwendet - Byte(Byte) gleich acht Bits. Diese Einheit wurde ausgewählt, weil sie zum Codieren aller 256 Zeichen des Computertastaturalphabets (256=28) verwendet werden kann.

Zusätzlich zu den Bytes werden Informationen in Halbwörtern (2 Bytes), Wörtern (4 Bytes) und Doppelwörtern (8 Bytes) gemessen. Auch größere Maßeinheiten für Informationen werden häufig verwendet:

1 Kilobyte (KB - Kilobyte) = 1024 Bytes = 210 Bytes,

1 Megabyte (MB - Megabyte) = 1024 KB = 220 Bytes,

1 Gigabyte (GB - Gigabyte) = 1024 MB = 230 Bytes.

1 Terabyte (TB - Terabyte) = 1024 GB = 240 Byte,

1 Petabyte (PByte - Petabyte) = 1024 TB = 250 Bytes.

1980 schlug der russische Mathematiker Yu. Manin die Idee des Konstruierens vor Quantencomputer, in deren Zusammenhang eine solche Informationseinheit erschien als Qubit ( Quantenbit, Qubit ) – „Quantenbit“ ist ein Maß für die Größe des Speichers in einer theoretisch möglichen Computerform, die Quantenmedien, beispielsweise Elektronenspins, nutzt. Ein Qubit kann nicht zwei verschiedene Werte („0“ und „1“) annehmen, sondern mehrere, entsprechend normalisierten Kombinationen zweier Grundspinzustände, was ergibt größere Zahl mögliche Kombinationen. Somit können 32 Qubits etwa 4 Milliarden Zustände kodieren.

Semantischer Ansatz. Syntaktisches Maß reicht nicht aus, wenn Sie nicht das Datenvolumen, sondern die Menge der in der Nachricht benötigten Informationen bestimmen müssen. Dabei wird der semantische Aspekt berücksichtigt, der es uns ermöglicht, den Inhalt der Informationen zu bestimmen.

Um den semantischen Inhalt von Informationen zu messen, können Sie den Thesaurus ihres Empfängers (Konsumenten) verwenden. Die Idee der Thesaurus-Methode wurde von N. Wiener vorgeschlagen und von unserem einheimischen Wissenschaftler A.Yu entwickelt. Schrader.

Thesaurus angerufen Informationsbestand die der Empfänger der Informationen hat. Indem Sie den Thesaurus mit dem Inhalt der empfangenen Nachricht korrelieren, können Sie herausfinden, inwieweit dadurch die Unsicherheit verringert wird.

Abhängigkeit des Umfangs semantischer Informationen einer Nachricht vom Thesaurus des Empfängers

Entsprechend der im Diagramm dargestellten Abhängigkeit, ob der Benutzer über keinen Thesaurus verfügt (Wissen über das Wesen der empfangenen Nachricht, d. h. =0) oder über das Vorhandensein eines solchen Thesaurus verfügt, der sich durch den Eingang nicht geändert hat der Nachricht (), dann ist die Menge der darin enthaltenen semantischen Informationen gleich Null. Der optimale Thesaurus () ist einer, in dem die Menge an semantischen Informationen maximal ist (). Beispielsweise semantische Informationen in einer eingehenden Nachricht in einer unbekannten Fremdsprache gibt es Null, aber die gleiche Situation wird in diesem Fall sein wenn die Nachricht keine Neuigkeit mehr ist, da der Benutzer bereits alles weiß.

Pragmatische Maßnahme Information bestimmt seinen Nutzen bei der Erreichung der Ziele des Verbrauchers. Dazu reicht es aus, die Wahrscheinlichkeit der Zielerreichung vor und nach Erhalt der Nachricht zu ermitteln und zu vergleichen. Der Informationswert (nach A.A. Kharkevich) wird nach folgender Formel berechnet:

Wo ist die Wahrscheinlichkeit, das Ziel zu erreichen, bevor die Nachricht empfangen wird?

Die Wahrscheinlichkeit, das Ziel zu erreichen, ist der Bereich des Empfangs der Nachricht;