Vztah mezi entropií a informací. Informační entropie. Shannonův vzorec

Pojem Entropie poprvé představen v roce 1865 R. Clausiem v termodynamice k určení míry nevratné ztráty energie. Entropie se používá v různých odvětvích vědy, včetně teorie informace, jako míra nejistoty jakékoli zkušenosti, testu, který může mít různé výsledky. Tyto definice entropie mají hlubokou vnitřní souvislost. Na základě představ o informacích lze tedy odvodit všechna nejdůležitější ustanovení statistické fyziky. [BES. Fyzika. M: Velká ruská encyklopedie, 1998].

Informační binární entropie pro nezávislé (nestejně pravděpodobné) náhodné události X S n možné stavy (od 1 do n, p- pravděpodobnostní funkce) se vypočítá podle Shannonův vzorec:

Tato veličina se také nazývá průměrná entropie zprávy. Entropie v Shannonově vzorci je průměrná charakteristika – matematické očekávání rozdělení náhodné veličiny.
Například v posloupnosti písmen, která tvoří větu v ruštině, se objevují různá písmena s různou frekvencí, takže nejistota výskytu u některých písmen je menší než u jiných.
V roce 1948 Claude Shannon při zkoumání problému racionálního přenosu informací hlučným komunikačním kanálem navrhl revoluční pravděpodobnostní přístup k pochopení komunikace a vytvořil první skutečně matematickou teorii entropie. Jeho senzační nápady rychle posloužily jako základ pro rozvoj teorie informace, která používá pojem pravděpodobnosti. Koncept entropie jako míry náhodnosti zavedl Shannon ve svém článku „A Mathematical Theory of Communication“, publikovaném ve dvou částech v Bell System Technical Journal v roce 1948.

V případě stejně pravděpodobných událostí (zvláštní případ), kdy jsou všechny možnosti stejně pravděpodobné, zůstává závislost pouze na počtu zvažovaných možností a Shannonův vzorec je výrazně zjednodušen a shoduje se s Hartleyho vzorcem, který jako první navrhl americký inženýr Ralph Hartley v roce 1928, jako jeden z vědeckých přístupů k hodnocení zpráv:

, kde I je množství přenesené informace, p je pravděpodobnost události, N je možný počet různých (stejně pravděpodobných) zpráv.

Úkol 1. Pro stejně pravděpodobné události.
V balíčku je 36 karet. Kolik informací obsahuje zpráva, že z balíčku byla odebrána karta s portrétem „esa“; "Pikové eso"?

Pravděpodobnost p1 = 4/36 = 1/9 a p2 = 1/36. Pomocí Hartleyho vzorce máme:

Odpověď: 3,17; 5,17 bit
Všimněte si (z druhého výsledku), že pro zakódování všech karet je potřeba 6 bitů.
Z výsledků je také zřejmé, že čím nižší je pravděpodobnost události, tím více informací obsahuje. (Tato vlastnost se nazývá monotonie)

Úkol 2. Pro nestejně pravděpodobné události
V balíčku je 36 karet. Z toho je 12 karet s „portréty“. Jedna z karet je jedna po druhé odebrána z balíčku a ukázána, aby se zjistilo, zda zobrazuje portrét. Karta se vrátí do balíčku. Určete množství přenášených informací při každém zobrazení jedné karty.

Během jakéhokoli procesu řízení a přenosu se vstupní informace převádějí na výstupní informace. Obvykle se informací rozumí nějaká informace, symboly, znaky. Statistická teorie: pojem informace je charakterizován jako eliminace nejistoty.

Informace je definována jako informace, která je předmětem ukládání, přenosu a příjmu. Informace jsou přenášeny pomocí signálu. Kvantitativní hodnocení získávání informací je založeno na myšlence přenosu zprávy jako náhodného stochastického procesu v čase.

Nejistota je eliminována testováním, čím vyšší je nejistota, tím vyšší je hodnota informace.

Stupeň nejistoty závisí na počtu hodnot, které může veličina nabývat, a na výsledku událostí.

Náhodná veličina H(A) je určena jako míra množství informace:

Kde - pravděpodobnost výsledku.

Znaménko mínus stojí jako kompenzace H(A) - to je entropie zkušenosti A (vzorec vynalezl Claude Chinon).

Čím větší H(A), tím větší míra nevědomosti.

Hromadění informací o systému snižuje entropii. Informace jsou určitým příspěvkem k entropii.

Nechť je dán x-systém.

Li
, Že

Kde

Přijímání informací je objektivním odrazem stavu systému a lze je využít pro přenos, řízení, rozhodování atp.

Informace není hmotná nebo energetická kategorie, nikdy se nevytváří, ale pouze vysílá a přijímá, ale může se ztratit a zmizet.

Podle druhého termodynamického zákona se entropie zvyšuje paralelně s destrukcí organizovaných struktur, což vede k chaotickému pravděpodobnostnímu stavu.

Za jednotku měření se považuje množství informace obsažené v nějaké náhodné veličině, která je přijímána se stejnou pravděpodobností. Jednotkou stupně nejistoty je entropie elementární události, která má dva výsledky se stejnou pravděpodobností a dvěma různými hodnotami.

-binární jednotka nebo bit.

x-systém připojen

y-systém

I(x,y)=H(x)+H(y)-H(x,y), kde

H(x,y) je entropie jednotného systému.

, kde,

Pro nepřetržitý signál.

kde(x) je hustota pravděpodobnosti hodnoty x. Chinonův přístup nebere v úvahu sémantický obsah.

33. Koncept ergodického zdroje. Nadbytek.

V praxi existují ergodické zdroje, ve kterých se korelační vazby rozšiřují na konečný počet předchozích zdrojů. V ergodickém zdroji
neexistují žádné korelace, tzn.

Matematická reprezentace zpráv generovaných ergodickými zdroji je Markovský řetěz.

Markovský řetěz n-řád je posloupnost, závislost testů na pravděpodobnosti nějakého výsledku
ve studii závisí na výsledcích, ke kterým došlo v jakýchkoli předchozích studiích, ale nezávisí na dřívějších výsledcích.

V ergodickém zdroji n řádu distribuce
když k=1,2,…,m nezůstává konstantní, ale závisí na tom, kolik bylo posledních n písmen zpráv.

pravděpodobnost výběru písmena z abecedy.

Počet možných stavů je určen:
, kde m je abeceda, n je pořadí, M je počet možných stavů zdroje.

K určení celkové entropie je nutné:

pokud M=1, pak dostaneme klasický Chinonův vzorec.

Korelační spojení v ergodickém zdroji je nutně doprovázeno změnou rozdělení pravděpodobnosti, volbou prvku zprávy ze stavu do stavu, což také vede ke snížení entropie, to znamená, že část informace přenášené zdrojem může být předpovídaný, což znamená, že není třeba jej přenášet, protože lze jej obnovit na přijímací straně. Čím nižší je entropie zdroje, tím více informací produkuje.

R-redundance ukazuje účinnost zdroje.

Důvodem R je jedinečnost a operátorská pravděpodobnost výběru mezi zprávami.

Množství informací

Úvod

2. Nejistota, množství informací a entropie

3. Shannonova formule

4. Hartleyho vzorec

5. Množství informací přijatých během komunikačního procesu

Seznam použité literatury

Úvod

Podle definice A.D. Ursula - "informace odrážejí rozmanitost." Množství informací je kvantitativním měřítkem rozmanitosti. To může být různorodost celkového obsahu paměti; rozmanitost signálu vnímaného během konkrétní zprávy; rozmanitost výsledků konkrétní situace; rozmanitost prvků určitého systému... je hodnocením rozmanitosti v nejširším slova smyslu.

Jakákoli zpráva mezi zdrojem a příjemcem informací má určitou dobu trvání, ale množství informací, které příjemce jako výsledek zprávy vnímá, není v konečném důsledku charakterizováno délkou zprávy, ale rozmanitostí generovaného signálu. v přijímači touto zprávou.

Paměť informačního nosiče má určitou fyzickou kapacitu, ve které je schopna akumulovat obrazy, a množství informací nashromážděných v paměti je nakonec charakterizováno rozmanitostí naplnění této kapacity. Pro neživé předměty je to rozmanitost jejich historie, pro živé organismy je to rozmanitost jejich zkušeností.

Při předávání informací je nezbytná rozmanitost. Nemůžete malovat bílou na bílou, samotný stav nestačí. Pokud je paměťová buňka schopna být pouze v jednom (počátečním) stavu a není schopna svůj stav pod vnějším vlivem změnit, znamená to, že není schopna vnímat a pamatovat si informace. Informační kapacita takové buňky je 0.

Minimální diverzita je zajištěna přítomností dvou stavů. Pokud je paměťová buňka schopna v závislosti na vnějším vlivu zaujmout jeden ze dvou stavů, které se obvykle označují „0“ a „1“, má minimální informační kapacitu.

Informační kapacita jedné paměťové buňky, která může být ve dvou různých stavech, se bere jako měrná jednotka pro množství informace - 1 bit.

1 bit (bit - zkratka z anglického binary digit - binární číslo) je měrnou jednotkou informační kapacity a množství informace a také další hodnota - informační entropie, se kterou se seznámíme později. Bit, jedna z nejvíce nepodmíněných jednotek měření. Pokud by jednotka měření délky mohla být nastavena libovolně: loket, stopa, metr, pak by jednotka měření informace nemohla být v podstatě žádná jiná.

Na fyzické úrovni je bit paměťová buňka, která je kdykoli v jednom ze dvou stavů: „0“ nebo „1“.

Pokud každý pixel obrázku může být pouze černý nebo bílý, nazývá se takový obrázek bitmapa, protože každý pixel představuje paměťovou buňku s kapacitou 1 bit. Žárovka, která může být „zapnutá“ nebo „vypnutá“, také symbolizuje rytmus. Klasickým příkladem ilustrujícím 1 bit informace je množství informace získané jako výsledek hození mince – „hlavy“ nebo „ocasy“.

V odpovědi na otázku „ano“/„ne“ lze získat množství informací rovnající se 1 bitu. Pokud zpočátku existovaly více než dvě možnosti odpovědi, množství informací přijatých v konkrétní odpovědi bude větší než 1 bit, pokud budou možnosti odpovědi méně než dvě, tzn. za prvé, pak to není otázka, ale prohlášení, proto není vyžadováno získávání informací, protože neexistuje žádná nejistota.

Informační kapacita paměťové buňky schopné přijímat informace nemůže být menší než 1 bit, ale množství přijaté informace může být menší než 1 bit. K tomu dochází, když možnosti odpovědi „ano“ a „ne“ nejsou stejně pravděpodobné. Nerovnost je zase důsledkem toho, že k této problematice jsou již k dispozici nějaké předběžné (a priori) informace získané např. na základě předchozích životních zkušeností. Ve všech úvahách předchozího odstavce je tedy třeba vzít v úvahu jedno velmi důležité upozornění: platí pouze pro stejně pravděpodobný případ.

Množství informace budeme označovat symbolem I, pravděpodobnost značíme symbolem P. Připomeňme, že celková pravděpodobnost celé skupiny událostí je rovna 1.

2.Nejistota, množství informací a entropie

Zakladatel teorie informace Claude Shannon definoval informaci jako odstranění nejistoty. Přesněji řečeno, získání informací je nezbytnou podmínkou pro odstranění nejistoty. Nejistota vzniká v situaci volby. Úkolem, který se řeší v rámci odstraňování nejistoty, je snížení počtu zvažovaných možností (snížení diverzity) a nakonec z možných vybrat jednu vhodnou pro danou situaci. Odstranění nejistoty umožňuje přijímat informovaná rozhodnutí a jednat. To je kontrolní role informací.

Situace maximální nejistoty předpokládá přítomnost více stejně pravděpodobných alternativ (možností), tzn. ani jedna varianta není výhodnější. Navíc, čím více stejně pravděpodobných možností je pozorováno, tím větší je nejistota, tím obtížnější je učinit jednoznačný výběr a tím více informací je zapotřebí k jeho získání. Pro N možností je tato situace popsána následujícím rozdělením pravděpodobnosti: (1/N, 1/N, … 1/N).

Minimální nejistota je 0, tzn. jde o situaci naprosté jistoty, což znamená, že volba byla provedena a byly obdrženy všechny potřebné informace. Rozdělení pravděpodobnosti pro situaci úplné jistoty vypadá takto: (1, 0, …0).

Veličina charakterizující míru nejistoty v teorii informace se označuje symbolem H a nazývá se entropie, přesněji informační entropie.

Entropie (H) je míra nejistoty vyjádřená v bitech. Entropii lze také považovat za míru rovnoměrnosti rozdělení náhodné veličiny.

Rýže. 1. Chování entropie

pro případ dvou alternativ.

Obrázek 1 ukazuje chování entropie pro případ dvou alternativ, kdy se mění poměr jejich pravděpodobností (p, (1-p)).

Entropie dosahuje maximální hodnoty v tomto případě, když jsou obě pravděpodobnosti stejné a rovné?, hodnota nulové entropie odpovídá případům (p0=0, p1=1) a (p0=1, p1=0).

Rýže. 2. Vztah mezi entropií a množstvím informace.

Množství informace I a entropie H charakterizují stejnou situaci, ale z kvalitativně opačných stran. I je množství informací, které je potřeba k odstranění nejistoty H. Podle definice Leona Brillouina je informace negativní entropie (negentropie).

Když je nejistota zcela odstraněna, množství přijatých informací I se rovná původně existující nejistotě H.

Když je nejistota částečně odstraněna, množství přijatých informací a zbývající nejistota, která zůstává nevyřešena, se sčítají s původní nejistotou. Ht + It = H.

Z tohoto důvodu jsou vzorce, které budou uvedeny níže pro výpočet entropie H, také vzorce pro výpočet množství informace I, tzn. když mluvíme o úplném odstranění nejistoty, H v nich může být nahrazeno I.

3.Shannonova formule

V obecném případě entropie H a množství informací, které jsem získal v důsledku odstranění nejistoty, závisí na počátečním počtu uvažovaných možností N a apriorních pravděpodobnostech realizace každé z nich P: (p0, p1, …pN-1), tj. H=F(N, P). Entropie se v tomto případě počítá pomocí Shannonova vzorce, který navrhl v roce 1948 v článku „Mathematical Theory of Communication“.

Ve speciálním případě, kdy jsou všechny možnosti stejně pravděpodobné, zůstává závislost pouze na počtu uvažovaných možností, tzn. H=F(N). Shannonův vzorec je v tomto případě výrazně zjednodušen a shoduje se s Hartleyho vzorcem, který jako první navrhl americký inženýr Ralph Hartley v roce 1928, tzn. o 20 let dříve.

Shannonův vzorec je následující:

Rýže. 3. Nalezení logaritmu b se základem a znamená nalezení mocniny, na kterou musíte zvýšit a, abyste dostali b.

Připomeňme si, co je to logaritmus.

Logaritmus se základem 2 se nazývá binární:

log2(8)=3 => 23=8

log2(10)=3,32 => 23,32=10

Logaritmus se základem 10 se nazývá desítkový:

log10(100)=2 => 102=100

Základní vlastnosti logaritmu:

1. log(1)=0, protože libovolné číslo s nulovou mocninou dává 1;

2. log(ab)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(l/b)=0-log(b)=-log(b).

Znaménko mínus ve vzorci (1) neznamená, že entropie je záporná hodnota. To je vysvětleno skutečností, že pi1 je z definice a logaritmus čísla menšího než jedna je záporná hodnota. Vlastností logaritmu lze tedy tento vzorec zapsat ve druhé verzi, bez mínus před znaménkem součtu.

je interpretováno jako konkrétní množství informací získaných v případě implementace i-té možnosti. Entropie v Shannonově vzorci je průměrná charakteristika - matematické očekávání rozdělení náhodné veličiny (I0, I1, ... IN-1).

Příklad výpočtu entropie pomocí Shannonova vzorce. Nechť je složení zaměstnanců v nějaké instituci rozděleno takto: ? - ženy, ? - muži. Pak bude nejistota ohledně toho, koho například potkáte jako prvního při vstupu do instituce, vypočítána řadou akcí uvedených v tabulce 1.

Stůl 1.

Ii=log2(1/pi), bit

pi*log2(1/pi), bit

Pokud je a priori známo, že v instituci je stejný počet mužů a žen (dvě stejně pravděpodobné možnosti), pak při výpočtu pomocí stejného vzorce bychom měli dostat nejistotu 1 bit. Tento předpoklad je testován v tabulce 2.

Tabulka 2

Ii=log2(1/pi), bit

pi*log2(1/pi), bit

4. Hartleyho vzorec

Hartleyho vzorec je speciálním případem Shannonova vzorce pro stejně pravděpodobné alternativy.

Dosazením jeho hodnoty (ve stejně pravděpodobném případě nezávislém na i) do vzorce (1) místo pí získáme:

Hartleyho vzorec tedy vypadá velmi jednoduše:

Z toho jasně vyplývá, že čím větší počet alternativ (N), tím větší nejistota (H). Tyto veličiny jsou ve vzorci (2) spojeny nikoli lineárně, ale prostřednictvím binárního logaritmu. Logaritmus na základ 2 a snižuje počet možností na jednotky informace - bity.

Entropie bude celé číslo pouze v případě, že N je mocnina 2, tzn. pokud N patří do řádku: (1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048...)

Rýže. 3. Entropie závisí na počtu stejně pravděpodobných voleb (ekvivalentních alternativ).

Pro řešení inverzních úloh, kdy je známa nejistota (H) nebo množství informací získaných v důsledku jejího odstranění (I) a je nutné určit, kolik stejně pravděpodobných alternativ odpovídá výskytu této nejistoty, použijte inverzní Hartleyho vzorec, který je odvozen v souladu s definicí logaritmu a vypadá ještě jednodušeji:

Pokud je například známo, že v důsledku zjištění, že nás zajímá Kolja Ivanov, žije ve druhém patře, byly získány 3 bity informací, lze počet pater v domě určit vzorcem (3) jako N = 23 = 8 pater.

Pokud je otázka: „v domě je 8 pater, kolik informací jsme dostali, když jsme se dozvěděli, že Kolja Ivanov, který nás zajímá, bydlí ve druhém patře?“, musíte použít vzorec (2): I=log2 (8) = 3 bity.

5. Množství informací přijatých během komunikačního procesu

Doposud byly pro výpočet entropie (nejistoty) H uvedeny vzorce, které naznačovaly, že H v nich lze nahradit I, protože množství informace získané při úplném odstranění nejistoty určité situace se kvantitativně rovná počáteční entropii. této situace.

Nejistotu lze ale odstranit jen částečně, takže množství informací, které jsem získal z určité zprávy, se počítá jako pokles entropie, ke kterému došlo v důsledku přijetí této zprávy.

Pro stejně pravděpodobný případ s použitím Hartleyho vzorce pro výpočet entropie získáme:

Druhá rovnost je odvozena na základě vlastností logaritmu. V nepravděpodobném případě tedy závisím na tom, kolikrát se změnil počet uvažovaných voleb (uvažovaná rozmanitost).

Na základě (5) lze odvodit následující:

Pokud tedy - úplné odstranění nejistoty, množství informací přijatých ve zprávě se rovná nejistotě, která existovala před přijetím zprávy.

Pokud se tedy – nejistota nezměnila, nebyly obdrženy žádné informace.

If, then => , if, => . Tito. množství přijatých informací bude kladnou hodnotou, pokud se v důsledku přijetí zprávy počet zvažovaných alternativ snížil, a zápornou, pokud se zvýšil.

Pokud se počet zvažovaných alternativ v důsledku přijetí zprávy sníží na polovinu, tzn. , pak I=log2(2)=1 bit. Jinými slovy, příjem 1 bitu informace eliminuje polovinu ekvivalentních možností.

Vezměme si jako příklad experiment s balíčkem 36 karet.

Rýže. 4. Ilustrace pro pokus s balíčkem 36 karet.

Požádejte někoho, aby si vzal jednu kartu z balíčku. Zajímá nás, kterou z 36 karet vytáhl. Počáteční nejistota, vypočtená pomocí vzorce (2), je H=log2(36)5,17 bitů. Ten, kdo vytahuje kartu, nám sděluje nějaké informace. Pomocí vzorce (5) určíme, kolik informací obdržíme z těchto zpráv:

Možnost A: "Toto je červená karta."

I=log2(36/18)=log2(2)=1 bit (v balíčku je polovina červených karet, nejistota se snížila 2krát).

Možnost B: "Toto je piková karta."

I=log2(36/9)=log2(4)=2 bity (pikové karty tvoří čtvrtinu balíčku, nejistota se snížila 4krát).

Možnost C. „Toto je jedna z vysokých karet: jack, královna, král nebo eso.“

I=log2(36)-log2(16)=5,17-4=1,17 bitů (nejistota se snížila o více než polovinu, takže přijaté množství informací je více než jeden bit).

Možnost D. "Toto je jedna karta z balíčku."

I=log2(36/36)=log2(1)=0 bitů (nejistota se nesnížila - zpráva není informativní).

Možnost D. "Toto je piková dáma."

I=log2(36/1)=log2(36)=5,17 bitů (nejistota zcela odstraněna).

Entropie (teorie informace)

entropie (informační)- míra informačního chaosu, nejistota vzhledu jakéhokoli symbolu primární abecedy. Při absenci ztrát informací se číselně rovná množství informací na symbol přenášené zprávy.

Například v posloupnosti písmen, která tvoří větu v ruštině, se objevují různá písmena s různou frekvencí, takže nejistota výskytu u některých písmen je menší než u jiných. Pokud vezmeme v úvahu, že některé kombinace písmen (v tomto případě mluvíme o entropii n-tý řád, viz) jsou velmi vzácné, pak se nejistota dále snižuje.

Pro ilustraci pojmu informační entropie se lze uchýlit také k příkladu z oblasti termodynamické entropie, nazvaném Maxwellův démon. Pojmy informace a entropie spolu úzce souvisí, ale navzdory tomu vývoj teorií statistické mechaniky a teorie informace trval mnoho let, než byly vzájemně konzistentní.

Formální definice

Určení pomocí vlastních informací

Entropii náhodné veličiny můžete také určit tak, že nejprve zavedete koncept rozdělení náhodné veličiny X, který má konečný počet hodnot: já(X) = − log P X (X). Potom bude entropie definována jako: Jednotka měření informace a entropie závisí na bázi logaritmu: bit, nat nebo hartley.

Informační entropie pro nezávislé náhodné události X S n možné stavy (od 1 do n) se vypočítá podle vzorce:

Tato veličina se také nazývá průměrná entropie zprávy. Množství se nazývá soukromá entropie, charakterizující pouze i-e stát.

Tedy entropie události X je součet s opačným znaménkem všech součinů relativních četností výskytu události i, vynásobené vlastními binárními logaritmy (základ 2 byl zvolen pouze pro pohodlí práce s informacemi prezentovanými v binární formě). Tuto definici pro diskrétní náhodné události lze rozšířit na funkci rozdělení pravděpodobnosti.

Obecně b-ary entropie(Kde b rovná se 2, 3, ...) zdroj s původní abecedou a diskrétním rozdělením pravděpodobnosti kde p i je pravděpodobnost A i (p i = p(A i) ) se určuje podle vzorce:

Definice Shannonovy entropie souvisí s konceptem termodynamické entropie. Boltzmann a Gibbs udělali mnoho práce na statistické termodynamice, což přispělo k přijetí slova „entropie“ v teorii informace. Mezi termodynamickou a informační entropií existuje souvislost. Například Maxwellův démon také staví do kontrastu termodynamickou entropii s informací a získání jakéhokoli množství informací se rovná ztracené entropii.

Alternativní definice

Dalším způsobem, jak definovat funkci entropie, je H je toho důkazem H je jednoznačně určen (jak bylo uvedeno dříve) tehdy a jen tehdy H splňuje podmínky:

Vlastnosti

Je důležité si uvědomit, že entropie je veličina definovaná v kontextu pravděpodobnostního modelu pro zdroj dat. Například hod mincí má entropii − 2 (0,5 log 2 0,5) = 1 bit na hod (za předpokladu, že je nezávislý). Zdroj, který generuje řetězec sestávající pouze z písmen „A“, má nulovou entropii: . Takže například lze experimentálně zjistit, že entropie anglického textu je 1,5 bitu na znak, což se samozřejmě bude u různých textů lišit. Stupeň entropie zdroje dat znamená průměrný počet bitů na datový prvek potřebný k jeho zašifrování bez ztráty informace, s optimálním kódováním.

1. Některé datové bity nemusí nést informace. Například datové struktury často ukládají redundantní informace nebo mají identické sekce bez ohledu na informace v datové struktuře.
2. Množství entropie není vždy vyjádřeno jako celý počet bitů.

Matematické vlastnosti

Účinnost

Původní abeceda, se kterou se setkáváme v praxi, má rozložení pravděpodobnosti, které není zdaleka optimální. Kdyby původní abeceda měla n znaků, pak jej lze přirovnat k „optimalizované abecedě“, jejíž rozdělení pravděpodobnosti je jednotné. Poměr entropie původní a optimalizované abecedy je účinnost původní abecedy, kterou lze vyjádřit v procentech.

Z toho plyne, že účinnost původní abecedy s n symboly lze jednoduše definovat jako rovné jeho n-ary entropie.

Entropie omezuje maximální možnou bezeztrátovou (nebo téměř bezeztrátovou) kompresi, kterou lze realizovat pomocí teoreticky typické sady nebo v praxi Huffmanova kódování, Lempel–Ziv–Welchova kódování nebo aritmetického kódování.

Variace a zobecnění

Podmíněná entropie

Pokud posloupnost abecedních znaků není nezávislá (například ve francouzštině za písmenem „q“ téměř vždy následuje „u“ a za slovem „redakční“ v sovětských novinách obvykle následuje slovo „výroba“ nebo „práce“ “), množství informací nesoucích posloupnost takových symbolů (a tedy i entropie) je zjevně menší. K zohlednění takových skutečností se používá podmíněná entropie.

Podmíněná entropie prvního řádu (podobně jako Markovův model prvního řádu) je entropie pro abecedu, kde jsou známy pravděpodobnosti, že se jedno písmeno objeví za druhým (tj. pravděpodobnosti dvoupísmenných kombinací):

Kde i je stav závislý na předchozím znaku a p i (j) - to je pravděpodobnost j, za předpokladu, že i byla předchozí postava.

Takže pro ruský jazyk bez písmene "".

Ztráty informací během přenosu dat v zašuměném kanálu jsou plně popsány prostřednictvím dílčích a obecných podmíněných entropií. K tomuto účelu slouží tzv kanálové matice. Abychom tedy popsali ztráty na straně zdroje (to znamená, že vysílaný signál je znám), je uvažována podmíněná pravděpodobnost přijetí symbolu přijímačem b j za předpokladu, že postava byla odeslána A i. V tomto případě má kanálová matice následující tvar:

	b 1	b 2	…	b j	…	b m
A 1			…		…
A 2			…		…
…	…	…	…	…	…	…
A i			…		…
…	…	…	…	…	…	…
A m			…		…

Je zřejmé, že pravděpodobnosti umístěné podél úhlopříčky popisují pravděpodobnost správného příjmu a součet všech prvků sloupce dá pravděpodobnost, že se odpovídající symbol objeví na straně příjemce - p(b j) . Ztráty na přenesený signál A i, jsou popsány prostřednictvím částečné podmíněné entropie:

Pro výpočet ztrát přenosu všech signálů se používá obecná podmíněná entropie:

To znamená, že entropie na straně zdroje je uvažována podobným způsobem: namísto všude je uvedena (součtem prvků řádku; p(A i) a diagonální prvky znamenají pravděpodobnost, že byl odeslán přesný znak, který byl přijat, tedy pravděpodobnost správného přenosu).

Vzájemná entropie

Vzájemná entropie, popř unijní entropie, je určena pro výpočet entropie propojených systémů (entropie společného výskytu statisticky závislých zpráv) a značí se H(AB), kde A, jako vždy, charakterizuje vysílač, a B- přijímač.

Vztah mezi vysílanými a přijímanými signály je popsán pravděpodobnostmi společných událostí p(A i b j) a pro úplný popis charakteristik kanálu je vyžadována pouze jedna matice:

p(A 1 b 1)	p(A 1 b 2)	…	p(A 1 b j)	…	p(A 1 b m)
p(A 2 b 1)	p(A 2 b 2)	…	p(A 2 b j)	…	p(A 2 b m)
…	…	…	…	…	…
p(A i b 1)	p(A i b 2)	…	p(A i b j)	…	p(A i b m)
…	…	…	…	…	…
p(A m b 1)	p(A m b 2)	…	p(A m b j)	…	p(A m b m)

Pro obecnější případ, kdy se nepopisuje kanál, ale jednoduše interagující systémy, matice nemusí být čtvercová. Je zřejmé, že součet všech prvků sloupce s číslem j dá p(b j) , součet čísla řádku i Tady je p(A i) a součet všech prvků matice je roven 1. Společná pravděpodobnost p(A i b j) Události A i A b j se vypočítá jako součin původní a podmíněné pravděpodobnosti,

Podmíněné pravděpodobnosti jsou vytvářeny pomocí Bayesova vzorce. Jsou zde tedy všechna data pro výpočet entropií zdroje a přijímače:

Vzájemná entropie se vypočítá postupným sečtením všech pravděpodobností matice v řádcích (nebo sloupcích) vynásobených jejich logaritmem:

H(AB) = −	∑	∑	p(A i b j)log p(A i b j).
	i	j

Jednotkou měření jsou bit/dva symboly, což se vysvětluje tím, že vzájemná entropie popisuje nejistotu na dvojici symbolů – odeslaných a přijatých. Jednoduchými transformacemi také získáme

Vzájemná entropie má vlastnost úplnost informací- z toho můžete získat všechna uvažovaná množství.

Příběh

Poznámky

viz také

Odkazy

• Claude E. Shannon. Matematická teorie komunikace
• S. M. Korotajev.

4.ENTROPIE A INFORMACE

4.1. Entropie jako míra statistické nejistoty. V jedné z nedávných veřejných diskusí o otázkách vzdělávání bylo navrženo, aby každý vzdělaný člověk chápal základní podstatu pojmu nejistota. V posledních desetiletích se tento termín sebevědomě ujímá vedení mezi fyzikálními principy a proniká do nových oblastí poznání. V této části byste se měli blíže seznámit s tímto konceptem a porozumět spojení mezi nejistotou a charakteristikami formování systému.

Nejistota může mít různý původ. Jedním z jeho typů je neznámý– uvažuje teorie poznání a filozofie; tento typ nejistoty vzniká, když si například položíme otázku „Existuje život na jiných planetách? nebo "Existují jiné civilizace?" a tak dále.

Další typ nejistoty nejasnost, nejasnost,- například „Kolik zrnek písku musíte vzít, abyste vytvořili malou hromádku“? S nejistotou tohoto typu se setkáváme v kvantové mechanice. Na jejím základě byla postavena nelokální verze termodynamiky, která je schopna odpovědět na podobnou otázku: „Kolik částic potřebujete k vytvoření makroúrovně a jaký je kvantový rozptyl tohoto čísla? Tato nejistota je objektivní a je charakteristické, že ji nelze během procesu měření odstranit. V matematice se takovou nejistotou zabývá teorie fuzzy množin. Je třeba mimochodem poznamenat, že neostrost je charakteristickou vlastností jazyka: „vysoký (jaké výšky?) mladý (jakého přesně věku?) muž (kdo to je?) vstoupil do místnosti (co?) atd.

Třetím typem nejistoty je nehoda. Je založen na statistických zákonech stanovených teorií pravděpodobnosti. Tento typ nejistoty využívá statistická fyzika a společně s nejistotou druhého typu v kvantové mechanice. Charakteristickým rysem statistické nejistoty je to, že pro ni lze stanovit kvantitativní měřítko, o kterém bude pojednáno níže.

Otázku praktického významu statistické míry nejistoty ponechme nyní stranou, zaměřme se na její podstatu. Podívejme se na několik jednoduchých situací, které budeme nazývat experimenty A, B a C. Předpokládá se, že čtenář je obeznámen s prvky teorie pravděpodobnosti.

Experiment A bude spočívat v hození mincí. V tomto experimentu jsou dvě možné výsledek(k=2): „hlavy nebo ocasy“. Je zřejmé, že pravděpodobnost každého výsledku ( i=1,2).

Pokus B – hod šestistěnnou kostkou. V tomto experimentu je již šest možných výsledků ( k=6). Pravděpodobnost každého výsledku.

Experiment C zahrnuje házení dvěma kostkami současně. Pro tuto zkušenost k= 36 a.

Posouzení nejistoty experimentálních výsledků je hodnocením obtížnosti předpovědi výsledku experimentu. Je intuitivně jasné, že ze všech popsaných situací má zkušenost C maximální nejistotu, protože počet výsledků je zde největší a je nejobtížnější předvídat výsledek této zkušenosti předem.

Abychom přešli ke kvantitativnímu hodnocení nejistoty, formulujeme základní požadavky na funkci, která by měla hrát roli míry nejistoty. Tuto funkci budeme označovat písmenem H.

První požadavek. Funkce N by se měla monotónně zvyšovat s rostoucím počtem experimentálních výsledků.

Druhý požadavek. Funkce N musí být rovna nule, pokud existuje pouze jeden výsledek ( k=1). To znamená, že pokud je možný pouze jeden výsledek, nevzniká žádná nejistota a výsledek experimentu lze bezchybně předpovědět.

Třetí požadavek. Věnujme pozornost tomu, že jeden experiment C lze považovat za dva experimenty B a požadujeme, aby celková hodnota entropie dvou experimentů B byla rovna entropii experimentu C

nebo v obecném případě ne pro dva, ale n jednoduché experimenty

Pokud by nebyl splněn třetí požadavek, pak by se hodnocení nejistoty zážitku C ukázalo jako rozporuplné a záviselo by na subjektivní interpretaci zážitku samého – zda ​​uvažovat o tom, že prožitek C proběhl, nebo zda kostky ne klesnout ve stejnou dobu a proběhly dvě zkušenosti B Přijetí tohoto požadavku je ekvivalentní zavedení aditivních vlastností pro budoucí posouzení nejistoty. Standardně se předpokládá, že příslušné prvky (kosti) spolu neinteragují. V termodynamické interpretaci je to ekvivalentní přijetí ideálního systému.

Vyřešme funkcionální rovnici (4.1) pro funkci . Abychom to udělali, rozlišujeme obě strany výrazu (4.1-1) s ohledem na k, s využitím požadavku monotónnosti funkce:

Nyní rozlišujeme (4.1) s ohledem na n

Vydělme rovnici (4.2) (4.3)

což je ekvivalentní

Integrací tohoto výrazu a použitím tabulkového integrálu pro pravou stranu zjistíme

kde je integrační konstanta.

Z posledního výrazu

Od s přibývajícím k entropie se zvyšuje (první požadavek), pak C>0 a tento výraz lze přepsat do následující konečné podoby:

,A>1.

Z toho vyplývá, že splňuje i druhý požadavek. Výběr základny logaritmů pro A>1 nezáleží a určuje pouze volbu jednotky měření nejistoty. Nejčastěji se používají binární nebo přirozené logaritmy. Pokud se použijí binární logaritmy, pak nejistota experimentu, který má dva stejně pravděpodobné výsledky (experiment A), se bere jako jednotka měření nejistoty. Tato situace odpovídá entropii jedné elementární počítačové buňky, která obsahuje buď 0 nebo 1. Pro tuto buňku

Tato jednotka měření se nazývá bit(z anglického binarydiget – binární jednotka).

Takže když k stejně pravděpodobné výsledky, nejistota zkušenosti je

Kde p– pravděpodobnost výsledku experimentu.

Vzhledem k tomu, že pro stejně pravděpodobné výsledky

pak vynásobením (4.4) jednou ve formě součtu pravděpodobností dostaneme

Každý výraz na pravé straně tohoto výrazu lze považovat za příspěvek jednotlivého výsledku k celkové nejistotě zkušenosti. V případě stejně pravděpodobných výsledků je příspěvek každého z nich k celkové nejistotě experimentu stejný a vzorec (4.5) se zhroutí do (4.4).

Výraz (4.5) lze snadno zobecnit na případ, kdy jsou pravděpodobnosti výsledků různé. V tomto případě lze (4.5) považovat za průměrnou entropii zkušenosti a pravděpodobnosti před log přebírají význam váhových koeficientů. Nyní se předpokládá, že příspěvek každého výsledku k celkové nejistotě zkušenosti nemusí být nutně stejný. Příkladem situace s nestejnými výsledky je zkušenost s náhodným vytažením míče z urny obsahující velké množství míčků několika barev. Výhrada týkající se velkého počtu kuliček byla učiněna speciálně pro zdůraznění pravděpodobnostní povahy míry nejistoty.

Výraz (4.5) lze zapsat v kompaktní formě

Pokud počet experimentů N, pak s přihlédnutím k aditivitě entropie

Entropii jako míru nejistoty zavedl americký matematik Claude Shannon v roce 1949 při vývoji matematické teorie komunikace. Funkce jako (4.6), popř entropie volbyčasto také nazýván Shannonova entropie. Protože se pojem entropie dnes stává obecně vědeckým, označení jeho informačního původu se zpravidla používá pouze v případech, kdy by měl text rozlišovat mezi informační a termodynamickou (fyzickou) entropií.

Rýže. 4.1. Závislost entropie pro dva výsledky experimentu

Podívejme se na některé vlastnosti entropie. Nejprve poznamenejme, že entropie nemůže nabývat záporných hodnot: protože , je vždy kladné. Pokud, pak (pro důkaz musí být zveřejněna nejistota typu). Pokud, tak také.

Teprve od kdy p=0 nebo p=1, pak je entropie zkušenosti nulová pouze v případě, kdy jedna z pravděpodobností je rovna jedné a tedy všechny ostatní jsou rovny nule. Tato okolnost je v dobré shodě s významem množství H jako míra nejistoty: v tomto případě zkušenost neobsahuje vůbec žádnou nejistotu, protože výsledek zkušenosti lze předem předvídat.

Obrázek 4.1 ukazuje graf funkce H pro dva výsledky experimentu, ze kterých je zřejmé, jak se změní entropie, když se jeden z výsledků experimentu změní z nuly na jedničku. Z grafu vyplývá, že maximální hodnota entropie odpovídá stejně pravděpodobným událostem. V tomto případě maximální hodnota entropie

V obecném případě, tedy ne za dva, ale k výsledkům experimentu odpovídá maximální hodnota entropie.

Skutečnost, že maximum entropie odpovídá stejně pravděpodobným událostem, je v souladu s významem entropie. V případě stejně pravděpodobných událostí totiž není možné upřednostňovat jakýkoli výsledek, a proto je nejobtížnější výsledek předvídat.

4.2. Entropie jako míra množství informace. Vraťme se k nejjednodušším experimentům s mincí nebo kostkou. Před provedením experimentu existuje určitá nejistota spojená s neznalostí výsledku experimentu. Po experimentu, tzn. po obdržení výsledku je tato nejistota eliminována a mizí. Ne vždy tomu tak ale je a v praxi se nejčastěji vyskytují případy, kdy po skončení experimentu ještě nějaká nejistota přetrvává.

Pokud byla nejistota před experimentem N(apriorní nejistota), a po experimentu –( zadní nejistota), pak je zřejmé, že nejistota vyloučená během experimentu bude:

Tento rozdíl se nazývá množství informací.

Tím pádem, množství informací je množstvím eliminované nejistoty. V konkrétním případě, kdy je nejistota jako výsledek experimentu zcela eliminována, jako tomu bylo v případě experimentů A, B a C, získáme: Přestože se zde množství informace formálně rovná entropii, je třeba mít na paměti odlišný význam množství informace a entropie. Entropie (nejistota) existuje před experimentem, zatímco informace se objeví po experimentu. Jen je třeba vzít v úvahu, že pro kvantitativní hodnocení informací neexistuje jiné měřítko než entropie. Vztah mezi pojmy entropie a množstvím informace se podobá vztahu mezi fyzikálními pojmy potenciál (entropie) a potenciální rozdíl (množství informace).

Množství informací, jako je entropie, se měří v bitech. Jeden bit informace je množství informací, které říká, která ze dvou stejně pravděpodobných událostí nastala. Například množství informací obsažených v jedné elementární počítačové buňce obsahující buď 0 nebo 1 je jeden bit.

Uvažujme příklad, ve kterém by se objevila aposteriorní nejistota. Nechte metodu výčtu možností hledat kořen nějaké rovnice s přesností na půl celého čísla. Předem je známo, že hodnota kořene je v rozmezí od 1 do 100, takže byste měli projít 200 možnostmi. Pak bude nejistota kořenové hodnoty ve stejně pravděpodobné verzi (4.4). H = log 2 200 = 13,3 bitů.

Předpokládejme, že bylo zkontrolováno 150 variant možných kořenových hodnot, ale nebyl nalezen žádný kořen. Získají se však nějaké informace o významu kořene? K jejímu určení je nepochybně nutné nejprve najít zbytkovou (a posteriori) nejistotu: H 1 = log 2 (200 – 150) = 5,6. Potom bude požadované množství informací = 13,3 – 5,6 = 7,7 bitů.

Podmíněná entropie. Uvažujme koncept množství informací na příkladu přenosu signálu. Nechte skupinu signálů přenášet v Morseově abecedě:

        

Dokud není na přijímací straně přijat další znak, existuje nejistota, „jaký signál bude odeslán? Tuto nejistotu lze charakterizovat entropií „na znak“ (4.6) s počtem výsledků k = 3 (tečka, čárka, mezera) s pravděpodobnostmi p i (i = 1, 2, 3). Pravděpodobnost, že se na přijímacím konci objeví tečka, pomlčka nebo mezera, tzn. Odborníci znají pravděpodobnosti (frekvence) použití symbolů v konkrétním jazyce ze statistické analýzy velkého objemu textů v tomto jazyce. Výpočtem entropie na znak pomocí vzorce (4.6) je snadné určit celkovou entropii zprávy (4.7). V tomto příkladu je 10 znaků včetně mezery, a proto N = 10.

Takže na přijímacím konci, před přijetím zprávy, byla apriorní nejistota (4.7) nebo jeden znak (4.6). Po přijetí zprávy byla nejistota odstraněna a byla přijata informace I=H– 0.

Tato jednoduchá situace však nastane, pokud je zpráva přenášena bez rušení ( kanál bez šumu). Je-li šum, pak jeho působení vede k tomu, že přenášený symbol může buď zůstat stejný (i-tý) nebo může být náhodně nahrazen jakýmkoli jiným (n-tým) symbolem. Pravděpodobnost takové substituce se označuje p(y n  x i), kde x označuje vysílaný signál a y přijímaný signál v přijímači. V kanálu bez interference y n = x i . Nazývá se pravděpodobnost p(y n  x i). podmíněná pravděpodobnost x i) je pravděpodobnost, že vyslaný i-tý signál odpovídá n-tému signálu na přijímacím konci. Tuto situaci lze samozřejmě uvažovat i ze strany vysílače pomocí podmíněných pravděpodobností tvaru p(x i y n). V tomto případě р(x i y n) je pravděpodobnost, že n-tý signál přijatý na přijímacím konci odpovídá i-tému signálu na vysílacím konci. Zavádí pojem podmíněné pravděpodobnosti podmíněná entropie jako funkce podmíněné pravděpodobnosti. Obecně se to píše v následujícím zápisu:

I(X,Y) = H(X) – H(XY)

I(X,Y) = H(Y) – H(YX)

V těchto identických výrazech hraje podmíněná entropie roli zadní entropie a množství informací je měřítko shody dva náhodné objekty X a Y.

Toto opatření nám umožňuje pochopit spojení mezi koncepteminformací a jejich množství. Informace je odrazem jednoho objektu druhým. V tomto příkladu jsou těmito objekty přijímač a vysílač. Průměrné množství informací je číselnou charakteristikou úplnosti této reflexe, stupně korespondence a konečně, stupeň interakce tyto objekty. Ale při interakci se předměty navzájem ovlivňují a my jsme zvyklí rozlišovat mezi příčinou a následkem. Kvantitativní popis informací je dalším typem popisu interakcí, který v žádném případě nesouvisí s klasickými popisy příčin a následků.. Tento typ komunikace je typický pro NVT.

Zde je užitečné odkázat na odstavec 3.6, kde jsme se již dotkli omezení klasického mechanismu příčiny a následku při popisu interakcí v otevřeném systému.

4.3.Entropie spojité množiny. Dříve recenzováno entropie diskrétní množiny. To znamená, že byly míněny systémy, kde je počet možných výsledků (prvků množiny) konečný. Často se však setkáváme se situacemi, kdy může být počet prvků libovolně velký. Z teorie pravděpodobnosti je známo, že v tomto případě bychom se neměli zabývat pravděpodobností jednotlivého výsledku, která je rovna nule, ale hustotou rozdělení pravděpodobnosti. Tato funkce má tu vlastnost, že veličina je pravděpodobnost, že proměnná nás zajímá X(hodnota kořene v příkladu článku 4.2.) bude nabývat hodnot v rozsahu od X před x+dx.

Nyní je pro odhad nejistoty nutné uchýlit se k entropii spojité množiny, která má analogicky s entropií diskrétní množiny (4.5) tvar

. (4.9)

Jako příklad použití této funkce se pokusíme odhadnout nejistotu zkušenosti spojené s náhodným vyhledáváním v daném intervalu pro hodnotu odmocniny (viz část 4.2) při absenci omezení přesnosti vyhledávání.

Zvýšením požadavků na přesnost odpovědi lze očekávat libovolně velký počet možných výsledků experimentu. V tomto případě má pravděpodobnost každého výsledku tendenci k nule a požadovaný kořen může nabývat všech možných (nespočetných) hodnot v daném číselném intervalu od 0 do 200. Zkusme pro totéž použít entropii spojité množiny problém. Představme si úsek délky l=x 1 –x 0 relativních jednotek. Pravděpodobnost nalezení hodnoty odmocniny v oblasti dx je dx/ 1 . Na druhou stranu, stejná pravděpodobnost je z definice. Proto pro stejně pravděpodobný případ = dx/l u= 1/ l. Dosazením této hodnoty do (4.) je snadné ji získat H = log 2 l= 5,6 bitů.

Porovnejme získaný výsledek s příkladem v odstavci 4.2. V případě diskrétní množiny využívá entropie počet diskrétních intervalů na vybraném segmentu, v případě spojité množiny pak relativní délku samotného segmentu.. Všimněte si, že délka musí být vyjádřena v relativní formě, jinak by se pod logaritmem objevila rozměrová veličina. Stupnice redukce na relativní formu nemá pro informační entropii zásadní význam, protože od samého počátku byla entropie zaváděna s přesností na faktor (až na integrační konstantu, viz postup integrace v odstavci 4.1).

Entropie spojité množiny popř diferenciální entropie(4.9) má většinu vlastností entropie diskrétní množiny.

V moderní literatuře lze nalézt kritiku konceptu diferenciální entropie az něj vyplývajícího konceptu rozdílné množství informací. Tato kritika se ve své povaze shoduje s kritikou konceptu kontinuity, o kterém jsme hovořili dříve v odstavci 3.5.

4.4.Entropie jako míra diverzity, nepořádek, chaos. Dosud byl pojem entropie spojován s nejistotou. Entropie umožňuje jiný výklad. Představme si systém skládající se z komory, ve které jsou N koule typů lišících se například barvou . Předpokládá se, že N je dostatečně velké číslo. Označme zlomek kuliček i-tý typ (barva) –. Provedeme-li na systému experiment, který spočívá v náhodném vytažení jedné kuličky, pak bude entropie jednoho experimentu podle (4.6):

Předpokládá se, že velikosti kuliček jsou stejné, jinak pravděpodobnost vytažení kuliček i-ten typ nebude přesně odpovídat jejich podílu v komoře. Entropie všech experimentů v systému

Protože pravá strana posledních výrazů obsahuje parametry charakterizující obsah systému, vyvstává otázka, zda lze bez odkazu na experimenty s míčky pochopit, z jakého hlediska tyto funkce charakterizují obsah komory.

První ze dvou funkcí charakterizuje stupeň poruchy systém nebo míru rozmanitosti v něm s přihlédnutím k vybrané vlastnosti pro rozlišení prvků systému (barva kuliček). Pokud by v komoře byly kuličky stejného typu, pak jedna z hodnot pravděpodobnosti p=z by se rovnala jedné a všechny ostatní by byly nulové a entropie by měla nulovou hodnotu. To by znamenalo, že systém je kompletně uspořádaný, nebo, což je totéž, že v systému není žádná diverzita z hlediska posuzovaného atributu (barvy).

Druhá funkce (4.11) měří poruchu (diverzitu) v systému poněkud odlišně. Rozdíl mezi těmito dvěma funkcemi lze ilustrovat na následujícím příkladu. Pokud je komora rozdělena na dvě části, pak s dostatečně velkým počtem kuliček v ní poměr kuliček i-tý typ v každé ze dvou částí zůstane stejný, ale počet kuliček se sníží na polovinu a neuspořádanost odhadnutá podle vzorce (4.11) se také sníží na polovinu. Stupeň neuspořádanosti pro každou ze dvou částí, odhadnutý funkcí (4.10), však zůstane stejný.

Analogicky k právě uvažovanému příkladu lze vzorec (4.11) použít k odhadu poruchy proudění směsi libovolných látek. V tomto případě koncentrace i-tá složka v molárních zlomcích; N– průtok nebo počet molekul procházejících určitým průřezem za jednotku času. Od čísla N v praktických problémech je vždy velmi velká, můžeme se pro entropii přesunout do jiného měřítka. Například vydělením levé a pravé strany Avogadrovým číslem dostaneme

Kde F– průtok, kmol/jednotka. čas. Označení entropie na nové stupnici zůstává stejné.

Entropie tedy hodnotí rozmanitost prvků v systému podle nějakého specifického znaku, který nás může zajímat v konkrétní úloze; viz body 4.6 a 4.7.

Všimněme si, že výraz (4.10) se až faktorem shoduje s termodynamickým výrazem pro molární entropii míchání ideálního plynu.

S= –R, (4,13)

kde R je plynová konstanta.

Na tomto příkladu si lze všimnout souvislosti mezi informační entropií, představenou v předchozích částech bez použití jakýchkoli fyzikálních principů, a termodynamikou. Zde je také užitečné poznamenat nejen vnější, strukturální analogii. Entropie míchání (4.13) je pouze entropií termodynamicky ideální směsi. Při úvahách o komoře s kuličkami byla akceptována i některá omezení, např. požadavek stejných velikostí kuliček.

Entropie zapsaná z hlediska pravděpodobností se často nazývá funkční, na rozdíl od entropie vyjádřené v molárních zlomcích, která je tzv atributivní.

4.5 Spojení informační entropie s fyzikou. Pojem entropie poprvé zavedl do termodynamiky Clausis jako vztah spojující elementární přírůstek entropie dS s elementárním množstvím tepla dQ při teplotě T

dS = dQ/T(4.14)

Tento výraz říká málo o fyzikální podstatě entropie. Ve fyzice byly opakovaně učiněny pokusy odhalit obsah tohoto pojmu, vedené modelovými pojmy.

Boltzmannova entropie. Uvažujme dobře známou Boltzmannovu rovnici založenou na statistickém přístupu

Kde k B– Boltzmannova konstanta, k B=1,3810J/K;W – počet mikrostavů.

Abychom pochopili podstatu statistických metod, jako výchozí příklad uvažujme plyn jako soubor velkého počtu částic. První věc, která se zdá být nezbytná při konstruování matematického modelu chování částic, je pokusit se pro každou z nich zapsat pohybovou rovnici, protože plyn, alespoň k prvnímu přiblížení, je soustavou pohybujících se částic. podle zákonů newtonovské mechaniky.

S tímto přístupem se však počet rovnic stává nepředstavitelně velkým, nemluvě o tom, že k integraci těchto rovnic jsou nezbytné počáteční rychlosti a souřadnice každé molekuly. Tato cesta je však nejen komplikovaná, ale také neplodná, protože znalost trajektorií a zákonů pohybu jednotlivých molekul neposkytuje žádné informace o vlastnostech plynu jako celku. Faktem je, že v systému sestávajícím z mnoha částic vznikají nové, čistě statistické systémové nebo integrační vzorce, které v systému s malým počtem částic neexistovaly.

Pomocí velmi zjednodušeného modelu vysledujme, jak se tyto nové vlastnosti spojené s konceptem Boltzmannovy entropie objevují.

Pro názornost si vezměme systém pouze deseti částic ( N=10), rozdělené na čtyři energetické úrovně, mající relativní energetické hodnoty 1, 2, 3 a 4. Celková energie systému se rovná 20 relativním jednotkám. Úkolem je vyjádřit některé úvahy týkající se stavu, který systém nabude, bude-li ponechán sám sobě, tzn. o tom, jak jsou částice distribuovány napříč energetickými hladinami.

Abychom to mohli udělat, zjistěme, jaké energetické distribuce částic jsou možné. V tomto případě budeme rozlišovat změny v mikro- a makrostavu systému. Pokud dojde ke změně počtu částic na jakékoli energetické úrovni, pak budeme hovořit o změně makrostavy systémy. Pokud došlo pouze k výměně částic mezi energetickými hladinami, ale počet částic na každé energetické hladině zůstal stejný, zaznamenáme změnu mikrostavy systémy. Pro vnějšího pozorovatele, který sleduje pouze makrostavy systému, zůstanou změny mikroskopického charakteru nepovšimnuty a mikrostavy budou nerozeznatelné. Jeden makrostav může být realizován mnoha mikrostavy.

Jeden z možných makrostavů v uvažovaném systému deseti částic je tedy následující: na první energetické hladině je jedna částice ( N 1 = 1), na druhém je osm částic ( N 2 = 8) a jeden zabírá třetí úroveň ( N 3 = 1). Čtvrtá úroveň není obsazená. Celková energie je 11+82+13+ 40=20. Předpokládejme, že částice jsou očíslovány. Pak by tento makrostav mohl být realizován různými způsoby (prostřednictvím různých mikrostavů), umístěním např. na energetickou hladinu 1 částice postupně s čísly 1, 2, 3, 4, 5 atd., tzn. provádění různých přeskupení částic bez narušení makrostavu systému.

. (4.16)

Tady r– počet úrovní energie; v tomto příkladu r= 4.

Pokud se nyní přesuneme do jiného makrostavu, tzn. vzít jiné rozložení částic na energetických úrovních, např. N 1 =2,N 2 =7,N 3 =0 a N4=1 (celková energie 21+72+14 = 20), pak se počet způsobů realizace tohoto makrostavu W rovná 360.