Hidrológiai Közlöny 1992 (72. évfolyam)
5-6. szám - V. Nagy Imre: Az információelmélet hidrológiai értelmezésének és alkalmazásának lehetőségei. I. rész
V. NAGY I.: Az információelmélet hidrológiai lehetőségei 259 Az első kórdós az, hogy mennyi az információtartalma (valószínűsége) annak, hogy egy 32 lapból álló csomagból egy adott (tetszőleges) lapot kiválasszunk? Ekkor, I = 2log 32=6 bit, mivel, 2 S =2 -2 -2 -2 -2=32 ós a bit az információ dimenzió nélküli egysége. Ez azt jelenti, hogy öt kérdésre van szükség oly módon, hogy a kérdésekre adott válaszok felezzék meg a lehetőségek számát (ha „rosszul" kérdezünk akkor öt kérdés nem lesz elegendő). Amennyiben a válasz egy része már benne volt az előző kérdésre adott válaszban, akkor a válasz redundáns, tehát 1 bit-nól kevesebb információt tartalmaz. Keverjük össze a két kártyaesomagot és húzzunk azokból két tetszőleges kártyát. A kérdés most az, hogy mi a valószínűsége annak, hogy két adott lapot választunk ki? Mivel a két kártyacsomagot (rendszert) egymástól függetlennek (egymáshoz csak logikailag kapcsolha tónak) tekintjük, így azok p x ós p„ állapot valószínűségei alapján az együttes valószínűséggel megadott információtartalom (p t =p t= 32): I = *log( P l -p 2) = *log p 1 + 2log p 2 = 5 + 5 = 10 bit. Az információtartalmak tehát így ugyanúgy összegezhetők, mint az entrópiák és ez a körülmény igazolhatja az információ logaritmikus definícióját. Additív kapcsolódás (alaki azonosság) esetéről van szó, mivel a logaritmikus függvény ugyanolyan tulajdonságokkal rendelkezik (vagy fordítva) mint az entrópia. Shannon kétségtelen érdemei nem vitathatók, azonban a teljesség érdekében megemlítendő, hogy a távközlési rendszerben továbbított információ mérésére elsőként Hartley (1928) adott megoldást, aki szerint az üzenetben foglalt információmennyiség : I — n 2log N, (2.6) ahol: n — az üzenetben levő jelek száma, N — a jelkészletben levő jelek száma. Eszerint tehát egy N elemű halmaz egy elemének pontos megadására 2log N egységnyi információmennyiség szükséges (itt az információmennyiség egysége 1 bit, amely szükséges egy kételemű halmaz egyik elemének megadásához). Ez lényegében a Szilárd—Boltzmann-féle gondolat továbbfejlesztése és hírközlési alkalmazása, azonban Shannon annyiban lépett tovább, hogy az információ fogalmát a valószínűség fogalmával kapcsolta össze akkor, amikor a hírközlést statisztikus jellegűnek tekintette. Ilyen közelítésben a hír vagy üzenet valószínűségszámítási szempontból esemény, tehát a forrás (adó) analóg a véletlen kísérlet esemény terével, azaz a hírforrás egy véletlen kimenetelű kísérlet eseményteréhez tartozó lehetséges események összessége (Fülöp G. 1990). Shannon alapvető érdeme tehát annak a felismerése, hogy a Hartley-féle képlet csak akkor érvényes, ha az N jelkészlet elemeinek bekövetkezése egyformán valószínű, jóllehet ettől függetlenül, Wiener (1948) is hasonló következtetésre jutott. Határesetben tehát a Shannon-féle képlet a Hartley-féle képletre redukálódik és mindkettőben érvényesül posztulátumként az additivitás és a lineáris középértékképzés elve (Rényi, 1960). Ebből logikusan következik, hogy általában minél kisebb, pontosabban minél azonosabb az egyes állapotok valószínűsége, annál nagyobb az információ, tehát az x jel által hordozott információ x előfordulásának valószínűségétől függ, azaz: I(x)=f[p(x)] (2.7) A kérdés az, hogy milyen meggondolásokból származtatható az f(p) függvény. A (2.4) összefüggés kapcsán bemutatott példa szerint az információ additív jellegű, azaz két, egymástól független esemény bekövetkezése révén kapott információk összeadódnak: I(x,y) = I(x) + I(y). (2.8) Valószínűségek esetén viszont a szorzástételből következően, két független esemény együttes (vagy egymást követő) bekövetkezésének valószínűsége egyenlő a valószínűségek szorzatával, p(x-y)=p(x)-p(y). (2.9) Ennek megfelelően az f(p) függvény csak logaritmikus lehet, mivel így tud eleget tenni az additivitás követelményének, mivel log(»-y) = log(a:)+Iogfo) (2.10) Rényi (1960) mutatott rá arra, hogy két valószínűségeloszlás direkt szorzatának információeloszlásfüggvénye egyenlő két eloszlás információ-eloszlás függvényének kompozíciójával, ezért elméleti szempontból a különböző rendű információmennyiségek vizsgálata sokkal több felvilágosítást adhatna, mintha csak az entrópiát vizsgáljuk, azonban az egyszerűbb gyakorlati esetekben a Shannon-íéle közelítés mint 1. rendű információ igen jól alkalmazható. Célszerűen, az információmennyiség egységét úgy kell megválasztani, hogy akkor kapjunk egységnyi információt, amikor csupán két, egyformán valószínű esemény valamelyikének bekövetkezésére számíthatunk ós ezek közül az egyik bekövetkezik (dihotomikus típusú események, ill. fej vagy írás, igen-nem, vagyvagy stb.). Ilyen esetekben: I(x) = 1, ha p(x) = 1/2 (2.11) tehát a logaritmusfüggvónyben kettes alapú logaritmust kell használni. Ismeretes, hogy az információmennyiség ezen egységét Tukey javaslatát elfogadva 6tí-nek (binary digit unit) nevezték el. Az információ—valószínűség analógia alkalmazásának azonban elvi korlátját jelenti, az, hogy nem lehet feltétel nélkül elfogadni azt az állítást, amely szerint egy esemény annál több információt szolgáltat, minél kisebb a valószínűsége. Ekkor ugyanis határesetben: p(x)-*0 és /(x)-<=o (2.12) ami nyilvánvalóan ellentmondásos. Mivel a be nem következő, ill. teljesen nyilvánvaló esemény a hírközlésben nem szolgáltat információt, azért bevezették az
