5. fejezet - Mérés és modellezés

A következőkben három olyan információelméleti módszert mutatunk be, amelyek az eredmény matematikai eszközökkel történő becslését teszik lehetővé – a becslési térben.

A becslési módszereket úgy állítjuk sorrendbe, hogy az első helyen a legtöbb „à priori” ismeretet igénylő módszer álljon, és ez után csökkenő előzetes ismeret szerint a Maximum Likelihood (ML), majd végül a „Legkisebb négyzetes hiba” (LMS) következzen.

A legtöbb előzetes ismeret a Bayes-féle becslési eljáráshoz szükséges. Ebben az esetben ismerni kell

A Bayes becsléshez szükséges, hogy a mérendő jellemző f( a ) eloszlásfüggvényének és a csatornakarakterisztikának ismeretében meghatározhassuk az à posteriori (utólagos) feltételes sűrűségfüggvényt. Ezen utólagos ismeret, azaz az f( a | b ) feltételes sűrűségfüggvény, rögzített (ismert) b megfigyelt érték mellett adja az a paraméter statisztikai leírását.

Az f( a | b ) feltételes valószínűség (utólagos tapasztalaton alapuló) a valószínűség számítás szabályainak alkalmazásával és a Bayes-becsléssel előre megadható, ha ismert a mérendő mennyiség sűrűségfüggvénye f(a) és a mérőrendszer csatornakarakterisztikája.

Becslésnek a paraméter megfigyelése utáni legvalószínűbb ĉ értéket tekintjük. A becslésnek mindig lesz „H” hibája

Tekintettel arra, hogy ez a hiba maga is változó, függ a „ c ” és „ a ” értékeitől, bevezetik az átlagos hiba fogalmát, és ez „R” jelölést kap.

A Bayes becslés – „költségfüggvények” alkalmazásával, amelyeket K( c , a ) jelöléssel látunk a következő képletben - az „ a ” paraméter olyan „ ĉ = c _B ” becsült értékét keresi, amely az „R” hibát minimalizálja.

A költségfüggvény K( c , a ) fogalom itt tehát hibakritériumot, optimum kritériumot takar. A becslés átlagos hibája a költségfüggvénnyel (optimum kritérium) súlyozott à posteriori (utólagos) feltételes sűrűségfüggvénnyel a következő módon adható meg. Az átlagos hiba minimumát kell tehát keresni:

Az ilyen módon kiszámítható R _B minimális átlagos hibát Bayes-hibának nevezik. A becslési hiba látható a következő ábrán:

A „költségfüggvény” hatása két példán jól szemléltethető. Ha az abszolút hibát tartjuk fontosnak a becslési hiba csökkentésére, akkor abszolút érték költségfüggvényt alkalmazunk. Ha a nagyobb eltéréseket határozottabban kívánjuk súlyozni, akkor pedig a négyzetes hibafüggvényt célszerű használni.

Ezeket látjuk a következő ábrán.

Az „à posteriori” (utólagos) feltételes sűrűségfüggvény négyzetes költségfüggvénnyel történő súlyozását és a minimális hibát mutatja az alábbi ábra.

Előfordulhat a sokféle mérési feladat során, hogy nincs előzetes ismeretünk a mérendő paraméter f( a ) sűrűségfüggvényéről, és csak az f( b | a ) feltételes sűrűségfüggvény, a megfigyelés, azaz a csatornakarakterisztika adott. Ilyen esetben a Bayes becslő nem alkalmazható. Helyette a szakirodalom a Maximum Likelihood (ML) becslőt javasolja.

Az ML becslés előállításához definiálni kell az un. „likelihood” függvényt f _ML ( b | c ), amelynek c szerinti maximum helyéhez tartozik az optimális becslés:

A Maximum Likelihood becslésnél tehát nem ismerjük az f( a ) sűrűségfüggvényt. Ezt a műszaki tényállást a matematika nyelvén úgy közelítik, hogy az f( a ) sűrűségfüggvény varianciáját egyre nagyobbá teszik, határátmenetben végtelen varianciát feltételeznek. Ennek következménye az (5.7. ábra) ábrán látható, azaz az f( a ) függvény egyre jobban „szétterül”. Ezért az f( a ) sűrűségfüggvénynek nincs hatása az à priori sűrűségfüggvényre, és a ML becslés majdan a f _ML ( b | c ) függvény maximumához tartozó érték lesz.

Ehhez a megállapításhoz azonban még szükség van néhány lépésre. A Maximum Likelihood becslő a maximum à posteriori (utólagos) sűrűségfüggvényből vezethető le, felhasználva az ismert csatornakarakterisztikát. Felhasználva a Bayes becslőnél látott összefüggést, az alábbiakat írhatjuk fel:

A továbbiak megértéséhez fontos, hogy az f( a | b ) à posteriori sűrűségfüggvényben a konstans „ a ” helyére „ c ” változó kerül, hiszen ennek a függvényében kell megkeresni a maximumhelyet. Tekintettel a változó cserére, és arra, hogy a minden határon túl megnövelt varianciájú f( a ) sűrűségfüggvény konstans lesz, f( c ) ugyancsak konstans. Ugyanakkor tudjuk, hogy f( b ) nem függ c -től, ezért az „à posteriori” sűrűségfüggvény maximum helye megegyezik a ML függvény szélső értékével, amint azt a fejezet elején láttuk.

Összefoglalva megállapítható, hogy mivel nem ismerjük a mérendő paraméter eloszlását, csak a megfigyelésekre lehet a becslésnél támaszkodni. A Maximum Likelihood becslésnek azt az a = ĉ _ML paraméter értéket vesszük, amely mellett a kapott f( b | a = c ) megfigyelés a legvalószínűbb, ezt szemlélteti az 5.7. ábra, ahol látható, hogy a f( b | a ) „à priori” sűrűségfüggvény maximuma az a paraméter ĉ _ML értékénél van.

Láttuk, hogy a Bayes becslésnél a paraméter sűrűségfüggvényére és a megfigyelések (csatornakarakterisztika) sűrűségfüggvényére volt szükség, míg a ML becslésnél már csak az utóbbi áll rendelkezésre.

Ha semmilyen „à priori” ismerettel nem rendelkezünk, akkor a becslés alapja kizárólag a feltételezett modell és maga a mérendő rendszer lehet, és nyilvánvalóan az e kettő közötti eltérést kell minimalizálni.

A legkisebb négyzetes hibájú becslés (LMS) négyzetes hibakritériuma mellett sok műszaki tapasztalat szól, hiszen könnyen kezelhető, fizikailag jól megjeleníthető, és a becslő viszonylag könnyen megvalósítható.

A becslési feladat lényege tehát az, hogy a mérendő rendszer a paraméterének olyan ĉ becslését keressük, amely mellett a mérendő rendszerről nyert b megfigyelés és a modell y kimenőjelének négyzetes eltéréseként meghatározott C( a , c ) hiba minimális lesz. Tekintettel arra, hogy a paraméter, a megfigyelések, az eredmények vektor formában vannak felírva, ezt a meghatározást a következő egyenlettel lehet leírni:

A C( a , c ) hibafüggvény minimumához tartozó c érték, azaz a legkisebb négyzetes hibájú becslés szélsőérték meghatározással állapítható meg:

A becslési hibára vonatkozó összefüggés megjeleníthető tömbvázlat segítségével is, ezt mutatja következő ábra.

A legkisebb négyzetes hibájú becslő megvalósítására célszerű lineáris modellel való közelítést alkalmazni akkor is, ha a modell nemlineáris. Ha feltételezzük, hogy az a mérendő paraméter és a b megfigyelés közötti kapcsolat lineáris, és létezik az n torzítás, vagy zaj, akkor felírható a következő összefüggés:

Az optimumkereséshez szükséges a hibafüggvény létrehozása:

Az összefüggés tovább formálható:

Az egyenlet c szerinti deriválásával nyerhetjük a legkisebb négyzetes hibájú becslést. Elvégezve a deriválást és figyelembe véve a számítási szabályokat, felírható, hogy

és ezzel a következő feltételt kapjuk:

Átrendezés után

Amennyiben az U mátrix nem szinguláris, akkor az inverzió elvégezhető, és megkapjuk az a paraméter LS becslését:

Ezzel az eredménnyel kiszámítható a becslés hibája is:

Tekintettel arra, hogy

volt, behelyettesítéssel felírhatjuk a becslés hibáját is:

Jól látható, hogy a becslési hiba nem függ a paraméter eloszlásfüggvényétől, hiszen ez amúgy is ismeretlen, viszont megjelenik benne a megfigyelés és a mérendő mennyiség lineáris kapcsolatának leírása és a zavarás hatása.

Azon kivételektől eltekintve, ahol a mérendő mennyiség és a kijelzett villamos mennyiség között fizikai törvény formájában direkt kapcsolat létezik, általánosságban elmondható, hogy a mérendő mennyiség és a mérőeszközökre eljutó jelek között hosszabb-rövidebb átviteli láncra van szükség. Fontos kihangsúlyozni, hogy ez esetben nem villamos jelvezetékre, hanem köztes fizikai mennyiségekre gondolunk. A kijelzett érték igen sokféle zavarás torzító hatását foglalja magába. A mérés információelméleti modellje ezeket a hatásokat szemlélteti.

Az információelméleti modell központi része a jelátviteli csatorna, amelyet mérési feladat esetében a mérőlánc valósít meg. A mérőlánc a valóságban természetesen lényegesen több tagot tartalmazhat, esetenként átviteli tagok soros, párhuzamos és visszacsatolt formájában. A mérőlánc ebben a modellben magába foglalja a valószínűségelméleti modellben megismert mérőrendszert is, tehát az adatfeldolgozó egységet is. Az közismert, hogy a kijelzett (megjelenített) eredmény napjainkban döntően villamos jellegű mennyiség. A mérendő jellemző villamos jellé történő átalakítása már a jelfeldolgozó egység előtt megtörténik. A jelfeldolgozás alatt analóg, vagy diszkrét jelekkel való műveleteket kell érteni, amelyeket áramkörökkel, vagy számítástechnikai eszközökkel (pl. PC, adatfeldolgozó kártyák, mikrokontroller) végeznek el, de napjainkban a kijelzés és megjelenítés is gyakran már PC monitoron történik. A legfontosabb műveletek az erősítés, demoduláció, A/D és D/A átalakítás, szűrés, összegzés, integrálás, logaritmus műveletek, stb.

A jelátalakító a mérőlánc első tagja. Megnevezésére használatos még a jelátalakító, mérő-átalakító kifejezés is. Többnyire komplex egység, amely a mérendő fizikai mennyiséget olyan reprodukálhatóan detektálható változássá formálja, amely egy alkalmasan választott szenzor segítségével villamos (esetleg optikai, pneumatikus, stb.) jellé alakítható át.

A jelátalakító lehet persze egyben szenzor is, főként aktív (segédenergia nélkül működő) eszközök esetében, mint például a tachogenerátor esetében láthatjuk. Ez az eszköz a mozgási indukción alapulva közvetlenül, köztes mennyiségek beiktatása nélkül lehetővé teszi a fordulatszám (szögsebesség) mérését.

Igen csekély kivételtől eltekintve azonban az érzékelő (szenzor) a jelátalakítónak „csupán” egy részét képezi, és amint az előbbiekből látható, többféle mennyiség mérésére ugyanazon szenzor típus alkalmas lehet. Általában elmondható, hogy egy gépészeti mennyiség passzív szenzorokkal akkor alakítható át villamos jellé, ha olyan mérőelemet tudunk tervezni, létrehozni, amely reprodukálhatóan és kellő felbontással elmozdulássá, alakváltozássá, vagy anyagjellemző (pl. permeabilitás, optikai törésmutató, stb.) változássá képes átalakítani az eredeti mérendő mennyiséget.

Az aktív és passzív fogalmakat különböző módon lehet értelmezni . Lehet a műszer szempontjából, és lehet önmagában, a szenzor működési módja szerint vizsgálni és besorolni az eszközöket. Az [5.1.] jelű irodalomban, annak 7.1.1 fejezetében, ezt a két fogalmat a mérőeszköz „szempontjából” vizsgálják. Ezért passzív érzékelést úgy értelmezik, hogy egy fizikai rendszer energiát ad le a mérőeszköz felé. Ebben az esetben a műszer valóban passzívan viselkedik, mert kívülről „kap” energiát. Aktív az érzékelés ebben az értelmezésben akkor, ha az érzékelő működtetéséhez a mérőeszköznek energiát kell szolgáltatnia, majd információt hordozó energiát „kap vissza”, tehát az energiafolyam kétirányú.

Mi ebben a jegyzetben nem a fentiek szerint, hanem a működési módjuk szempontjából vizsgáljuk a szenzorokat . Ilyen megközelítésben teszünk különbséget „aktív” és a „passzív” érzékelők között. Működési módja szerint az aktív szenzor nem igényel segédenergiát, és a jelátalakítás többnyire fizikai törvényszerűségen alapul, amint azt a piezoelektromos, vagy elektrodinamikus eszközöknél látjuk. A passzív szenzorok ezzel ellentétben csak segédenergiával működtethetők, és gyakori a moduláció valamilyen formájának alkalmazása is. Passzív szenzorok jellegzetes példái az impedancia változáson alapuló eszközök, ilyenek az induktív, kapacitív, rezisztív elemeket tartalmazó átalakítók, mint pl. az induktív elmozdulás érzékelő, vagy a nyúlásmérő bélyeg.

A gépészeti és mechatronikai mérési feladatokra jellemző, hogy a mérendő jellemző gyakran több közvetítő mennyiségen, elérhető mennyiségen keresztül hoz létre villamosan mérhető mennyiséget, és ilyen módon villamos kimenő jelet. Ezt szemlélteti a gyorsulásérzékelés egy lehetséges formáján a következő ábra. A gyorsulást, mint mérendő jellemzőt lehet ugyanis elmozdulás, (ld.: következő ábra), vagy alakváltozás (aktív piezoelektromos szenzor, vagy passzív nyúlásmérő bélyeges szenzor), mint elérhető mennyiségek révén mérhető mennyiséggé alakítani.

Az (5.11. ábra) ábrán bemutatott példa szemlélteti azt, hogy mérőlánc első tagja már önmagában is milyen bonyolult felépítésű lehet, és azt, hogy a többszörös átalakítás mindegyike természetesen növeli a zavarások, torzítások fellépésének eshetőségét. Az ábrán U_táp híd-tápfeszültség ω körfrekvenciájú harmonikus jel.

A bemutatott mérőlánc-részlet például önmagában már két, különböző mérési módszert is tartalmaz. Óvatosaknak kell lennünk tehát a „besorolásokkal”, mert eszközeink gyakran bonyolult felépítésűek! Meg kell jegyezni természetesen még azt is, hogy az ábrán látható Wheatstone-híd fehér színnel jelzett két impedanciája már a mérőlánc második tagjához, a vivőfrekvenciás mérőerősítőhöz tartozik, és ez a mérőerősítő szolgáltatja a híd tápfeszültségét is (U_TÁP).

Mivel jelenleg nem ismeretes olyan fizikai kapcsolat, amely révén a gyorsulás közvetlenül villamos jellé átalakítható lenne, szükség van köztes mennyiségekre. A példában a szeizmikus tömegre ható gyorsító erővel tart egyensúlyt a tömeg rugalmas vezetékében ébredő rugóerő. Ez a formáció a klasszikus méréstechnika szerint „kitérítéses módszer” alapján mér. Ugyanakkor a további átalakítások végén, az előidézett impedancia változást „ különbségi módszerrel” mérjük. A műszerház és a tömeg közötti relatív elmozdulás a mérendő gyorsulással arányos. Végül a relatív távolság változását induktív elmozdulás szenzorral érzékelik, és tekintettel az így létrehozott impedancia változás rendkívül kis mértékére, az impedancia változás különbségi módszeren alapuló Wheatstone-híd szolgál.

A legdurvább, a mérési eredményt súlyos mértékben befolyásoló zavarok a híd tápfeszültségének és a vivőfrekvencia ingadozásából származhatnak, hiszen ezek a mennyiségek az eredmény részét képezik. Ha a rugalmas vezeték konstrukciója megfelelő, akkor ebből a részből jelentős zavarás nem várható, de mechanikai szempontból nagyon lényeges a jelátalakító és a csatlakozó kábel rögzítésére vonatkozó gyártói előírások betartása. Elektromágneses hatások, és földelési problémák további zavaró veszélyforrás lehetnek.

Az információelméleti modell természetesen nem csupán arra szorítkozik, hogy a mérőláncot a jelátviteli csatornának megfeleltesse, hanem elméleti megfontolásokat is tartalmaz.

Érdekesség, hogy az információelméleti modell nélkül nem lehetne például némely speciális eloszlásfüggvény esetében kiszámítani a második centrális momentumot, mert improprius integrált kapunk.

A továbbiak részletezéséhez lássuk még egyszer az információelméleti modell „méréstechnikai értelmezését”.

Shannon klasszikus információ átviteli modelljének „lefordítását” látjuk a fenti ábrán. Shannon szerint az információ átvitel nem öncélú, hanem a vevő (fogadó, felhasználó) oldalán a meglévő bizonytalanság, azaz információ hiány csökkentésére irányul.

Tekintettel arra, hogy a mérést információelméleti szempontból úgy kell értelmezni, mint olyan tevékenységet, amely a mérés előtt meglévő ismerethiány (bizonytalanság) megszüntetésére irányul, természetes, hogy nézetünk szerint a műszaki információ fogalmába beletartozik a mérés útján szerzett információ is .

Ez a szemlélet a mérési tevékenység céljával tökéletes összhangban van, hiszen a mérés a hiányzó ismereteink pótlását szolgálja. Ezért nem kell meglepődni, ha a későbbiekben a méréssel szerezhető információmennyiséget a hírközlésben szokásos módon „entrópiának” nevezzük.

Az információ műszaki értelemben – látjuk a következőkben – pontosan ezt jelenti: Információ entrópia = a bizonytalanság (ismerethiány) megszűntetésének mértéke.

Méréstechnikus szemével nézve a forrás tehát a mérendő fizikai-technikai mennyiséget kibocsátó rendszer (gépi berendezés, stb.), a vevő a mérést végző személy, vagy az irányítástechnikában maga a szabályozott rendszer, pontosabban a különbségképző tag, hiszen a visszacsatolás minden szabályozott mechatronikai rendszerben mérés.

Az átviteli csatorna maga a mérőlánc, amelybe a kódoló és dekódoló is beletartozik. Ha jól meggondoljuk, nincs ebben semmi erőltetettség, hiszen például a vivőfrekvenciás mérőerősítők a legszembetűnőbben szemléltetik még a kódolás/dekódolás és ezek szinkronjának szükségességét is. A vivőfrekvenciáról csak jól szinkronozott (fázisban lévő) generátorjel segítségével lehet a hasznos, és információt hordozó moduláló jelet dekódolással leválasztani.

Az is természetes, hogy a „vevő” állapota (ismerethalmaza) a mérés eredményének függvényében megváltozik. (Másként minek fektetnénk pénzt és munkát a mérésbe, információszerzésbe?)

Mielőtt a mérés entrópiájára rátérnénk, szükséges néhány ismeret rövid összefoglalása, hiszen ahhoz, hogy a méréssel szerezhető információmennyiség „mérhető” legyen, meg kell ismernünk az információ alapegységét és mértékegységét is.

A modern információelmélet kialakulását a valószínűség számítás fejlődése alapozta meg. A valószínűség matematikai megfogalmazása régóta foglalkoztatta a gondolkodókat. Úgy tudjuk, hogy a valószínűség első tudományos igényű tárgyalása Pascal levelében olvasható, amelyet 1654. júl. 29-én Fermat-hoz írt. Bernoulli is foglalkozott a témával, és a következő megközelítést adta: „A valószínűség olyan bizonyossági fok, amely úgy viszonyul a teljes bizonyossághoz, mint rész az egészhez.” Laplace-tól származik az a formula, amelyre napjainkban is hivatkoznak: A valószínűség a „kedvező” események osztva az „összes lehetséges” eseménnyel, amennyiben minden esemény azonos valószínűséggel következhet be. Láttuk ugyanakkor a 4. fejezet fejezetben, hogy a modern valószínűségszámítás már axiómák segítségével definiál. Többek mellett Gauss, Poisson, Markov, Kotelnyikov, Hincsin, Feinstein és Fano is foglalkozott a legfontosabb véletlen folyamatok és valószínűségi eloszlások kutatásával.

Kolmogorovtól származik az a közismert egyenlőtlenség, amely az események bekövetkezésének valószínűségét a biztos (P=1) és a lehetetlen (P=0) események közé helyezte, és ezzel „számszerű” megfogalmazást tett lehetővé. Ez a gondolat „ihlette” a hírtartalom, vagy információmennyiség fogalmának megalkotóit. Már csupán olyan matematikai összefüggést kellett találni, amely jól visszatükrözi azt a felfogást, hogy a biztos eseményt sugárzó „hírforrás” (előre ismert hírtartalommal, információval) entrópiája (hírtartalma) zérus legyen, viszont, ha a hírforrás teljes bizonytalanságban hagy, azaz bármilyen hírt azonos valószínűséggel kibocsáthat, akkor az entrópiája maximális legyen. A matematikai összefüggést először Hartley javasolta 1928-ban, majd Shannon fejlesztette tovább.

H. Nyquist (1920) és R. Hartley (1928), a Bell Labs munkatársai publikáltak elsőként olyan elméleteket, amelyek később az információ „méréséhez” vezettek.

A Hartley iránti tisztelet miatt a tízes alapú logaritmus segítségével kiszámított információt „hartley (h)”-ben mérik. A „bit”-be való átszámítás a logaritmus alapok közötti áttérés segítségével lehetséges, 1 h ≈ 3,32 bit.

Az információ mérésére szolgáló mennyiség és mértékegysége nem köthető abszolút természeti állandóhoz , hanem logikai úton lett meghatározva. A Hartley, majd Shannon által javasolt „információ entrópia” (mint mennyiség) és a Tukey-féle „bit” , mint mértékegység első sorban arra való, hogy általuk a műszaki rendszerek , átviteli csatornák, tárolók, stb. műszaki kapacitásának egymás közötti objektív összehasonlítása lehetővé váljon. Az entrópia elnevezés azért került az információelmélet szótárába, mert a számításának Hartley és Shannon által javasolt módja erősen emlékeztet a termodinamikai entrópia meghatározásának módjára.

Gépészek és mechatronikusok számára ismeretes, hogy a termodinamikai entrópia gondolata R. Clausiustól származik (1822-1888), aki ezzel jellemezte a termodinamikában az anyagi rendszerek molekuláris rendezetlenségét, illetve a termodinamikai állapot valószínűségének a mértékét. Ebből következtetni lehet a maguktól végbemenő folyamatok irányára: Mindennapos tapasztalat, hogy a természetben az „egyre valószínűbb” állapotok következnek be. Például annak az állapotnak a valószínűsége, amelynél egy zárt teret úgy töltenek ki gázmolekulák, hogy azok kizárólag a tér egy meghatározott részében helyezkednek el, kisebb, mint annak a valószínűsége, hogy a molekulák a rendelkezésre álló teret egyenletesen kitöltik. Így tehát, ha P₁ és P₂ azokat a valószínűségeket jelzik, amelyekkel adott termodinamikus rendszer különböző állapotban való tartózkodását lehet leírni, akkor a képlet az entrópia megváltozását tükrözi („k” a Boltzmann-állandó) valamilyen folyamat során.

Ilyen meggondolásból a termodinamikai entrópia a „rendezetlenség” mértéke, amely annál nagyobb, minél nagyobb az adott állapot valószínűsége.

A fentiekkel analóg módon hír (vagy hírforrás) entrópiája , azaz információmennyisége annál nagyobb, minél nagyobb a bizonytalanság, amelyet a hír közlése révén el tudunk oszlatni. Másként fogalmazva, annak a hírnek nagyobb az entrópiája, amelynek a bekövetkezési valószínűsége kisebb. Az információ tartalom mérésére szolgáló mennyiség definíciója megszületését tehát a termodinamikai rendezetlenség és az információelméleti bizonytalanság közötti hasonlóság ihlette.

Shannon, 1948-ban közölt munkájában, csak a műszaki értelemben vett információk (elsősorban digitális villamos jelek által hordozott hírtartalom) mérésére – összehasonlítás céljából - dolgozott ki módszert.

Az információmennyiségre alkalmazott „entrópia” elnevezés tehát logikai és formai okokra vezethető vissza. Az információelmélet és a valószínűségszámítás szorosan összefüggnek. A biztos esemény (itt: hír) a fogadó/vevő számára nem rendelkezik információ tartalommal (csak műszaki értelemben!), míg a lehetetlen esemény információ tartalma végtelen nagy lenne. Ezt a matematika nyelvén a valószínűség reciprokával lehetne a legjobban kifejezni.

Ugyanakkor azonban gond, hogy a biztos esemény információ tartalma ez esetben nem zérus, hanem egy lenne. Ezért a hír bekövetkezésének valószínűségét nem csak reciprokként, hanem a reciprok logaritmusaként vesszük.

Az „S” (source) hírforrás „P” valószínűséggel kibocsátott, egyetlen „h” hírének információ tartalma, más elnevezéssel hírértéke, vagy entrópiája az alábbi formula segítségével állapítható meg:

Így azután az elméleti megfontolást a képlet már jobban tükrözi, és a termodinamikai entrópia képletével való formai hasonlóság szembetűnő.

Az információ alapmennyisége az „információ entrópia” (ez nem SI alapmennyiség) és alapegysége a „bit” .

Egy „S” hírforrás egyetlen „h_i” hírének, valamint a hírforrás teljes jelkészletének entrópiáját a következőképpen lehet meghatározni:

(ahol ld = log₂ : logarithmus dualis (latin), a kettes alapú logaritmus)

Érdekesség, hogy az információ napjainkban játszott óriási szerepe ellenére, sokáig nem szerepelt az információ entrópia az SI egységek között. Ennek oka feltehetően az, hogy az információ jelenleg használt mértékegységének (bit) átszámítása anyag és/vagy energia ekvivalensbe, a kapott érték rendkívül kicsiny volta miatt, egyelőre még nehezen interpretálható. A „bit” ma már SI származtatott egység és jelenlegi energia ekvivalense 9,569940(16) × 10⁻²⁴ J/K. (A Boltzmann állandó értéke 2006-ban k_B = 1,380 6504(24)·10⁻²³ J/K volt.)

Az információ mértékegységének megértéséhez és az előzőekben ismertetett összefüggések gyakorlati illusztrálásának céljából mutatunk be egy fontos számítást, mert ugyan a napi gyakorlatban ismételten használjuk információelméleti mértékegységet a „ bit ”-et, de nem biztos, hogy minden esetben világos az, hogy ez a mértékegység valójában mit takar?

Legyen egy hírforrás bináris, azaz csak két féle információt képes kibocsátani, ezek legyenek a 0, vagy 1 szintek. Ebből következően, ha rögzítjük az egyik szint valószínűségét, akkor a másik szint kiadódik: P(1)=1-P(0) és fordítva. A két jel információtartalma láthatóan nem független egymástól. Az alábbi táblázat első sorában az „1” szint valószínűségét adtuk meg 9 értékkel P(1). A második sorban ennek a jelnek az információtartalmát, míg a harmadikban a „0” jel információtartalmát tüntettük fel. Jól látszik, hogy csak a két jel valószínűsége komplementer, de az információtartalmuk már nem .

A bináris hírforrás átlagos információtartalma az előző képlet szerint összegként adódik:

Megjegyezzük, hogy a táblázatban az előjelek és a log–ld átszámítás tekintetében figyelembe vettük a log azonosságokból adódó lehetőségeket.

Jól látható a táblázatból, hogy ha valamelyik esemény (0 és 1) bekövetkezésének valószínűsége előre tudottan nagyobb, mint 50 %, azaz P>0.5, akkor csökken a bizonytalanság a várható eseménnyel kapcsolatban, így csökken a hír entrópiája is. Így tehát ha P(1)=0.2, akkor P(0)=0.8, azaz 80%-ban előre bizonyosak vagyunk, hogy a „0” lesz a kimenet (esemény). Ezért az erről „szóló hír” entrópiája csupán 0.72 bit. A forrás információtartalma akkor lesz maximális, ha semmilyen előzetes ismeretünk nincsen arról, hogy melyik jelszint előfordulása valószínűbb. Ugyanakkor a táblázat első oszlopában látszik, hogy amennyiben az 1 jel egyáltalán nem fordulhat elő, azaz P(1)=0, akkor a 0 jel valószínűsége 100 %-os, azaz P(0)=1. A hírtartalom mindkét jelre vonatkozóan nulla – amit az eddigi fejtegetések alapján már sejtettünk is.

Maximális lesz a hír entrópiája, azaz 1 bit, ha mindkét esemény bekövetkezési valószínűsége azonos.

Az értéktáblázat alapján készített diagram látható a következő ábrán.

A maximális hír entrópia természetesen nem csak értéktáblázattal mutatható ki. A függvényvizsgálat szabályi szerint kereshetjük az átlagos hírtartalom szélsőértékét, és első lépésben a differenciálási szabályok miatt áttérünk természetes logaritmusra:

Az utolsó sor egyszerűbben is írható:

A függvénynek szélső értéke van, ha

Ez csak akkor lehetséges, ha a zárójelben lévő kifejezés lesz zérus, így felírható, hogy

Befejezésként ellenőrizzük, hogy maximum, vagy minimum helyről van szó? A második derivált P₁=0.5 értékre negatív lesz, tehát maximumot találtunk.

Nagyon fontos az is, hogy a hír és az információ fogalmai ne keveredjenek! A „hír” kifejezés hétköznapi használata miatt gyakran téves képzetek keletkezhetnek.

Műszaki értelemben a hír megléte még nem feltétlenül jelenti azt, hogy annak van információtartalma is. (Némi szarkazmussal, persze ez a megállapítás tágabb értelemben is igaz lehet.)

Először tehát néhány fontos információelméleti fogalom rövidített, tömör leírása következik:

A jel időben és/vagy térben lezajló fizikai, vagy kémiai folyamat, információhordozó.

A műszaki „hír” időben és/vagy térben korlátozott jel.

A hírkészlet az összes lehetséges hír.

Az információ a bizonytalanság mértéke, amelyet a hír megszűntet.

A mérés és a mérési hiba entrópiájának objektív meghatározása lehetővé teszi, hogy a mérési tevékenység minősítésével kapcsolatban megalapozott elméleti megállapításokat tehessünk. Ezek alapja a mérés információelméleti modellje.

A méréssel szerezhető információmennyiség meghatározásához támaszkodnunk kell a mérés valószínűségelméleti modelljénél megismert à posteriori ismeretek matematikai megfogalmazására, amit az f(a|b) feltételes sűrűségfüggvény ír le. Ennek a sűrűségfüggvénynek a felhasználásával meghatározható a valószínűség, és az előzőekben bemutatott összefüggésekkel az entrópia is. Az à posteriori sűrűségfüggvény segítségével tulajdonképpen a mérési hiba írható le, hiszen egy adott, megfigyelt (megismert) „b” értékhez rendeli hozzá a mérendő „a” jellemző sűrűségfüggvényét.

A mérendő jellemzőt ebben a modellben a méréstechnikában szokásos módon „a” helyett „x” és a megfigyelt mennyiséget „b” helyett x_m” betűvel jelöljük. A mérési hiba entrópiáját jelöljük H(x|x_m) és a mérendő jellemző sűrűségfüggvényével kiszámítható à priori (előzetes) ismerethiányunk entrópiáját H(x) függvénnyel.

A mérés eredményeként megkapható „Q” információmennyiség számítása ezekkel:

A mérés információtartalmának számítását egy egyszerű példán lehet illusztrálni. Legyen a csupán egy digitális kijelzésű mérőműszerről szó, amelynek bizonytalansága a teljes mérési tartomány bármely részén egyformán 2Δ (±Δ). A mérés előtt a mérendő mennyiségről csak annyi információval rendelkezünk, hogy az [x₁; x₂] tartományba esik.

Az entrópiák számításához szükséges sűrűségfüggvények ezek alapján megadhatók, ezt mutatja a következő ábra.

Az ábrák alapján a sűrűségfüggvények megadhatók, hiszen egyenletes eloszlásról van szó:

Az entrópiák kiszámításához a valószínűségekre van szükség. Ismeretes a valószínűségszámításból, hogy:

Ezzel meghatározható a mérés előtti bizonytalanság entrópiája H(x) (az ismerethiány) entrópiája:

Továbbá a hiba entrópiája H(x|x_m):

Ezekkel azután a méréssel szerezhető információmennyiség (entrópia) a következő lesz:

Ha az így meghatározott entrópiát konkrét mérőműszer esetére alkalmazzuk, akkor a legegyszerűbb egy digitális kijelzésű finomtapintóra gondolni.

Legyen az egyszerű számítás miatt a műszer mérési (kijelzési) tartománya ±64 μm, a kijelzés bizonytalansága pedig ±1 μm. Ezekkel az értékekkel a méréssel szerzett információ mennyisége 6 bit:

Már az információelméleti modell bevezető soraiban jeleztük, hogy az ilyen jellegű mérési eredmény interpretálása önmagában nem egyszerű. A modell nyújtotta lehetőség inkább abban rejlik, hogy mérőeszközöket és mérőrendszereket egymás között a matematika eszköztárával objektíven össze tudjunk hasonlítani. Akkor ugyanis, ha olyan mérőműszert választunk, amelynek mérési tartománya változatlan mérési bizonytalansággal már 200 mm lesz, ami egyébként az előzőhöz képest egy elég magas ár-kategóriájú mérőműszert jelent, a fenti információnyereség már 16,7 bit lesz.