Budapesti Műszaki és Gazdaságtudományi EgyetemMéréstechnika és Információs Rendszerek Tanszék

Szondázás alapú diagnosztika 2.

Autonóm és hibatűrő információs rendszerek

Kocsis Imreikocsis@mit.bme.hu

2013.09.23.

Motiváció Rish et al.: Adaptive Diagnosis in Distributed Systems

Szonda általo A rendszer állapotáról felfedetto Többletinformációo Részleges szondahalmazhoz képest

Mérőszám?!?

A kérdés értelmes előválasztotto Szondák (valvált.-vektor; preplanned probing)o és szondakimenetek (értékek; active probing)esetén is.

Alapvető fogalmak Valószínűségi változók

o Rendszerállapoto Szondák (kimenete)

Entrópia

Entrópia f diszkrét értékkészletű val.vált. az valószínűségi

tér felett.o ! A „mély” matematikai alapoktól itt eltekintünk.

Mértékegység: nat, bit Valószínűség-függvénnyel (probability mass

function):

Entrópia P(f) legyen egy val.vált., ami „f kimeneti

eseményeit lecseréli azok valószínűségére”

Másképp: változó kimenetéhez kapcsolt információtartalom/”meglepőség” (surprisal) várhatóértéke

Entrópia „Cinkelt érme”

Empirikus eloszlásból közelítünk

library('infotheo')library('ggplot2')

coinentropy <- function(x){ natstobits(entropy(c(rep(0, x*10000),rep(1, (1-x)*10000)), method=‚emp’)) }

coin0prob <- seq(from=0, to=1, by=0.01)coinentropyvals <- sapply(coin0prob, coinentropy)qplot(coin0prob, coinentropyvals)

Entrópia

0.00

0.25

0.50

0.75

1.00

0.00 0.25 0.50 0.75 1.00coin0prob

coinen

tropyvals

Entrópia A „bizonytalanság” fogalmat ragadja meg

o Egyik olvasata: „kimenetek meglepőségének várhatóértéke”

Logaritmus: független bizonytalanságok „additívak”

Entrópia X és Y diszkrét értékkészletű val.vált. ugyanazon

val. tér felett.

Feltételes entrópia Definiáljuk így:

Felírható így is:

Azaz: entrópiák „átlaga” a felt. valószínűségekre nézve

Kölcsönös információ Az (átlagos) kölcsönös információ:

„Egymással kapcsolatban hordozott információ”

Véletlen minták kölcsönös információjarn1 <- unlist(discretize(rnorm(100)))rn2 <- unlist(discretize(rnorm(100)))

myrn <- data.frame(rn1=rn1, rn2=rn2)plot(myrn)

2 4 6 8 10

24

68

10

rn1

rn2

Véletlen minták kölcsönös információja

Kölcsönös információ: ‚iris’

Kölcsönös információ: ‚iris’

2 4 6 8 10 12

1.0

1.5

2.0

2.5

3.0

unlist(discretize(iris$Petal.Length))

iris$

Spe

cies

Kölcs. inf: 1.41 bit

Kölcsönös információ: ‚iris’

2 4 6 8 10 12

1.0

1.5

2.0

2.5

3.0

unlist(discretize(iris$Sepal.Width))

iris$Spe

cies

Kölcs. inf: 0.44 bit

Kapcsolatok

Szondakiválasztás A leginformatívabb szonda:

Igaz a következő:

Azaz a második tagot kell minimalizálnunk!o ~ a rendszer állapotával kapcsolatos (maradék)

bizonytalanság

Szondakiválasztás Kifejtve:

Figyeljük meg:o A priori eloszlás kell X-reoMeg eloszlás minden másra…oMohó algoritmus O(r2) hajtja végre

Egyszerűsített alak Max. egy hiba Minden állapot azonos valószínűséggel

o (???)

Figyeljük meg: az (Y,T) „események” partícionálják X-eto Egy kimenettel inkompatibilis állapotok

„kinullázódnak” a közös valószínűségben A szumma „átsorrendezhető”

Egyszerűsített alak Legyen m az állapotok száma; ni az indukált dekompozíció i. részhalmazának

elemszáma

Természetes interpretáció: a további szükséges szondák számának várhatóértékeo Partíciónként legalább log(ni) további szonda kell

Aktív szondázás

Ha nincs hiba?

Hatékony implementáció: Bayes hálók

Optimális hatásos szondahossz (illusztráció)