elméleti
Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II: Sampling Measuring priors Neural representation of probabilities Structure learning Vision II Decision making and reinforcement learning
megfazas kohoges valoszınuseg
1 0 0.011 1 0.040 0 0.8550 1 0.095
jelölések
valószínűségi változók
valószínűségi változók lehetséges értékei
jelölések
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04
P (M,K) =
P (m ^ k) = P (m, k) = 0.04
P (M = m,K = k) = P (m, k) 6= P (M,K)
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
jelölések
P (M,K) =
P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04
probability mass function
• az igazságtáblázatot függvényként reprezentáljuk
MK
P
m¬k
0.01
mk
0.04
¬m¬k
0.85
5¬m
k0.09
5
P (M,K) =
összegszabály
P(“köhögök”)
P(“köhögök és meg vagyok fázva”) vagy
P(“köhögök és nem vagyok megfázva”)
marginális valószínűség, “vagy”-szabály
P (x) =X
y02YP (x, y0)
P (k) = P (k,m) + P (k,¬m)
szorzatszabályP (m, k) = P (m)P (k|m)
lánc-szabály, “és”-szabály
P(“meg vagyok fázva”) és P(“köhögök ha meg vagyok fázva”)
P(“meg vagyok fázva és köhögök”)
P (m, k)
P (m)= P (m|k)
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
szorzatszabály
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k)
P (m)= P (m|k)P (m, k) = P (m)P (k|m)
}XP (·) = 1
P (m,¬k) + P (m, k)
const= 1
const = P (m)
szorzatszabály
valószínűségszámítás
P (x) =X
y02YP (x, y0)
P (x, y) = P (x|y)P (y)
P (X,Y )
probabilisztikus modell
P (x, y)
P (y)= P (x|y)feltételes valószínűség
P (y|x)P (x)
P (y)= P (x|y)Bayes szabály
P (D,G|H, I) =
valószínűségszámítás
PA,B,C,E,F P (A,B,C,D,E, F,G,H, I)
PA,B,C,E,F,D,G P (A,B,C,D,E, F,G,H, I)
P (D,G|H, I) =
P (A,B,C,D,E, F,G,H, I)
teljes modell
P (D,G,H, I)
P (H, I)(feltételes valószínűség)
mintavételezés• egy adott probabilisztikus modellhez készíthető* mintavételező
gép • kimenetei (minták) lehetséges világok • a lehetséges világok relatív gyakoriságai tartanak a
valószínűségeikhez • különböző trükökkel lehet mintát venni külön a változókból
(marginális eloszlásból) vagy a feltételes eloszlásokból is
M K P
m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095
P (M,K) =
• nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög
problémaMi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?
P (X = 1.7) = 0
P (X = 1.737894613982395) = 0
pmf(x)
x
probléma
x1.5 2
Mi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?
P (X = 1.7) = 0
P (X = 1.737894613982395) = 0
pdf(x)
probability density functionZ b
apdf(x) dx = P (a < x < b)
sűrűségfüggvény
P (x) =X
y02YP (x, y0)
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (X,Y )
probabilisztikus modell
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (X,Y )
probabilisztikus modell
P (x) =
Z
YP (x, y) dy
X
y
!Z
dy
P (x, y) = P (x|y)P (y)
valószínűségszámítás
P (x, y)
P (y)= P (x|y)
P (y|x)P (x)
P (y)= P (x|y)
P (X,Y )
probabilisztikus modell
feltételes valószínűség
Bayes szabály
P (x) =
Z
YP (x, y) dy
összefoglalás• ismerjük a valószínűségi kalkulus két szabályát, a szorzatszabályt és
az összegszabályt • tudjuk mit jelent mintákat venni egy eloszlásból (sampling) • ezeket ki tudjuk terjeszteni folytonosan sok értékű változókra • a valószínűségszámításban már mindent* tudunk, most már csak
kényelmi** fogalmakat vezetünk be • * : azért nem mindent, mert ha (a valós számokhoz hasonlóan)
más matematikai objektumokra is ki szeretnénk terjeszteni (pl val. változók amelyeknek a lehetséges értékei is valószínűségi eloszlások vagy végtelen sok val. változó), az nem mindig triviális.
• mértékelmélet • ** : néha a kényelmi megoldások teszik lehetővé hogy
praktikusan is ki lehessen számolni valamit, ne csak elméletben (exponenciális komplexitás)
függetlenség
ha megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén • az előbb 4-est dobtunk. Mit fogunk most dobni?
x ? y
P (d1|d2)P (d2) = P (d1)P (d2)
P (d1 + d2|d2)P (d2) 6= P (d1 + d2)P (d2)
• az előbb 4-es dobtunk, most dobunk mégegyet, mi lesz a kettő összege?
p(x, y) = p(x)p(y)
p(x|y) = p(x)
ha már tudjuk hogy “z”, és megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén
• képeket nézek, a kérdés hogy fogok-e látni snowboardosokat. Számít hogy látok-e sífelvonókat?
feltételes függetlenség
• Ha tudjuk hogy síterepen készült képeket nézünk akkor is számít hogy látok-e sífelvonókat?
x ? y | z
• a függetlenség és a feltételes függetlenség nem implikálják egymást, erre majd látunk több példát
p(x|y, z) = p(x|z)p(x, y|z) = p(x|z)p(y|z)
propozicionális logika
elsőrendű logika
λ-kalkulus
igazságtáblázat joint probability table
UTMprobabilisztikus programnyelvek
i. grafikus modell
univerzalitás
X1 ? X3, X4 | X2
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
X2 ? X4 | X3
X3 ? X4
= P (X1|X2) P (X2|X3)P (X3)P (X4)
X4 X3
X2
X1
P (X1, X2, ..., Xn) =nY
i
P (Xi | Parent(Xi))
lánc-szabály
P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)
= P (X1|X2) P (X2|X3)P (X3)P (X4)
X4 X3
X2
X1
P (X1, X2, ..., Xn) =nY
i
P (Xi | Parent(Xi))
grafikus modellek• az eloszlás faktorizálódik a gráf szerint • a gráf az eloszlás függetlenségi struktúráját kódolja
• a függetlenségi relációk leolvashatóak a gráfról
• hogyan?
hatásterjedés
nehez = sample(p(nehez))
intell = sample(p(intell))
pont = sample(p(pont | nehez, intell))
felv = sample(p(felv | intell))
jegy = sample(p(jegy | pont))
d-szeparáció tétel• az előbbi kis gráfokból összekombinálható az összes lehetséges
függőségi reláció
• azt akarjuk leolvasni hogy u és v változók függetlenek-e különböző m megfigyelések mellett
• u és v között minden lehetséges útra ellenőrizzük hogy blokkolva van-e, feltéve hogy megfigyeljük m-et
• ha minden út blokkolva van, akkor függetlenek (feltéve m)
grafikus modell építés
Nehéz Intell.
ZH pont
Felv. pont
ZH jegy
házi feladat
P (I) = N (I|µint,�int)
µint �int
Zmax
P (Z) = Binomial(Z|Zmax, sig(I �N))
µ �
P (N) = N (N |µ,�)
nehez = normal(mu,sigma)
intell = normal(mu_i,sigma_i)
pont = binomial(z_max,sig(intell-nehez))
felv = binomial(z_max2,sig(intell))
jegy = bin(pont,5)
grafikus modell építés
összefoglalás
• tudjuk mit jelent a függetlenség probabilisztikus modellekben
• az irányított grafikus modellek az eloszlás függetlenségi struktúráját jelenítik meg
• a gráf a teljes eloszlás egy faktorizációját adja meg, amelynek segítségével kevesebb számmal is meg lehet adni az eloszlást
• ezt kihasználva hatékonyabb inferencia algoritmusokat lehet kitalálni
• a gráfról a függetlenségi relációkat a d-szeparáció tétel alapján le tudjuk olvasni
• a grafikus modell abban is segít hogy egy intuitívan ismert rendszerből probabilisztikus modellt tudjunk felírni
mi az amit megfigyelünk?• fotonok becsapódása • levegő gyors rezgései • hőmérséklet ingadozása • bizonyos molekulák
mire vagyunk kíváncsiak?• milyen tárgyak vannak körülöttem • milyen messze • kik vannak körülöttem • mire gondolnak • mik a fizika törvényei
inferencia
P (o|h)
P (h|o)
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
P (o|h)
P (h|o)
• forward probability • generatív irány • prediktív irány • “szimulátor”
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
P (o|h)
P (h|o)
• forward probability • generatív irány • prediktív irány • “szimulátor”
• inverse probability • Bayes-i inferencia • modell inverzió
ha ilyen lenne a világ akkor mit figyelnénk meg?
ha ezt figyeljük meg akkor milyen a világ?
likelihood} }prior}posterior
P (h|o) / P (o|h)P (h)
megfordítottuk a generatív modellt
miért kell a prior?
meg
fázá
s tb
kézt
örés
milyen gyakori a ?
megfázás
tb
kéztörés
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
ha lenne a betegség attól köhögnék?
megfázás
tb
kéztörés
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
meg
fázá
s tb
kézt
örés
meg
fázá
s tb
kézt
örés
valószínűleg megfáztam
P (illness|symptom) / P (symptom|illness)P (illness)
meg
fázá
s tb
kézt
örés
image data
hipotézisek amelyekre magas a prior
hipotézisek amelyekre nem 0 a likelihood
hipotézis tér: minden lehetséges 3D drótváz
image data
hipotézisek amelyekre magas a prior
hipotézisek amelyekre nem 0 a likelihood
posterior
hipotézis tér: minden lehetséges 3D drótváz
történet 1Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna.
Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna.
Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek.
történet 2
történet 1
Megette a férfi a hamburgert?
Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek.
történet 2
történet 1Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna.
-“Elnézést, kártyával lehet fizetni?” -“Persze” -“Egy ászból és királyból tud visszaadni?”
humor = téves inferencia felfedezése?
[Hurley et al 2011]
• a látótér határai nem látszanak
• csak középen látunk élesen (fovea)
• vakfolt • a szakkádoktól nem
rázkódik a világ
környezet
érzékelés
cselekvésdöntéshozás izomvezérlés
múltbeli események
világ tanult szabályosságai
jelenlegi megfigyelésből kikövetkeztetett
információ
környezet
érzékelés
cselekvés
múltbeli események
világ tanult szabályosságai
jelenlegi megfigyelésből kikövetkeztetett
információ
döntéshozás izomvezérlés
percepció(észlelés)
Készíts generatív valószínűségi modellt, ami autógyártók éves bevételének jóslására használható (más témát is választhatsz).
• válaszd ki a fontos változókat • a változók közötti függetlenségi viszonyok alapján rajzolj
grafikus modellt • válassz diszkrét vagy folytonos eloszlásokat a szükséges
marginálisok és kondicionálisok formájául (https://en.wikipedia.org/wiki/List_of_probability_distributions)
• gondolkodj el rajta, hogy mik azok a feltételezések, amiket beleépítettél a modellbe, de sejthetően nem egyeznek a valósággal
1. házi feladat
[Kulkarni et al 2014] Kulkarni, Tejas D., et al. "Inverse graphics with probabilistic CAD models." arXiv preprint arXiv:1407.1339 (2014).
referenciák
https://www.youtube.com/watch?v=G-lN8vWm3m0McGurk effect (video)
Hurley, Matthew M., Daniel Clement Dennett, and Reginald B. Adams. Inside jokes: Using humor to reverse-engineer the mind. MIT press, 2011.
[Hurley et al 2011]
Top Related