Hatékony H.264/AVC implementáció többkamerás videofelvételek kódolásához

Daróczy Bálint V.infóLustyik Tamás V.infó

Konzulens: Dr. Lois László

Bevezetés

A videókódolás napjainkban:hibrid, blokkalapú megoldások

Többkamerás felvételek

Ugyanaz a jelenet, de más a nézőpont A kamerák parabola-elrendezésben

Többkamerás felvételek

Speciális megjelenítő eszközök

Holografikus kijelző A képpontok iránytól

függően sugároznak

A többnézetű kódoló

Többnézetű == több egynézetű? Nézetek egymástól független kódolása Jól párhuzamosítható Nem különbözne a hagyományos

videokódolástól

Ennél sokkal jobbat is lehet!

A többnézetű kódoló

Együtt kódolva hatékonyabb

Redundancia-csökkentés Nézetek között is van korreláció

A szomszédos kamerák képei hasonlítanak Ezt csak akkor tudjuk kihasználni, ha a

feldolgozóegységek kapcsolatban állnak Dekódolt képek megosztása

Interpredikció Hagyományosan időirányú becslés, de

nézetirányban is használható! Akár teljesen interprediktált nézetek

Nézetek csoportosítása referencia: függetlenül kódolt, nem

használ másik nézetből vett adatot

nem referencia („köztes”): saját és referencianézet adatokat is felhasznál

Ütemezés Nézetek kódolása – de melyikkel

kezdjük?

Megszorítás: a köztes nézetek függhetnek bizonyos referenciáktól

A köztesek feldolgozását meg kell, hogy előzze a megfelelő referenciák kódolása Előre meghatározott sorrend Csak függőségi kényszerek

A H.264 kibővítése Cél: az összes nézet egy bitfolyamban

Hogyan tudjuk szétválogatni?

Megoldás: alagutazás Beágyazott csomagok Nézetinformáció Szabványos bitfolyam

A H.264 kibővítése További nézetparaméterek jelzése

View Parameter Set: egy nézet Cluster Parameter Set: a teljes kamerafürt

Kompatibilitási mód Fekete-fehér – színes tévé Egyetlen kitüntetett nézet HRD által dekódolható

Predikciós struktúrák GOP kiterjesztése

Idő- mellett nézetirányú predikció Egyszerre több referenciakép

Referencialista felépítése Referencianézetnél: saját múltbeli képek Köztes nézetnél: saját múltbeli +

szomszédos referenciák aktuális képe

Predikciós struktúrák

Predikciós struktúrák Referencialista felépítése

Mérési eredményekBitsebesség függése a referencianézetek számától (11 nézet)

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

11 6

Nézetszám

Bit

seb

essé

g [

kbp

s]

Mérési eredményekA nézetközi predikció hatása a bitsebességre (a QP függvényében)

0

5000

10000

15000

20000

25000

36 30 24 18

QP

Bit

seb

essé

g [

Kb

ps]

Nézetközi predikcióval kódolt videó

Önmagában kódolt videó

Mérési eredményekA bitsebesség a QP függvényében (11/3 nézet)

0

2000

4000

6000

8000

10000

12000

14000

24 30 36 42

QP

Bit

seb

essé

g [

kbp

s]

Mérési eredményekA PSNR változása egynézetű és többnézetű kódolónál (QP=30)

30

32

34

36

38

40

42

1 2 3 4 5 6 7 8 9 10 11

Nézet

PS

NR

[d

B] Egynézetű I

Egynézetű P

Többnézetű I

Többnézetű P

Mérési eredményekA PSNR változása a nézetek térbeli helyzete szerint

20

25

30

35

40

45

50

1 2 3 4 5 6 7 8 9 10 11

Nézet

PS

NR

[d

B] QP 18

QP 24

QP 30

QP 36

referencianézetekreferencianézet

Mérési eredményekA P képek PSNR-jének változása a nézet és a QP függvényében

10

15

20

25

30

35

40

1 2 3 4 5 6 7 8 9 10 11

Nézet

PS

NR

[d

B] QP 24

QP 30

QP 36

QP 42

Továbbfejlesztési irányok

Mozgásbecslés Gyors Mozgásbecslés (FME)

algoritmusok Megvilágítás kompenzáció

Predikciós struktúrák

Köszönjük a figyelmet!

Köszönjük továbbá… Edward A. Murphy

Ami elromolhat, az el is romlik Joseph Heller

A 22-es mb_type csapdája Karsten Sühring és a JM

„Legátláthatatlanabb forráskód” különdíj Microsoft Visual C++ Compiler brigád

„Legsztochasztikusabb fordító” díj BitComet fejlesztőgárda