Fejmodellek továbbfejlesztése

Pozsgay Tamás

Diplomaterv védésPázmány Péter Katolikus Egyetem

Információs Technológiai Kar2007

A probléma

� Felkértek egy siketek kommunikációját segítő

eszköz kifejlesztésére

� A siketek és nagyothallók kommunikációja:

interperszonális

� A szájról olvasás feltétele nem mindig adott

� Minden nap számos nehézséggel találják

szembe magukat

A PPKE-n futó projekt

� Ezen próbál segíteni a mi, hordozható

eszközön futó alkalmazásunk

� Szóba jöhető hordozható eszközök:

Mobiltelefon, PDA

� Text-to-Animation konverzió

� Beszédhangból szájmozgás képét kirajzoló

rendszert terveztünk

A rendszer felépítése

Az MPEG-4 Működése

Kódoló Dekódoló

Adat formátum megadása

Az adat formátum

Nevezetes paraméterek, pontok

� FDP – Face Definition

Parameter

� FP – Feature Point

� FAP – Facial Animation

Parameter

� FAPU – Facial

Animation Parameter

Unit

Lucia

� Az Interneten talált ingyenesen

letölthető 3D-s fejmodell

� OpenGL-lel rendelkező MPEG4

szabványos modell

� Szerkezete: több ezer rács-

pontból épül fel a háló

� A Feature Point-ok mozgatása

az MPEG4 szabvány

segítségével történik

DE! Lucia nem tökéletes

� Luciának sok hibáját

fedeztük fel

� Az általunk készített

rendszerben nem az

MPEG-4 mozgató

eljárásait használjuk,

hiszen a jeltolmács

szájmozgásából

nyerjük a jelet

Saját feladatom

� A Feature Point-ok mozgatását vizsgáltam, és

a meglévő peremfeltételeken módosítottam

� Ennek érdekében egy magasabb

absztrakciós szintű modellt alkottam meg

� Előnyei:

� egyszerű, átlátható

� könnyen használható

� jól lehet vele modellezni és tesztelni a Lucia hibáit

Első lépés

� Felvettem egy NxN-es síkot

� Ezen vizsgáltam az FP-k

elmozdulását

� Az általam megállapított

határok:

� Elméleti: 80%

� Gyakorlati: 60%

Következő kísérlet

� A meghajlított hálón felvettem egy szakadást, a száj animálásának a céljából

� A száj környékén nem használhatók a hatókörök

� Javaslatom: meg kell nagyobbítani a hatókö-röket a szájnál és környékén

� Egy Feature Point maximális elmozdulása

megszabja, hogy mekkora a legkisebb hatókör

amit hozzá lehet rendelni

� A Lucia összes FP-jére el kell végezni a

vizsgálatot: jól vannak-e beállítva a hatókörök

és peremfeltételek?

Az eredmények visszaültetése a Luciába

Videó a megfelelő beállításokkal

A skálázás megoldása

� Észrevettem, hogy a mozgatandó pontokat

az elmozdulásuk nagysága szerint sorba

rendezem, akkor jelentősen javul a rajzolás

minősége.

� Ezzel megoldható a skálázás

� Segíti a kisebb teljesítményű gépeken (pl.:

mobil) az alkalmazás futását

Egy gyakorlati alkalmazás

Konklúzió

� El kell végezni más fejmodelleken is a

peremfeltételek manuális beállítását

� Több olyan szöveg tesztelésére van szükség (a

jeltolmácsok bevonásával), amely a magyar

nyelvben előforduló vizémák szerint kiegyenlített

� E két vizsgálat eredményétől függően kell

eldönteni, hogy az általam javasolt módosítások

megfelelőek-e?

Köszönöm a figyelmet!

� Teljesen általánosan

csak akkor lehet a

megfelelő beállításokat

alkalmazni, ha a

fejmodell paraméterei

az MPEG-4 egységek

segítségével vannak

megvalósítva

Az MPEG-4 működése

Érzelmet kifejező arc

Közömbösarc