Post on 15-Feb-2018
Elektroniczne systemy percepcji Elektroniczne systemy percepcji otoczenia dla niewidomychotoczenia dla niewidomych
Paweł Strumiłło, Paweł Pełczy�skiPaweł Strumiłło, Paweł Pełczy�ski
Instytut ElektronikiInstytut ElektronikiPolitechniki ŁódzkiejPolitechniki Łódzkiej
22
Zmysły człowiekaZmysły człowieka
�� wzrok (wzrok (8080--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak
Muzeum Cluny, Pary�Muzeum Cluny, Pary�
33
�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)
Zmysły człowiekaZmysły człowieka
44
�� wzrokwzrok�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak
Kora słuchowa
Kora wzrokowa
� W. Duch
Zmysły człowiekaZmysły człowieka
55
�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak
Zmysły człowiekaZmysły człowieka
66
Muzeum Cluny, Pary�Muzeum Cluny, Pary�
�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak
Zmysły człowiekaZmysły człowieka
77
Muzeum Cluny, Pary�Muzeum Cluny, Pary�
6 zmysł płci pi�knej6 zmysł płci pi�knej
The Lady and the Unicorn Tapestry: The Lady and the Unicorn Tapestry: ""To My Only DesireTo My Only Desire" "
88
Zmysł wzrokuZmysł wzroku
W korze wzrokowej s� rozpoznawane:
kkss�������� aałł��������yy, , kkoolloorryy,oraz
ruchruch, , poło�eniepoło�enie ii odległo��odległo��siatkówka
125××××106 receptorów
99
Widzenie stereoskopoweWidzenie stereoskopowepostrzeganie odległo�cipostrzeganie odległo�ci
K�t zbie�no�ci gałek ocznychK�t zbie�no�ci gałek ocznych DysparycjaDysparycja w widzeniu obuocznym w widzeniu obuocznym
~10 m
1010
Postrzeganie odległo�ciPostrzeganie odległo�ciruchruch
1111
Postrzeganie odległo�ciPostrzeganie odległo�ciruchruch
1212
Postrzeganie odległo�ciPostrzeganie odległo�cizłudzenia optycznezłudzenia optyczne
Znaczenie kolorów w Znaczenie kolorów w postrzeganiu odległo�cipostrzeganiu odległo�ci
A A B B
Znaczenie perspektywy Znaczenie perspektywy w postrzeganiu odległo�ciw postrzeganiu odległo�ci
1313
Postrzeganie odległo�ciPostrzeganie odległo�cizłudzenia optycznezłudzenia optyczne
� Denis Meredith
1414
Wady, choroby i uszkodzenia wzrokuWady, choroby i uszkodzenia wzroku
Wady:Wady:
krótkowzroczno��nadwzroczno�� astygmatyzm Daltonizm zez
Choroby:Choroby:
za�majaskrazapalenie (zanik) nerwu wzrokowego zwyrodnienia siatkówki
1515
Choroby wzrokuChoroby wzroku((choroba zwyrodnieniowa plamki �ółtej)choroba zwyrodnieniowa plamki �ółtej)
��OpticaldiagnosticsOpticaldiagnostics
�������� � � ��� � � � �� � � �� � � � � � � � � � � ��� � ���� ��
1616
Niewidomi i Niewidomi i słabowidz�cysłabowidz�cy w liczbachw liczbach
W Polsce według publikacji Głównego Urz�du Statystycznego z 1995 r. - 507 tys. osób ma znacznie osłabiony wzrok.
Szacuje si�, �e w USA liczba osób niepełnosprawnych wzrokowo wzro�nie do 5 milinów!
Narastaj�cy problem społeczny
Narastaj�cy Narastaj�cy problem społecznyproblem społeczny
1717
Nowe metody leczenia (inwazyjne)Nowe metody leczenia (inwazyjne)
�� Terapia genowaTerapia genowa ––wcze�niejsza diagnozawcze�niejsza diagnozai terapia dziedzicznych chorób i terapia dziedzicznych chorób oczu (np. zwyrodnienie oczu (np. zwyrodnienie plamki �ółtej)plamki �ółtej)
�� Protezy elektroniczneProtezy elektronicznesiatkówkisiatkówki
�� Stymulacja kory wzrokowejStymulacja kory wzrokowej
���� � �� � ��� � �� � � � � �� � ��! � � �� � "�� � # � � �$ % ����� � � � �
2mm
1818
Stymulacja kory wzrokowejStymulacja kory wzrokowej
1919
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w percepcji otoczeniaw percepcji otoczenia
�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak
Pismo Braille
����Natural History Museum
2020
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�
28000 POI w Polsce(ang. Points of Interest)
Nawigacja w Nawigacja w terenie (GPS)terenie (GPS)
55--10 m10 m
PercepcjaPercepcjaotoczeniaotoczenia
100 m!100 m!
Dokładno��: decymetry
33--5 m5 m
Detekcja przeszkódi rozpoznawanie sceny
2121
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�
System elektronicznych znaczników reprezentuj�cych obiektySystem elektronicznych znaczników reprezentuj�cych obiekty(RFID, (RFID, BerkeleyBerkeley motesmotes) )
RF
2222
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�
Laska ultrad�wi�kowa(UltracaneTM)
LasercaneTM
2323
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�
Kod d�wi�kowy:Kod d�wi�kowy:
•• wysoko�� tonu wysoko�� tonu –– poło�enie obiektupoło�enie obiektu
•• gło�no�� gło�no�� –– jasno�� obiektujasno�� obiektuw obrazie w obrazie
słuchsłuch
2424
Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�
Punkty emituj�wirtualne �ródła d�wi�ku
2525
Idea prezentacji d�wi�kowej otoczeniaIdea prezentacji d�wi�kowej otoczenia
Postrzeganie wirtualnych �ródeł d�wi�ku, Postrzeganie wirtualnych �ródeł d�wi�ku, poł�czonych rzeczywistymi obiektamipoł�czonych rzeczywistymi obiektami
2626
Przestrzennaprezentacjad�wi�kowa
Ud�wi�kowienie obiektów
z otoczenia
Wytworzenie obrazu
trójwymiarowego
System d�wi�kowej prezentacji System d�wi�kowej prezentacji otoczenia dla osób niewidomychotoczenia dla osób niewidomych
2727
( )Zx
X −= λλ
1
( )Zy
Y −= λλ
1
12 xxB
Z−
−= λλ
Idea rekonstrukcji sceny z Idea rekonstrukcji sceny z zastosowaniem stereoskopiizastosowaniem stereoskopii
��������
����
� ����������
xy
�������
y
�������
(x2,y2)
x
(x1,y1)
2828
Poszukiwanie odpowiadaj�cych sobie punktów Poszukiwanie odpowiadaj�cych sobie punktów w obrazach stereoskopowychw obrazach stereoskopowych
ddysparycjadysparycja
2929
Przetwarzanie obrazów Przetwarzanie obrazów stereowizyjnychstereowizyjnych
Wytworzenie obrazu
trójwymiarowego
Obraz lewyObraz lewy Obraz prawyObraz prawy
Obraz dysparycjiObraz dysparycjiw w pseudokolorachpseudokolorach
Wydzielone Wydzielone najbli�sze obiektynajbli�sze obiekty
3030
Przetworzenie obrazu dysparycji na Przetworzenie obrazu dysparycji na system d�wi�kówsystem d�wi�ków
Wej�ciowy obraz dysparycji po filtracji
Segmentacja wydzielaj�ca z obrazu najbli�sze obiekty
Przypisanie sygnałów d�wi�kowych do otrzymanych segmentów
3131
Hipotezy badawczeHipotezy badawcze
� Obiekty przestrzenne mo�na kodowa� strumieniami d�wi�kowymi
� Cechy pojedynczego obiektu mo�na kodowa� cechami wielocz�stotliwo�ciowego strumienia d�wi�kowego (podobnie jak w mowie ludzkiej)
� Obiekty d�wi�kowe (ich ruch) mo�na lokalizowa� w przestrzeni wykorzystuj�c charakterystyki HRTF (ang. Head Related Transfer Functions), efekt 3D audio
3232
Hipotezy badawczeHipotezy badawcze
P. Pełczy�ski
3333
System System stereowizyjnystereowizyjny
Kamery cyfrowe doł�czone do komputera poprzez interfejs IEEE-1394
Głowica do kalibracji kamer
3434
Realizatorzy projektuRealizatorzy projektu
Zakład Elektroniki MedycznejZakład Elektroniki MedycznejZakład Układów Elektronicznych i TermografiiZakład Układów Elektronicznych i Termografii
we współpracy z:we współpracy z:
łódzkim odziałem Polskiego Zwi�zku Niewidomychłódzkim odziałem Polskiego Zwi�zku Niewidomych
orazoraz
O�rodkiem SzkolnoO�rodkiem Szkolno--Wychowawczym Wychowawczym dla Dzieci Słabo Widz�cych w Łodzidla Dzieci Słabo Widz�cych w Łodzi
3535
Podzi�kowaniaPodzi�kowania
Prezentowane prace s� realizowane w ramach Prezentowane prace s� realizowane w ramach projektu badawczego Ministerstwa Nauki projektu badawczego Ministerstwa Nauki i Informatyzacji pt.:i Informatyzacji pt.:
„„Zintegrowany system wspomagaj�cy Zintegrowany system wspomagaj�cy osob� niewidom�, z d�wi�kowym osob� niewidom�, z d�wi�kowym
interfejsem u�ytkownikainterfejsem u�ytkownika””