Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe...
Transcript of Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe...
![Page 1: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/1.jpg)
Sensorimotor Öğrenme: İnsan-robot paylaşımlı kontrol için insan adaptasyonu
Kuzeybatıda Yapay Öğrenme Yaz Okulu 2019
24-28 Haziran 2019
Koç Üniversitesi, İstanbul
Erhan Oztop
Bilgisayar Mühendisliği Bölümü
Özyeğin Üniversitesi
Erhan Oztop, [email protected]
![Page 2: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/2.jpg)
Gelecek böyle olabilir mi?
“I, Robot”
![Page 3: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/3.jpg)
Görünüş olarak...
Leonardo Da Vinci Android Robot(Osaka University)
![Page 4: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/4.jpg)
Görünüş olarak...
![Page 5: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/5.jpg)
Boston Dynamics: Handle
2015 DARPA Robotics Challenge’dan bazı kareler(DARPA: Defense Advanced Research Projects Agency)
2017:
2016: Boston Dynamics: Atlas
-2019: Boston Dynamics: summary
![Page 6: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/6.jpg)
Robotlar günlük yaşamda?
• Robotlarin günlük hayata girebilmeleri için robot davranışları üretecek yeni metotlar (YZ?) gerekiyor
• Klasik robot programlama uzman bilgisi, ve uzman zamanı gerektiriyor
Yeni yönelimler:
Gösterimle öğretme (teaching by demonstration)
- Ne taklit edilecek?
Pekiştirmeli Öğrenme (reinforcement learning)
- Simülasyon?
6
![Page 7: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/7.jpg)
Gösterimle öğretme
• Gösterim nasıl/kim yapılacak?
• Nasıl iyi gösterim elde edilecek?
• Gösterim nasıl kayıt altına alınacak?
• Davranışın ne kadarı taklit edilmeli?
• Gösterimden ne çıkarılmalı?
• Davranış nasıl üretilmeli?
7
Gösterilen Davranış → Hesapsal işleme → Davranış üretme
- Görsel, kinestetik, teleoperasyon
- Gösterici adaptasyonu/öğrenmesi
- 3B, 2B, özel sensörler vb.
- Davranış klonlama
- Zarar fonksiyonu: ters pekiştirmeliöğrenme
- Durum bazlı aksiyon
- Pekiştirmeli Öğrenme
![Page 8: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/8.jpg)
Gösterimle öğretme
• Gösterim nasıl/kim yapılacak?
• Nasıl iyi gösterim elde edilecek?
• Gösterim nasıl kayıt altına alınacak?
• Davranışın ne kadarı taklit edilmeli?
• Gösterimden ne çıkarılmalı?
• Davranış nasıl üretilmeli?
8
Gösterilen Davranış → Hesapsal işleme → Davranış üretme
- Görsel v.s. Kinestetik, teleoperasyon
- Gösterici adaptasyonu/öğrenmesi
- 3B, 2B, özel sensörler
- Davranış klonlama
- Zarar fonksiyonu: ters pekiştirmeliöğrenme
- Durum bazlı aksiyon
- Pekiştirmeli Öğrenme
![Page 9: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/9.jpg)
Gösterimle öğretme
Gösterilen Davranış → Hesapsal işleme → Davranış üretme
Aude Billard’in Scholarpedia e-derlemesi:
http://www.scholarpedia.org/article/Robot_learning_by_demonstration
![Page 10: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/10.jpg)
Gösterimli öğrenmedegöstericinin rolü
• Literatürede, pek çok gösterimden öğrenme yöntemi, öğretici tarafına yoğunlaşmamıştır
• Öğretici insan için bu işin doğal ve kolay olmasıhedeflenmektedir
• Ancak bu hesapsal ara-basamakları zorlaştırabilir
• Teleoperasyon robot kontrolü ile bu problem ortadan kalkar
• Ancak teleoperasyon her zaman insan için çok da kolayve/veya doğal olan bir gösterim arayüzü oluşturmaz
10
![Page 11: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/11.jpg)
Teleoperasyon ile gösterim
• Gösterimin teleoperason ile yapılması hesapsal arabasamaklarınkarmaşıklığını azaltır
• Diğer gösterim metotlarından farklı olarak, insan kontrol döngüsünün bir parçası halindedir
• Yetkin robot kontrolü için insan öğrenmesi (sensorimotor öğrenme) gereklidir
• Dolayısı ile erken gösterim ile, en iyi (optimal) kontrole erişilmedenveri toplanmış olacağından, gösterimden öğrenme tüm potensiyelineulaşamayabilir
• Sonuç olarak: robot kontrol sistemine insan adaptasyonun bilimselolarak çalışılması gereklidir.
11
![Page 12: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/12.jpg)
(sensori)motor öğrenme nedir?
12
Force field OFF
After trainingForce fieldperturbation
Before training
Force field ON
Illustration adapted from Milner and Franklin (2005)
Data from Shadmehrand Wise (2005)
Catch trials: suddenly turn off the force field to see the effect of training
Results: Central Nervous System forms an internal model to nullify the effect of the force field
![Page 13: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/13.jpg)
Vücut Şemasının (Body Schema) adaptifliği
Figure from (Maravita & Iriki 2004)
VIP neurons integrate somatosensory and visual information with visual receptive fields anchored to the hand/arm of the monkey → representa�on for body schema
Iriki et al. 1996: Tool use modifies the body schema
![Page 14: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/14.jpg)
Monkey brain
G. Luppino and G. Rizzolatti 2000
How to read neural firing plots
![Page 15: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/15.jpg)
Sensorimotor öğrenme ile robot programla
İnsan – makina etkileşimi
Öğretici kontrol döngüsüne dahil (teleoperasyon)
Öğretici nin kendisi robot kullanmayı öğrenmek durumunda
İnsan beyni adaptif kontroler olarak görev yapıyor
15
Motor command (u)Human Motion (m)
Robot state (s)Feedback to human sensory system (f)
Human ~ Adaptive Controller
FeedforwardInterface
FeedbackInterface
![Page 16: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/16.jpg)
Sensorimotor öğrenme
• Araba sürme
• Bilgisayar mouse kullanma
• Yemek çubuğu kullanmayı öğrenme
• Tırpan biçmeyi öğrenme
• …
16
Motor command (u)Human Motion (m)
Robot state (s)Feedback to human sensory system (f)
FeedforwardInterface
FeedbackInterface
![Page 17: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/17.jpg)
DLR’s Rollin’ JUSTIN (Kremer et al, ICRA 2009)
17Ishiguro’s self android for telepresence
Chronicle/Ken Stevens
Döngüde robot kontrolün insan beynine etkisi?
![Page 18: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/18.jpg)
Amaç : Robot Otonomi
Öğreticinin keşfettiği kontrol metodunun (control policy)
Makina öğrenme teknikleri ile robota aktarılması
18
Motor command (u)Human Motion (m)
Robot state (s)Feedback to human sensory system (f)
Human ~ Adaptive Controller
FeedforwardInterface
FeedbackInterface
Robot Learning: Learn π: s → u
![Page 19: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/19.jpg)
İnsan döngüde robot el kontrolü
19
Motor command (u)Human Motion (m)
Robot state (s)Feedback to human sensory system (f)
Robot Learning: Learn π: s → uHuman ~
Adaptive Controller
FeedforwardInterface
FeedbackInterface
![Page 20: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/20.jpg)
VisualEyez Output
30Hz
Gifu Hand Controller
+10HzInput
Driven
Inverse Kinematics
Input Driven
Central Controller
30HzUser Interface
Marker Positions
Marker Positions
Gifu Hand Joint Angles
Gifu Hand Joint Angles
Hand Status
commands
System info
VizualEyez data
Finger tip positions
Finger tip positionsFor Gifu Hand
Raw joint angles
Desired joint angles
Gifu Hand actuation
Human hand movement
Data Capture
Build hand Referenceframe
Calibration
InverseKinematics
Filtering
PD Control
İnsan döngüde kontrol
![Page 21: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/21.jpg)
İlk Deneme: top çevirme becerisi
![Page 22: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/22.jpg)
Öğretici öğrenirken...
22
![Page 23: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/23.jpg)
Öğretici sonunda başarıyor
23
![Page 24: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/24.jpg)
Otonom top çevirimi: Açık Döngü
24
![Page 25: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/25.jpg)
Performans artırma: x2 hızlandırma
25
![Page 26: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/26.jpg)
Otonom top çevirimi: KapalıDöngü
26
![Page 27: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/27.jpg)
Dengeyi kaybetmeden uzanma(denge garantili düz kinematik)
Babic , Hale, Oztop (2012) Adaptive Behavior
![Page 28: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/28.jpg)
Dengeyi kaybetmeden uzanma: robot durum geri beslemesi
![Page 29: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/29.jpg)
İnsan robot kontrolü ve veri toplama
29
Babic , Hale, Oztop (2012) Adaptive Behavior
![Page 30: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/30.jpg)
Toplanan veri ve denge durumu
![Page 31: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/31.jpg)
1 2
1 2 2
1 2
N
N
m m N m
1 1 1
1 1
x x x
x x xZ X
x x x
2
i e
ix μx
†W Z Q
1 2pred des des N des q x x x W
X: Robot el kartezyen koordinatlarQ: Robot açıları
Linear olmayan bir transformasyon velinear bir bağıntı düşünelim:
Q X W
Make prediction with
and solve for W
x (cm) y (
cm
)
pred des q x W
RBF (Radial Basis Function) kullanarak:
Denge korumalı ters kinematik
![Page 32: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/32.jpg)
Otonom hareket: yörünge takibi
32
![Page 33: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/33.jpg)
Yörünge takip hızındaki değişime göre performans: Dinamik etkilerin gözlenmesiTüm (normal) Hızlı
Daha hızlı Çok hızlı (dengesiz)
![Page 34: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/34.jpg)
34/30
Diğer insan – robot beceritransferi çalışmaları
![Page 35: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/35.jpg)
İnsandan robota beceri transferi
(Peternel & Babic, ICRA 2013) Peternel, Petric, Oztop, Babic (Aut. Robots 2014)
Moore B, Oztop E (2012) Robotics and Autonomous SystemsKaya O, Oztop E (ROBIO, 2018)
![Page 36: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/36.jpg)
İnsan-robot ortak kontrol
Motivasyon
• İki tarafın da yeteneklerinden yararlanma
• Daha yükse bir performans (sinerji)
• İnsandan robot beceri transferini hızlandırmak
Ne zaman gerekli?
• İnsan fiziksel sınırları
• Çevresel faktörler
• Çok yükse hassasiyet ihtiyacı
• Dikkatin yüksek seviyede tutulmasının gerekliliği
![Page 37: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/37.jpg)
37
Net Motor command (u)
Human Motion (m)
Feedback to human sensory
system (f)
Human Control Human Control
FeedforwardInterface
FeedforwardInterface
FeedbackInterfaceFeedbackInterface
Machine ControlMachine Control
Robot State
(s)u
m
++
uh
wh
wm
İnsan döngüde kontrol ve kontrol sinyal birleştirilmesi
1. Online policy transfer: Direct Policy Learning/RL/IRL etc.
2. How to mix? (meaning of +?)
3. Dynamic control mixing; but, based on what? e.g. taks performance , prediction error?
4. Goal: autonomous control policy generation or shared task execution?
![Page 38: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/38.jpg)
Sinyaller nasıl birleştirilebilir?
+
Human Control
Machine Control
NET motor command
+
Human Control
Machine Control
NET motor command
Human and robot control channels are disjoint
e.g. Cruise control
Usually requires less human effort
The same control channels are used
Simple addition or a convex combination or blending with an adaptive neural network
May require high human effort
Heterojen karıştırma
Homojen karıştırma (Control Blending)
![Page 39: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/39.jpg)
Homejen kontrol ile yetenek sentezine örnek
39
Past Master’s student
M. Ali Zamani(now PhD student in
Hamburg Univ.)
İnsan-robot paylaşımlı kontrol ile gerçek zamanlı
insan → robot beceri aktarımı
Zamani, Oztop (2015) ICAR
![Page 40: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/40.jpg)
Hetorojen sinyal birleştirimi: Böl ve yönet stratejisi
+
Human Control
Machine Control
NET motor command
Machine ControlAutonomous
control output
Görevi ayrık kontrol kanallarına BÖL
YÖNET: Çok hızlı otonom becerisentezlemesi
![Page 41: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/41.jpg)
Heterojen kontrol sinyalbirleşitirimi ile top çevirimi
+
Human Control
Machine Control
NET motor command
Parmak eklemleri (12DOF)
El pozu (6DOF)
BÖL ve YÖNET
İnsan:İnsansı kolay poz kontrolü
Makina:Çok basit parmak açı
denetimi
BÖL ve YÖNET
İnsan:İnsansı kolay poz kontrolü
Makina:Çok basit parmak açı
denetimi
Past Master’s student Osman Kaya(now PhD student in Univ of Göttingen)
![Page 42: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/42.jpg)
Heterojen kontrol paylaşımı
• Parmaklar otonom (basit sinusoidal hareket)• Robot kol insan yönetiminde• GÖREV: topları düşürmeden çevir!
Gifu Hand was donated by Japan Science and Technology to Ozyegin University with the help of ATR, Japan.
![Page 43: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/43.jpg)
Gifu Hand was donated by Japan Science and Technology to Ozyegin University with the help of ATR, Japan.
Otonom görev yürütümü
Kaya O, Oztop E (ROBIO, 2018)
![Page 44: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/44.jpg)
Homojen kontrolde insanadaptasyonu:
Bir paylaşımlı kontrol deneyi
+
Human Control
Machine Control
NET motor command
AdaptasyonGörev icrasi
Negin Amirshirzad,Ozyegin, PhD student
![Page 45: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/45.jpg)
(İletişimsiz) Paylaşımlı Kontrol
Cnet =
ωCH + (1-ω)CR
Feedforward Interface
Feedback Interface
+
Intention Prediction
Human Control Machine Control
CH
CR
Robot state (s)
Parametre içeren görevlerde başarım için parametrelerin paylaşılması ya da çıkarımsanması gereklidir. İki uç yöntem şunlardır
• Robot ve insan parametreleri açıkca paylaşır• Hiç ilteşime izin verilmez, parametreler çıkarımsanmalıdır
![Page 46: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/46.jpg)
Görev tanımı ve deney düzeni
Görev: Topu tepsi üzerindeistenen bir pozisyonda dengeyegetirmek
• İnsan robotu kontrol ederekgörevi yerine getirmeyiöğreniyor
• Robot bu görevi yerinegetirmeyi ‘biliyor’
• Fakat, robot insana verilenhedef pozisyonu ‘bilmiyor’. Dolayısı ile robotun bunu insandavranışından çıkarımsamısıgerekli
![Page 47: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/47.jpg)
Robot için gösterimli öğrenme metotu iledengeleme denetleyici sentezi
• Uzman bir gösterimci robotu kullanarak topu istenen pozisyona gerirek veriüretir
• Veri durum, aksiyon çiftleri (si, ai) çiftleri olarak S ve A matrislerinininsatırlarında toplanır
• durum s=[x, y, dx, dy, ϴ1, ϴ2 , dϴ1, dϴ2 ] olarak tanımlanmıştırTopun posizyonu x,y (verilen/çıkarımsanmış) hedef pozisyona relatif olarak verilmiştir.
• aksiyon (robot komutu) a = [∆ϴ1, ∆ϴ2 ] olarak tanımlanmıştır
• S ve A arasında linear bir bağlantı olduğu varsayılarak ağırlıklar � = ��A olarakbulunmuştur
• Bundan sonra topu istenen bir noktaya getirmek için W ile otonom robot hareketleri (robot eklem hareketleri), �� sistemin şu anki durumu olarakalınırsa, şu şekilde elde edilebilir: ak=���
![Page 48: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/48.jpg)
Denetimci çıktısı ile gösterimciçıktısı karşılaştırılması
∆ϴ
1
[∆ϴ1, ∆ϴ2 ]
∆ϴ
2
![Page 49: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/49.jpg)
Deneylerde kullanılacaksentezlenmiş robot denetçisi
Not: kontrolün optimal olması asıl amac değil; öğretici davranışının kabaca klonlanması sonucu elde edilen bir top dengeleme becerisi
![Page 50: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/50.jpg)
Robot’un insan kontrolünü kullanarakhedef tahmini
• Genel olarak paylaşımlı kontrolde başarıli görev yürütümü içininsan ve robot ortak bir hedefte birleşmiş olmalıdır, ancak hergörev için açık ‘hedef paylaşımı’ uygun olmayabilir. Bu durumlardarobot insan hedefini çıkarımsamalıdır
• Top dengeleme için basit bir çıkarımsama yöntemi tercih edilmiştir. Son T saniyedeki topun pozisyonuna Gaussian bir dağılım fit edilerek, elde edilen ortalama insanın hedefi olarak alınmıştır
![Page 51: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/51.jpg)
Deney detaylari
İki Deney Koşuluİnsan Kontrolü (düz teleoperasyon) (10 katılımcı)Paylaşımlı Kontrol (10 katılımcı) (paylaşım oranı sabit, w=0.5)
Dört Gün ÖğrenmeGünde 4 Blok Her blokta 4 dengeleme denemesi (4 farklı hedef)
Perfomans ölçütüToplam dengeleme tamamlana dek kat edilen yörünge
uzunluğu
Amaç: Paylaşımlı kontrolün etkilerini incelemek
- Net görev performansı üzerinde- İnsan Öğrenmesi/Adaptasyonu üzerinde
![Page 52: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/52.jpg)
Tipik sadece-insan ve paylaşımlı kontrol ile eldeedilen top yörüngeleri (simetri alınarak 4 hedef tek olarak gösterilmiştir)
DAY 1 DAY 2 DAY 3 DAY 4
Hu
man
co
ntr
ol
Shar
ed c
on
tro
l
![Page 53: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/53.jpg)
Sam
ple
hu
man
-on
ly t
ask
exe
cuti
on
tra
ject
ori
es
![Page 54: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/54.jpg)
Sam
ple
sh
ared
co
ntr
ol t
ask
exec
uti
on
tra
ject
ori
es
![Page 55: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/55.jpg)
Example shared control subject performance over days
Example human-only control subject performance over days
Günler bazında iki deney grubundanörnek top hareketleri
![Page 56: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/56.jpg)
Shared Control Human Control
Subject 1st Day 4th Day Subject 1st Day 4th Day
1 14684 2686 11 6471 2420
2 10984 1684 12 4117 1532
3 5059 740 13 6013 2409
4 2081 1020 14 4047 3016
5 3383 2111 15 8004 7145
6 3850 1343 16 7325 2893
7 6651 2034 17 3957 3831
8 6769 2525 18 8182 4139
9 4963 1478 19 9112 6715
10 4469 1683 20 5920 3808
Average 6061.57 1733.29 Average 6363.68 3894.16
Katılımcıların ilk ve son günperformansları
![Page 57: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/57.jpg)
0
1
2
3
4
5
6
7
8
1 2 3 4
Ave
rage o
f tr
aje
ctory
length
in a
day(
m)
Shared Control Human Control
Error bars = 2xSEM* p<0.05
Günler bazında ortalamaperformans analizi
Days
*
* *
Amirshirzad, Kumru, Oztop (2019) IEEE Trans. Human-Machine Systems
![Page 58: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/58.jpg)
0
1
2
3
4
5
6
7
8
1 2 3 4
Ave
rage o
f tr
aje
ctory
length
in a
day(
m)
Shared Control Human Control
Error bars = 2xSEM* p<0.05
* Amirshirzad, Kumru, Oztop (2019)
IEEE Trans. Human-Machine Systems
Günler bazında ortalama performans analizi
![Page 59: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/59.jpg)
y = 11785x-0.604
R² = 0.4861
0
2
4
6
8
10
12
14
16
18
20
0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60 64
Tra
jec
tory
Le
ng
th (
m)
Trial number
y = 37337x-0.73
R² = 0.5003
0
10
20
30
40
50
60
0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60 64
Tra
jec
tory
Le
ng
th (
m)
Trial number
y = 8668x-0.344
R² = 0.1424
0
5
10
15
20
25
0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60 64
Tra
jec
tory
Le
ng
th (
m)
Trial number
y = 6673.7x-0.363
R² = 0.1101
0
2
4
6
8
10
12
0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60 64
Tra
jec
tory
Le
ng
th (
m)
Trial number
Exam
ple
sh
ared
co
ntr
ol
Exam
ple
hu
man
on
ly c
on
tro
lÖğrenme hızı (üssün negative değeri)
![Page 60: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/60.jpg)
Length of error bars = 2 x SEM
0
0.1
0.2
0.3
0.4
0.5
0.6
Average of Learning Rate
Shared Control Human Control
* p<0.05
Paylaşımlı kontrol, insanda dahahızlı öğrenmeyi sağlıyor!
Amirshirzad, Kumru, Oztop (2019) IEEE Trans. Human-Machine Systems
![Page 61: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/61.jpg)
İnsan adaptasyon bulguları
Son günde sadece insan kontrol koşulunda, insanlar sabitbir beceri seviyesine yakınsamış görünmekle birlikte, paylaşımlı kontrolde insan öğrenmesi hala devam etmekte
Paylaşımlı kontrol katılımcıları daha karmaşık bir sistemleetkileşimde olsalar bile (robot, insan hedefiniçıkarımsamaya çalışıp ona göre kontrol sinyalikarıştırmakta), paylaşımlı gurubun son performansı çokdaha iyi
Paylaşımlı kontrol katılımcıları muhtemelen robotundavranışını anlayıp onu avantajlarına kullanmayıbaşardıkları için daha iyi sonuç elde edilebilmekteler
![Page 62: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/62.jpg)
62/30
Öngürüler
• Efektif robot öğrenme tekniği• Yeni iş sahası: Robot Eğitmenleri
• Beyin-Robot Arayüzü çalışmalarına yardımcı (örn. geri besleme arayüzleri)
• Akıllı ve uyumlu protez geliştirimi
• Nörobilimciler tarafından yeni çalışmalar
![Page 63: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/63.jpg)
Döngüde robot kontrolün insan beynine etkisi?
Humans are not innate drivers, crane operators or robotic surgeonsYet often we consider the human in the ‘loop’ as an expertWhat is going on in the brain of the operator, and how it affects the overall control performance or the transferred skill quality?
![Page 64: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/64.jpg)
DLR’s Rollin’ JUSTIN (Kremer et al, ICRA 2009)
64Ishiguro’s self android for telepresence
Chronicle/Ken Stevens
Döngüde robot kontrolün insan beynine etkisi?
![Page 65: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/65.jpg)
Döngüde robot kontolü ve beyin alanları
65
Cerebellum
M1
Macaque monkey parietal and frontal areas (adapted from Geyer et al. 2000)
Conceptual representation of parietal and frontal areas with cerebellum (modified from Murata and Ishida 2007)
Cerebellum: novel control tasks, internal model formation
Parietal Cortex: body ownership, agency, assimilation of tool into body schema
Motor Cortices: execution, action observation
![Page 66: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/66.jpg)
66
Anthropomorphic control
Non-anthropomorphic control
Motion capture setup
A preliminary fMRI study of human in the loop control
![Page 67: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/67.jpg)
67
Anthropomorphic–
Non-anthropomorphic
Non-anthropomorphic–
Anthropomorphic
A preliminary fMRI study of human in the loop control
loss of agency(angular gyrus)
internal model(cerebellum)
fine finger control(occipital areas)somatosensory?
area 46-area 9 intention?
![Page 68: Sensorimotor Öğrenme: İnsan-robot ...midas.ku.edu.tr/kbyoyo19/slides/kbyoyo19_erhan_oztop.pdfthe hand/arm of the monkey → representaon for body schema Iriki et al. 1996: Tool](https://reader034.fdocuments.net/reader034/viewer/2022051900/5fee5eb63dd56f384041a5fd/html5/thumbnails/68.jpg)
68/30
Teşekkürler!