Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana...
Transcript of Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana...
![Page 1: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/1.jpg)
Robotlarda Güvenli Görev Yürütme
Sanem Sarıelİstanbul Teknik Üniversitesi
Bilgisayar Mühendisliği Bölümü
Yapay Zeka ve Robotik Laboratuvarı (AIR)http://air.cs.itu.edu.tr
Kuzeybatıda Yapay Öğrenme, 2019
Bu seminerde sunulan çalışmalar TÜBİTAK #115E-368 ve #111E-386 projeleri tarafından desteklenmiştir.
![Page 2: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/2.jpg)
DEMiR-CF
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
MODEL
Model
Update
Module
FSM
FSM
Consistency
Checking
Module
Dynamic
Task
Selector
Allocation
Scheme
Execution/
Coalition
Scheme
Outgoing
Messages
Incoming
Messages
Perception Actuators Effectors
Localization
and Mapping
Layers
Communication Layer
Sensor
Interface Layer
Motor
Interfaces
Layer
Robot
Descriptions
Task
Descriptions
[Sarıel vd., IEEE Robotics & Automation Magazine, 2008]
[Sarıel-Talay vd., IEEE/ASME Transactions on Mechatronics, Special Issue on Mechatronics in Multirobot Systems, 2009]
[Sarıel-Talay vd., Journal of Intelligent & Robotic Systems, 2011]
![Page 3: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/3.jpg)
Çoklu Gezgin Robot Problemi (MTRP)
Her bir düğüm en az/fazla bir kez bir robot tarafından ziyaret edilmeli.
Sadece rota belirleme değil, hangi robotun hangi görevi yerine getireceği belirlenmeli.
Optimizasyon problemi olarak modellendi.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 4: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/4.jpg)
AIR Lab :: Öğrenciler
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 5: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/5.jpg)
AIR Lab :: Mezunlar
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 6: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/6.jpg)
AIR Lab :: Ekipmanlar
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 7: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/7.jpg)
AIR Lab :: Temel Çalışma Alanları
Bilişsel Robotlar– Etkileşim
– Robot görüsü
– Otonom çıkarsama ve planlama
– Öğrenme
Robot Zekası
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 8: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/8.jpg)
AIR Lab :: Temel Çalışma Alanları
Çoklu robot Sistemleri– İşbirlikçi ve Rekabetçi ortamlar
Zeki Etmen Sistemleri– Oyunlarda Yapay Zeka
– Oyun etmenleri
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 9: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/9.jpg)
RoboCup: Robot Dünya Şampiyonası 1992-...
RoboCup projesinin temel amacı:
2050 yılında tümüyle otonom olarak çalışan bir insansı robot takımının o yılın dünya şampiyonunu yenmesi
Sanem Sarıel (Istanbul Technical University)@ RoboFest 2014
![Page 10: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/10.jpg)
RoboCup 3B Futbol Benzetim Ligi :: BeeStanbul
Sanem Sarıel (Istanbul Technical University)@ RoboFest 2014
![Page 11: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/11.jpg)
Gezgin Robotlar :: Temel Sorular
Nereye gideceğim? Ortam durumu nasıl, ne tür bir ortamdayım?(Haritalama)
Neredeyim? (Konum Belirleme)
Hedefe nasıl gidebilirim? (yol planlaması)
Robotlarda Görme ve Algılama, Sanem Sarıel, İTÜ, Bozkırda Yapay Öğrenme 2017
![Page 12: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/12.jpg)
Hizmet Robotları :: Temel Sorular
Görevim ne? (Hedef seçme)
Hangi odadayım? (Anlamsal harita)
Elimde hangi nesneler ve araçlar var?
(Sahne modelleme)
Görevimi gerçekleştirmek üzere • eylem sıraları ne olmalı? (sembolik planlama)• hangi araçları ve kaynakları kullanmalıyım? (çizelgeleme)
Sahnede beklenmeyen durumlar var mı? Herşey yolunda mı? (Eylem ve plan gözetimi)
Durumlardan ne öğrenmem gerekiyor? (Öğrenme)
Etkileşim kurmalı mıyım? (İnsan-robot, robot-robot etkileşimi)
Robotlarda Görme ve Algılama, Sanem Sarıel, İTÜ, Bozkırda Yapay Öğrenme 2017
[Ersen vd., IEEE Robotics & Automation Magazine, 2017]
![Page 13: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/13.jpg)
Bilişsel Robotlarda Öğrenme
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Makine Öğrenmesi
Makine Öğrenmesi
RobotBilimRobotBilimRobotÖğrenmesi
RobotÖğrenmesi
Duyu
Motor
Model
Aktif görme
Nesnelerle Etkileşim
İnsanlarla etkileşim
Kısıt
Ortamla etkileşim
Birbirleri ile etkileşimTemsil
Pekiştirmeli öğrenme Eğitici ile öğrenme Taklit yoluyla öğrenme Deneyimsel öğrenme
![Page 14: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/14.jpg)
Robotların Üç Yasası
Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesineseyirci kalamaz.
İkinci Yasa: Bir robot, birinci kuralla çelişmediği sürece bir insanınemirlerine uymak zorundadır.
Üçüncü Yasa: Bir robot, birinci ve ikinci kuralla çelişmediği sürece kendivarlığını korumakla mükelleftir.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Asimov, I Robot, 1942]
![Page 15: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/15.jpg)
Robot Araştırmalarında Etik
Robotların silahlanması
Otonom silah ve patlayıcılar
Otonom robotlar için etik karar mekanizmaları– Otorite paylaşımı
– Operator ne zaman kontrolü ele almalı?
Gizliliğe saygı
Emniyet– ISO 10218:2011; ISO 10218-2:2011; ISO TS 15066:2016
– Ev içi hizmet robotları için henüz kesin kurallar ve standartlar yok.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Grinbaum vd., IEEE Robotics and Automation Magazine, 2017] [Bodengagen vd., Health and Technology, 2019]
![Page 16: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/16.jpg)
Bilişsel Robotlarda Deneyimsel Öğrenme
Robotlarda Görme ve Algılama, Sanem Sarıel, İTÜ, Bozkırda Yapay Öğrenme 2017
Knowledge Base
Scene Interpretation
Perception Pipeline
Motor Interface
Controller
World State
DomainKnowledge
(∆)
Experience(H)
Plan andGoals
Action Execution Monitoring
Learning
ILP Learner
Planning
TLPlan Temporal Planner
ENV
IRO
NM
ENT
1
2
3 4
5
SONY ECMC115 Clip Microphone
Tactile Sensors inside the Gripper
Forward-facing Sonar Sensors (8 pieces)
ASUS Xtion PRO RGB-D Camera
Hokuyo UTM-30LX Laser Rangefinder
TÜBİTAK projesi # 111E-286 (2014 yılında tamamlandı.)
[Karapınar ve Sarıel, Autonomous Robots, 2015]
![Page 17: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/17.jpg)
Bilişsel Robot Mimarisi
Robotlarda Görme ve Algılama, Sanem Sarıel, İTÜ, Bozkırda Yapay Öğrenme 2017
Knowledge Base
Scene Interpretation
Perception Pipeline
Motor Interface
Controller
World State
DomainKnowledge
(∆)
Experience(H)
Plan andGoals
Action Execution Monitoring
Learning
ILP Learner
Planning
TLPlan Temporal Planner
ENV
IRO
NM
ENT
![Page 18: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/18.jpg)
Motivasyon
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 19: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/19.jpg)
Yaşamboyu deneyimsel öğrenme gereksinimleri
Dünya Modelinin Oluşturulması
Metrik Zamansal Mantık ile Hata Sezme
Tümevarımsal Mantıksal Programlama (ILP) [Quinlan, 1990] ile
Hata Bağlamı Hata ilişkinin kurulması
𝐵𝑖𝑙𝑔𝑖 𝑏𝑖𝑟𝑖𝑘𝑖𝑚𝑖 𝐻𝑖𝑝𝑜𝑡𝑒𝑧𝑙𝑒𝑟 𝑇𝑎𝑛𝚤𝑚𝑙𝑎𝑚𝑎𝑙𝑎𝑟֜𝑆𝚤𝑛𝚤𝑓𝑙𝑎𝑛𝑑𝚤𝑟𝑚𝑎
Deneyimlerin yeniden planlama için kullanılması
Planlama operatörleri maliyetlerinin hipotezlere göre değişimi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 20: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/20.jpg)
Tümevarımsal Mantıksal Programlama ÖrneğiÜretilen hipotezler gözlemlere göre üretilir.
Yeni hipotezler üretilebilir veya mevcut olanlar güncellenir.
Hipotez𝐾𝑎𝑡𝑒𝑔𝑜𝑟𝑖 𝑆𝑎𝑡𝑟𝑎𝑛𝑐𝐴𝑡 𝐵𝑜𝑦 𝑘𝚤𝑠𝑎 𝑀𝑎𝑙𝑧𝑒𝑚𝑒 𝑎ℎş𝑎𝑝 ֜𝐻𝑎𝑡𝑎(𝑡𝑢𝑡𝑚𝑎)
Gözlem𝐾𝑎𝑡𝑒𝑔𝑜𝑟𝑖 𝑆𝑎𝑡𝑟𝑎𝑛𝑐𝐴𝑡 𝐵𝑜𝑦 𝑘𝚤𝑠𝑎 𝑀𝑎𝑙𝑧𝑒𝑚𝑒 𝑝𝑙𝑎𝑠𝑡𝑖𝑘 ֜𝐻𝑎𝑡𝑎(𝑡𝑢𝑡𝑚𝑎)
Yeni Hipotez𝐾𝑎𝑡𝑒𝑔𝑜𝑟𝑖 𝑆𝑎𝑡𝑟𝑎𝑛𝑐𝐴𝑡 𝐵𝑜𝑦 𝑘𝚤𝑠𝑎 ֜𝐻𝑎𝑡𝑎(𝑡𝑢𝑡𝑚𝑎)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 21: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/21.jpg)
Projeden Örnek Sonuç
Ön Bilgi𝑚𝑎𝑠𝑎_𝑢𝑧𝑒𝑟𝑖𝑛𝑑𝑒 𝑋 𝑢𝑠𝑡𝑢_𝑏𝑜𝑠 𝑋 ֜𝑘𝑢𝑙𝑒 𝑋, 1
𝑢𝑧𝑒𝑟𝑖𝑛𝑑𝑒 𝑋, 𝑌 𝑘𝑢𝑙𝑒(𝑌, 𝑁) 𝑢𝑠𝑡𝑢_𝑏𝑜𝑠 𝑋 ֜𝑘𝑢𝑙𝑒 𝑋, 𝑁 + 1
Çıkarım:𝑘𝑢𝑙𝑒 𝐵, 2 ֜ℎ𝑎𝑡𝑎 𝑦𝑒𝑟𝑙𝑒𝑠𝑡𝑖𝑟𝑚𝑒 𝐴, 𝐵 , 𝑃 = 0.33
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
C
B D
C B
C B
D
D
Pickup(D)
Pickup(C)
Stack(D,C)
Stack(C,A)
A
A
C
B D A
A
C B
D
A
![Page 22: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/22.jpg)
Sahne Modelini Oluşturma
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Inceoglu vd., IEEE Transactions on SMC: Systems, 2019]
http://air.cs.itu.edu.tr/projects/violet
![Page 23: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/23.jpg)
Violet :: Visual Interpreter & Modeller for Objects and Relations
Bayesçi Sensor Tümleştirme ile Sahne Yorumlama Sistemi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
http://air.cs.itu.edu.tr/projects/violet
![Page 24: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/24.jpg)
Violet Video
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 25: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/25.jpg)
Etkileşim Eylemleri için Hata Sezme
Robotların ortamları ile emniyetli şekilde etkileşebilmeleri• Algıdaki hatalar, sensör/motor kayıkılıkları, hatalı eylem parametreleri,
donanım kısıtlamaları, dış etkenler...
• Hataları sezme ve tanıma
• Masaüstü uygulamalarındaki hataları sezmek için çok kipli bir hata sezme sistemi.
TÜBİTAK projesi # 115E-368
(2018 yılında tamamlandı.)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Inceoglu vd., IROS 2018]
[Inceoglu vd., ICRA WS on Multimodal Robot Perception, 2018]
![Page 26: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/26.jpg)
Hata Sezme Videosu
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 27: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/27.jpg)
Hipotez
Tüm eylem tipleri için tek bir kip yeterli değil
[Inceoglu vd., ICRA – Multimodal Perception WS, 2018]
İç algı (Proprioception) nesne tutma için faydalı• Fakat nesneyi bıraktıktan sonra hiç bir bilgi sunmuyor.
Ses ve görsel algılama kipleri içalgıyı desteklemek için kullanılabilir.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 28: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/28.jpg)
Çok kipli Yürütme Gözlemleme
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Wu vd., Applied Sciences 2019]
![Page 29: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/29.jpg)
Bakım robotları için çok kipli anomali tanıma
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Park vd., Autonomous Robots, 2019]
[Park vd., IEEE Robotics and Automation Letters, 2018]
![Page 30: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/30.jpg)
Gözlemler ve Yaklaşım
İkili sınıflandırma problemi (başarı, hata)
Farklı sensörlerin bir arada kullanılmasına ihtiyaç var• İçalgı
• Ses
• Görsel algı
Tutma, yerleştirme ve itme eylemleri:• Hedefe git, yaklaş, EYLEM, geri çekil
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 31: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/31.jpg)
Çok kipli sensör tümleştirmede sorunlar
Farklı sensörler, farklı veri formatları• Farklı ölçüm uzunlukları
Farklı çalışma frekansları• Gözlem örneklemeleri farklı zamanlarda
Birbirleriyle çelişen ölçümler
Bazı sensör verileri her zaman yararlı bilgi sunmuyor
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 32: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/32.jpg)
Donanım/Yazılım
Baxter Robotu
Asus Xtion Pro RGBD Kamera (kafa)
PSEye Mikrofon (gövde)
Paralel tutucu
Yazılım:
Robot operating System (ROS)
Hark Ses Kütüphanesi
MoveIt!
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 33: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/33.jpg)
Nesneler
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Tutma/yerleştirme itme
![Page 34: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/34.jpg)
İç algı Yüklemleri
Tutucu durumu ayrık olarak değerlendirilmekte:
Açık: Tutucu parmakları açık 𝐷 > 𝜏𝐷Nesneyi kavradı: Kuvvet değeri eşiği aştı 𝐹 > 𝜏𝐹Kapalı: 𝐷 < 𝜏𝐷 ve 𝐹 < 𝜏𝐹Hareket halinde: Tutucu açılıyor veya kapanıyor.
𝐹: Kuvvet
𝐷: Parmaklar arası açıklık
𝜏𝐹: Kuvvet eşiği
𝜏𝐷: Açıklık eşiği
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 35: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/35.jpg)
Tutma Esnasında İç algı Değer Değişimi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 36: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/36.jpg)
Yerleştirme Esnasında İç algı Değer Değişimi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 37: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/37.jpg)
Ses Verisi
Önişleme:• Pencereleme, Hızlı Fourier Dönüşümü (FFT)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
[Saltali vd., Intl. WS on Social Learning and Multimodal Interaction for Designing Artificial Agents, 2016]
![Page 38: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/38.jpg)
Ses İşleme
Öznitelik Çıkarımı:• Önceden belirlenen artma (onset) ve azalma
(offset) eşikleri.
• Artma sonrası ilk 10 çerçeve için 12 Mel Frequency Cepstrum Katsayıları(MFCC)
ve toplam eşik üstü süre değerlendirilmekte.
Sınıflandırma• Destek Vektör Makinesi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 39: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/39.jpg)
Ses Yüklemleri
Sessiz: Mevcut çerçevenin toplam enerjisi artma eşik değerinden düşük.
Düşme: Bir nesnenin belli bir yükseklikten düşme sesi.
Çarpma: Robotun tutucusu ile bir nesneye çarpma sesi.
Robot sesi (ego-noise): Robotun kendi eklemlerinden çıkan ses.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 40: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/40.jpg)
Ses Analizi
Farklı materyallerdeki nesnelerin aynı etkileşimleri farklı sesler üretebilmekte
Farklı materyaldeki nesnelerin etkileşimlerinden aynı ses üretilebilmektedir.
Foley Ses üretimi: ses efektlerinin yeniden üretimi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 41: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/41.jpg)
Düşme Sonrası Ses Verisi
Oluşan seste nesnenin fiziksel
özellikleri etkili
(örn., malzeme, boyut, ağırlık)
Ahşap kubik blok
Makarna kutusu
Yumuşak plastik tuz kutusu
Sert Plastik kahve kabı
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 42: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/42.jpg)
İtme Esnasında Ses Verisi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 43: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/43.jpg)
Görsel Algı
Violet [Inceoglu vd., IEEE Transactions on SMC: Systems, 2019]• 3B konum, boyut ve renk
Nesne nokta bulutları sınırlayan kutu temsili ile segmanlanır.
Toplam yüzey alanı her bir nesnenin kutu temsillerinin yüzeye projekte edilmesi ile belirlenir.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 44: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/44.jpg)
Görsel Yüklemler
∆𝐴: Toplam Nokta Bulutu alan farkı (𝐴)∆𝐴 = 𝐴𝑠𝑜𝑛 − 𝐴𝑏𝑎ş𝑙𝑎𝑛𝑔𝚤ç
∆𝐿 : Nesnenin gözlemlenen konumundaki (𝐿) değişim
∆𝐿 = 𝑜𝑘𝑜𝑛𝑢𝑚𝑠𝑜𝑛 − 𝑜𝑘𝑜𝑛𝑢𝑚
𝑏𝑎ş𝑙𝑎𝑛𝑔𝚤ç
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
yerleştirme itme
![Page 45: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/45.jpg)
Hata Sezme için Tümleştirme Mimarisi
Saklı Markov Model (HMM) ile sensör tümleştirme
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 46: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/46.jpg)
Gözlenebilen Eylem Fazları
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 47: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/47.jpg)
Gerçek Dünya Verisi
42 tutma eylemi (21 başarı ve 21 hata)
39 yerleştirme eylemi (13 başarı ve 26 hata)
32 itme eylemi (12 başarı ve 20 hata)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 48: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/48.jpg)
Tutma için Sonuçlar
Proprioception-HMM: Unimodal HMM, input predicates.
Audition-HMM (MFCC): A unimodal HMM.
Vision-HMM (HOG): Sampling, cropping, feature extraction, PCA dimension reduction
Vision-SVM (HOG): SVM is trained on final frames
Fusion-HMM: Predicate concatenation. Timestamp based synchronization.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 49: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/49.jpg)
Yerleştirme için Sonuçlar
Proprioception-HMM: Unimodal HMM, input predicates.
Audition-HMM: Unimodal HMM, input predicates
Vision (Area): ∆A predicate. Assumption: failure whenever area is increased (e.g., the block tower collapses)
Vision-HMM (HOG): Sampling, cropping, feature extraction, dimension reduction
Vision-SVM (HOG): SVM is trained on final frames
Fusion-Decision Tree: Vision and Audition are concatenated into a single feature vector.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 50: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/50.jpg)
İtme için Sonuçlar
Proprioception-HMM: Unimodal HMM, input predicates.
Audition-HMM (MFCC): A unimodal HMM.
Vision (Area): ∆A predicate. Assumption: failure whenever area is increased (e.g., the block tower collapses)
Vision (Loc): Three binary features (i.e., for each axis) are computed using the task parameters and the difference in the observed and the expected location of the manipulated object. Then, a Decision Tree is trained.
Vision-HMM (HOG): Sampling, cropping, feature extraction, dimension reduction
Vision-SVM (HOG): SVM is trained on final frames
Fusion-Decision Tree: Vision and Audition are concatenated into a single feature vector.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 51: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/51.jpg)
Genişletilmiş Nesne Seti
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Tutma/yerleştirme itme
Dökme Kaba yerleştirme
![Page 52: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/52.jpg)
Yeni Veri Kümesi (Kafa Kamerası)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Başarılı
İtme
Hatalı
İtme
Kaba Başarılı
Yerleştirme
Kaba Hatalı
Yerleştirme
Başarılı
Dökme
Hatalı
Dökme
![Page 53: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/53.jpg)
Yeni Veri Kümesi (Kafa Kamerası)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Üst Üste Başarılı
YerleştirmeÜst Üste Hatalı Yerleştirme
![Page 54: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/54.jpg)
Yeni Veri Kümesi (Bilek Kamerası)
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Başarılı İtme
Hatalıİtme
Kaba BaşarılıYerleştirme
Kaba Hatalı Yerleştirme
Başarılı Dökme
Hatalı Dökme
Başarılı Yerleştirme
HatalıYerleştirme
Üst Üste Başarılı
Yerleştirme
Üst Üste Hatalı
Yerleştirme
![Page 55: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/55.jpg)
Veri Kümesinin Dağılımı
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
Eylem
Başarılı Örnek
Sayısı
Hatalı Örnek
Sayısı Toplam
İtme 12 24 36
Bırakma 27 28 55
Dökme 27 40 67
Kaba Yerleştirme 22 28 50
Üst üste
Yerleştirme 17 33 50
258
![Page 56: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/56.jpg)
LSTM Bazlı Görüntü Analizi
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 57: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/57.jpg)
Ön işleme ve Hazırlık
Kafa Kamerası (640x480), bilek kamerası (640x400)
- Kırpma
- Yeniden boyutlandırma
- Normalizasyon
Her videodan 8 adet kare örneklenir
- Rastgele
- Eşit aralıklı
- Son
- Bölütleme (Yaklaşma/etkileşim/uzaklaşma)
Yaklaşma (4 kare) ve uzaklaşma (4 kare)
Etkileşim (8 kare)
![Page 58: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/58.jpg)
Görsel Veri Tümleştirme Sonuçları
Kafa Kamerası Bilek Kamerası
Kare Örnekleme Yöntemi GRU RNN LSTM GRU RNN LSTM
Rastgele 0.777 0.827 0.802 0.753 0.654 0.716
Eşit Aralıklı 0.852 0.827 0.840 0.691 0.667 0.679
Etkileşim Anı 0.728 0.704 0.753 0.556 0.704 0.704
Etkileşim Öncesi ve Sonrası 0.827 0.827 0.852 0.679 0.630 0.704
Etkileşim Sonrası 0.877 0.840 0.840 0.642 0.617 0.630
![Page 59: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/59.jpg)
Genel Tümleştirme Sonuçları
Ses 0,864
LSTM (Kafa+Bilek) 0,864
GRU (Kafa+Bilek) 0,802
RNN (Kafa+Bilek) 0,814
LSTM (Kafa+Bilek+Ses) 0,851
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 60: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/60.jpg)
Sonuçlar, Devam Eden/Gelecek Çalışmalar
Çok kipli Hata Sezme Sistemi
• Yerleştirme ve itme eylemleri için %95 başarı
• Tutma için %86 başarı
Hataları etkin şekilde sezmek için her bir sensör farklı zamanlarda katkı sunmakta.
Derin Öğrenme Yöntemleri ile ilk izlenimlerimize göre genel başarım %85 üzerinde
Derin Öğrenme Yöntemleri üzerindeki analizlerimiz devam ediyor.
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 61: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/61.jpg)
Devam Eden Çalışma: Hata/Anomali Tanıma
Zamansal Analiz ile Hata/Anomali Tanıma
Sensor tümleştirme• Görsel algı • Ses• İç algı
Tanıma Yöntemleri• Uzun Kısa Süreli Bellek (LSTMs)• Koşullu Rasgele Alanlar (CRFs)• Saklı Markov Modelleri (HMMs)
• [Altan ve Sarıel, değelendirmede]
Training Phase
Dataset of Anomalies LSTM
LSTM Cell . . . . . . LSTM Cell
yt-k yt
xt-k xt
A
A B AB
A B A
A B AB
A B A
A
anomaly1
anomaly2
anomalyn
Testing Phase
LSTM
LSTM Cell . . . . . . LSTM Cell
yt-k yt
xt-k xt
A
A case including an anomaly
Vision
Proprioception
A
Audition
Explanation of the Anomaly
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 62: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/62.jpg)
Devam Eden Çalışma: Robot Ne Zaman Durmalı?
Robotun hata durumundaki ilk tepkisi: durmak
Robotun durmak için doğru zamanı seçmesi önemli
İşlerin aksamaması için sürekli durmayı seçmemeli
Çok kipli sensör verisi üzerinde Yapay Sinir Ağları (ANN) uygulayarak yürütme gözlemleme ve durma kararı
[Ak vd., AAMAS 2019]
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 63: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/63.jpg)
Teşekkürler
Yapay Zeka ve Robotik Laboratuvarı
http://air.cs.itu.edu.tr
Robotlarda güvenli görev yürütme, Sanem Sarıel @ Kuzeybatıda Yapay Öğrenme Yaz Okulu, Haziran 2019
![Page 64: Robotlarda Güvenli Görev Yürütme...Robotların Üç Yasası Birinci Yasa: Bir robot, bir insana zarar veremez ya da zarar görmesine seyirci kalamaz. İkinciYasa: Bir robot, birinci](https://reader033.fdocuments.net/reader033/viewer/2022051916/600843321e987d14a741748c/html5/thumbnails/64.jpg)
İletişim BilgileriSanem Sarıel
İstanbul Teknik Üniversitesi, Ayazağa Kampüsü
Bilgisayar-Bilişim Fakültesi
Bilgisayar Mühendisliği Bölümü, Maslak İstanbul
Yapay Zeka ve Robotik Laboratuvarı
http://air.cs.itu.edu.tr
Robotlarda Görme ve Algılama, Sanem Sarıel, İTÜ, Bozkırda Yapay Öğrenme 2017
Sanem’s
office