Sicherheitsstrategien für die Mensch/Roboter-Koexistenz ...
Transcript of Sicherheitsstrategien für die Mensch/Roboter-Koexistenz ...
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 1
Sicherheitsstrategien für dieMensch/Roboter-Koexistenz und Kooperation
(DFG-Projekt „SIMERO“)
1. Sichere Transferbewegungen
2. Sichere Pick-and-place-Bewegungen
3. Geführte Feinbewegungen
Prof. Dr. Dominik HenrichLehrstuhl für Angewandte Informatik III(Robotik und Eingebettete Systeme)
Universität Bayreuth
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 2
Forschungsprojekte
Robotergestützte Chirurgie (RONAF)
Wissenswerkstatt Rechensysteme (WWR)
Manipulation deformier-barer Objekte (RODEO)
Virtuelle Roboter-Programmierung (VIROP)
Sicherheit bei Mensch-Roboter-Kooperation (SIMERO)
Vision-basiertes Recycling (VISREC)
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 3
Motivation
Heute
• Getrennte Arbeitsräume• Keine Umweltwahrnehmung
Zukunft
• Gemeinsamer Arbeitsraum• Dienstleistungen nahe/am Menschen• Enge Verkettung zur
Flexibilitätssteigerung in der Kleinserienproduktion
• Programmierung von mehreren synchronisierten Roboter
Probleme
• Wie Sicherheit des Menschen gewährleisten?
• Wie Mensch/Roboter-Kooperation ermöglichen?
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 4
Klassifikation der Kooperationszustände
z.B. Kooperatives De-/Montierenz.B. Kooperativer TransportGeführte B
ewegungen
z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferFreie Bew
egungen
Feine BewegungenGrobe Bewegungen
[ROMAN’05]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 5
grobe Bewegung feine Bewegung
gefü
hrte
Bew
egun
g
freie
Bew
egun
g
Aufteilung der Roboterbewegung• Grobe/Feine, Freie/Geführte
RoboterbewegungV ( d)
d
a( f )f
v( f )f
max V ( d)
d
max
V ( d)d
maxV ( d)d
max
grobe Bewegung feine Bewegung
gefü
hrte
Bew
egun
g
freie
Bew
egun
g
Kooperationszustände• Begrenzung der max. Geschwindigkeit• Bei geführter Bewegung:
– Beschleunigungsregelung (grob)– Geschwindigkeitsregelung (fein)
V ( d)
d
a( f )f
v( f )f
max V ( d)
d
max
V ( d)d
maxV ( d)d
max
v( t )
t*
grobe Bewegung feine Bewegung
gefü
hrte
Bew
egun
g
freie
Bew
egun
g
Zwischenzustand• Sofortiges Abbremsen des Roboters
V ( d)
d
a( f )f
v( f )f
v( t )
t*
max V ( d)
d
max
V ( d)d
maxV ( d)d
max
grobe Bewegung feine Bewegung
gefü
hrte
Bew
egun
g
freie
Bew
egun
g
( * , 0, 0)
( * , 0, ! 0)
( * , 0, 0)
( * , 0, ! 0)
( 0, 0, 0) ( 0, 0, ! 0)
( * , ! 0, * )
( * , ! 0, * )
( >0, * , * )( 0, ! 0, * )
( * , 0, * )( * , 0, * )
( >X, ! 0, * )
( X, ! 0, * )
( >X, ! 0, * ) ( X, ! 0, * )
Zustandsübergänge• Eingabe-Tripel: (v, M, F)
– v: Robotergeschwindigkeit– M: Manuelle Steuerung– F: Programmgesteuerte Feinbew.
Verhaltensmodell für eine kooperativen Roboter [ICRA’06]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 6
Klassifikation der Kooperationszustände
z.B. Kooperatives De-/Montierenz.B. Kooperativer TransportGeführte B
ewegungen
z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferbewegungFreie Bew
egungen
FeinbewegungenGrobbewegungen
[ROMAN’05]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 7
Sichere Transferbewegungen (1)
Aufgabe
Gegeben:• Start- und Zielposition• Modell des Roboters• Bekannte statische Hindernisse• Zu detektierende, dynamische, 3-
dimensionale HindernisseGesucht:• Transferbewegung von Start zu Ziel• Ohne Hinderniskollision • Schnellste / kürzestes Bewegung• Lösung in Echtzeit zu berechnen
Komplexität
• PSPACE-hart [Reif85]• Beispiel:
1° Gelenkdiskretisierung⇒ über 1015 Zustände
[MFI‘01]
1. Drittel
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 8
Sichere Transferbewegungen (2)
Annahmen
• Beleuchtung ist diffus• Dynamische Hindernisse sind vom
Hintergrund unterscheidbar
Lösungsansatz
• Mehrere stationäre Videokameras überwachen den Arbeitsraum
• Bildbasierte Kollisionserkennung zwischen dynamischen Hindernissen und beliebiger Testkonfiguration des Roboters
• Planung kollisionsfreier Bahnen mittels Randomized-Roadmap-Verfahren [Overmars92]
• Glättung der resultierende Zickzack-Bewegung
φ1
φ2
φ3 y
z
x
[IROS‘02]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 9
Sichere Transferbewegungen (3)
Bildbasierte Kollisionserkennung dynamischer Hindernisse
ZukünftigeRoboter-Stellung
[ASER‘04,Robotik‘04 ]
2. Drittel
AktuelleRoboter-Stellung
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 10
Sichere Transferbewegungen (4)Prototypischer Aufbau
• Messstation für Werkstücke
• Farbkamera und Oszilloskop zur Messung
• 4 stationäre Grauwert-Kameras zur Kollisions-erkennung
• Planung der 3 Hauptachsen
• 7 Hz Zykluszeit
2
3
0
1
[Ebert’03]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 11
Klassifikation der Kooperationszustände
z.B. Kooperatives De-/Montierenz.B. Kooperativer TransportGeführte B
ewegungen
z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferFreie Bew
egungen
FeinbewegungenGrobbewegungen
[ROMAN’05]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 12
Sichere Pick-and-place-Bewegungen (1)
Gegeben
• Sichere Transferbewegung• An-/Abrückbewegung des Roboters• Geometriemodelle der gegriffenen
Objekte
Probleme
• Aufgenommene/Abgelegte Objekte verändern Robotergeometrie und
• Referenzbild ist nicht mehr aktuell⇒ Hindernisse werden falsch erkannt
2. Drittel
[ROMAN’05]
Pick-Operation
Gesucht
Zu jeder Pick- bzw. Place-Operation:• Aktualisierung des Robotermodells• Aktualisierung des Referenzbildes
Place-Operation
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 13
Sichere Pick-and-place-Bewegungen (2)
Referenzbild-Aktualisierung
U := computeObjectPixels(t0);REPEAT
R := computeRobotModelPixels(ti );E := U \ R;updateReferenceImageTiles(E);U := U \ E;
UNTIL U = ∅;
[ROMAN’05]
RU
Neues Referenzbild:
Aktualisierungsbereich: Robotermodell:
Altes Referenzbild: Aktuelles Kamerabild:
E
Unverdeckter Bereich:
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 14
Sichere Pick-and-place-Bewegungen (3)
Problem
• Weiteres (dynamische) Objekte dürfen nicht ins Referenzbild aufgenommen werden
⇒ Fälschlicher Freiraum, falls Objekt bleibt oder
⇒ Fälschliches Hindernis, falls Objekt sich entfernt
Berücksichtigung dynamischer Objekte
U := computeObjectPixels(t0);REPEAT
R := computeRobotModelPixels(ti );E := U \ R;O := computePossibleObstaclePixels(ti);E := E \ O;updateReferenceImageTiles(E);U := U \ E;
UNTIL U = ∅;
[ROMAN’05]
R
U
E
O
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 15
Klassifikation der Kooperationszustände
z.B. Kooperatives De-/Montierenz.B. Kooperativer TransportGeführte B
ewegungen
z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferFreie Bew
egungen
FeinbewegungenGrobbewegungen
[ROMAN’05]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 16
Geführte Feinbewegungen (1)
Force-Following
= Roboter durch manuelle Krafteinwirkung in bestimmte Positionen verfahren
Anwendungen
• Besondere Werkstücken (heiß/kalt, schwer/leicht, verseucht, ...)
• Dritte Hand• Programmierung von Anfahrpositionen
durch Teach-In• Präzise Vermessung von Werkstücken
Probleme
→ Bewegungen von sehr unterschiedlicher Skalierung!
→ Benutzer- und Hindernis-Kontakt zu unterschieden!
[SYROCO‘03]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 17
Geführte Feinbewegungen (2)
P-Regelung (Proportional)
• Robotergeschwindigkeit vP(t)proportional zur Krafteinwirkung Fuser(t)durch Benutzer:vP(t) = cv
. Fuser(t)
+ Präzise Führung möglich– Kraftaufwändig bei größeren Distanzen
N-Regelung (Trägheitsbasiert)
• Roboter wird zusätzlich als träge, frei schwebende Masse aufgefasst:
+ Trägheit erlaubt großräumiges Führen– Instabil bei Kontakt bzw. Kontaktnähe
N/P-Regelung (Hybrid)
• Kombination von N- und P-Regler:
• Gewicht r abhängig von Roboter-Geschwindigkeit v(t):
+ Vereinigt Vorteile von N- und P-Regler
ts
tvFm
tFtvtv frictuserN ∆⋅
⋅−+−=
2)()()1()(
2
)()()1()( tvrtvrtv NP ⋅+⋅−=
[SYROCO‘03]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 18
Geführte Feinbewegungen (3)
Experimenteller Vergleich
• Manuelles Anfahren der Punkte Pi
Endabweichung und Zeitbedarf
0
10
20
30
40
50
0 1 2 3 4
d/[mm]
t/[s]
P-ReglerN-ReglerN/P-Regler
P-Regler
0,00
0,02
0,04
0,06
0,08
0,10
0 0,5 1 1,5
|F|/[N]
|v|/[m/ s]
N-Regler
0,00
0,02
0,04
0,06
0,08
0,10
0 0,5 1 1,5
|F|/[N]
|v|/[m/s]
N/P-Regler
0,00
0,02
0,04
0,06
0,08
0,10
0 0,5 1 1,5
|F|/[N]
|v|/[m/s]
[SYROCO‘03]
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 19
Schlussfolgerungen
Zusammenfassung
• Kamerabasierte, kollisionsfreie Transferbewegungen bei dynamischen 3D-Hindernissen möglich
• Umweltveränderung durch Pick&Place-Bewegungen berücksichtigbar
• N/P-Regelung erlaubt großräumige und präzise Roboterführung
Ausblick
• Erweiterung des Differenzbildansatzes auf weitere Merkmale
• Integration der vier Kooperationsformen
• Untersuchung der Übergänge zwischen den Kooperationsformen
Sicherheitsstrategien für die Mensch/Roboter-Koexistenz und Kooperation
38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006
© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich
Seite 20
Relevante Publikationen• Ebert, D., Henrich, D.: „Safe Human-Robot-Cooperation: Problem Analysis, System
Concept and Fast Sensor Fusion" In: IEEE Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI’01), pp. 239-244, Baden-Baden, Germany, August 20 - 22, 2001
• Ebert D., Henrich D. "Safe Human-Robot-Cooperation: Image-based Collision Detection for Industrial Robots". In: IEEE International Conference on Intelligent Robots and Systems, (IROS’02), Lausanne, September 30th - October 4th, 2002.
• Ebert D.: "Bildbasierte Erzeugung kollisionsfreier Transferbewegungen für Industrieroboter", Dissertation am Fachbereich Informatik der Universität Kaiserslautern, 2003
• Stolka, Ph.; Henrich, D.: „A Hybrid Force Following Controller For Multi-Scale Motions“, In: - 7th International Symposium on Robot Control (SYROCO’03), Sept 1-3, 2003 -Wroclaw/Poland
• Henrich D., Gecks T., Ebert D.: "Bildbasierte Kollisionstests für Rano-mized-Roadmap-Bahnplaner“. In: VDI Robotik 2004, München, Deutschland, June 17.-18., 2004.
• Gecks T., Henrich D.: „SIMERO: Camera Supervised Workspace for Service Robots“. In: ASER 2004 2nd International Workshop on Advances in Service Robotics, Feldafing, Germany, 20-21 May, 2004.
• Gecks T., Henrich D.: „Human-robot cooperation: Safe pick-and-place operations“. In: 14th IEEE International Workshop on Robot and Human Interactive Communication (ROMAN’05), Nashville, 13.-15. August 2005.
• Henrich D., Kuhn S.: „Modelling intuitive behavior for safe human/robot coexistence and cooperation“. Accepted for: 2006 IEEE International Conference on Robotics and Automation (ICRA’06), Orlando, May 15. – 19., 2006.