Tehnici de control pentru sistemele servoing vizuale Cosmin.pdfTehnici de control pentru sistemele...

COPOŢ COSMIN

Tehnici de control pentru sistemele servoing vizuale

EDITURA POLITEHNIUM 2011

Editura POLITEHNIUM

a Universităţii Tehnice „Gheorghe Asachi”din Iaşi

Bd. Dimitrie Mangeron, nr.67,

RO-700050 Iaşi, România

Tel/Fax: 40 232 – 231343

Editura Politehnium (fostă „Gheorghe Asachi”) este recunoscută de

Consiliul Naţional al Cercetării Ştiinţifice din Învăţământul Superior (CNCSIS)

Referenţi ştiinţifici:

Prof. univ. dr. ing. Corneliu Lazăr

Prof. univ. dr. ing. Doru Pănescu

Director editură:

Prof. univ. dr. ing. Mihail VOICU

Membru corespondent al Academiei Române

Redactor:

Ing. Elena MATCU-ZBRANCA

Răspunderea pentru tot ceea ce conţine prezenta carte aparţine

în întregime autorului ei.

Descrierea CIP a Bibliotecii Naţionale a României

COPOŢ, COSMIN

Tehnici de control pentru sistemele servoing

vizuale / Copoţ, Cosmin. - Iaşi : Politehnium, 2011

Bibliogr.

ISBN 978-973-621-361-8

UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI MINISTERUL MUNCII, FAMILIEI ŞI

PROTECŢIEI SOCIALE AMPOSDRU

Fondul Social European

POSDRU 2007-2013

Instrumente Structurale

2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ

“GHEORGHE ASACHI” DIN IAŞI

Studiile prezentate în această carte fac obiectul unor cercetări

realizate în cadrul programului doctoral “Burse Doctorale - O Investiţie în

Inteligenţă (BRAIN)”, parcurs de către doctorand sub coordonarea

domnului Prof.univ.dr.ing. Corneliu LAZĂR.

Conținutul acestui material nu reprezintă în mod obligatoriu poziția

oficială a Uniunii Europene sau a Guvernului României.

Proiectul „Burse Doctorale - O Investiţie în Inteligenţă

(BRAIN)”, POSDRU/6/1.5/S/9, ID 6681, este un proiect strategic care are

ca obiectiv general „Îmbunătățirea formării viitorilor cercetători în cadrul

ciclului 3 al învățământului superior - studiile universitare de doctorat - cu

impact asupra creșterii atractivității şi motivației pentru cariera în

cercetare”.

Proiect finanţat în perioada 2008 - 2011.

Finanţare proiect: 14.424.856,15 RON

Beneficiar: Universitatea Tehnică “Gheorghe Asachi” din Iaşi

Partener: Universitatea “Vasile Alecsandri” din Bacău

Director proiect: Prof. univ. dr. ing. Carmen TEODOSIU

Responsabil proiect partener: Prof. univ. dr. ing. Gabriel LAZĂR

soţiei şi familiei mele

Menţiuni

Această lucrare este rezultatul cercetărilor efectuate în perioada septembrie 2008 –

septembrie 2011 în domeniul Ingineria Sistemelor, în cadrul Facultăţii de Automatică şi

Calculatoare, Universitatea Tehnică „Gheorghe Asachi”, Iaşi. Pe parcursul studiilor doctorale

am beneficiat de bursă doctorală prin proiectul BRAIN, finanţat de Uniunea Europeană.

Pe tot parcursul efectuării acestei lucrări am avut parte de sprijinul necondiţionat al

conducătorului tezei de doctorat, domnul Prof. dr. ing. Corneliu Lazăr, căruia doresc să îi

mulţumesc pe această cale pentru toată răbdarea cu care m-a îndrumat în activitatea ştiinţifică

şi pentru colaborarea fructuoasă avută pe parcursul cercetărilor doctorale care a contrinuit la

formarea mea ştiinţifică.

De asemenea, doresc să mulţumesc domnului dr. Adrian Burlacu, pentru sprijinul

moral şi ştiinţific, încrederea acordată şi buna colaborare pe parcursul celor trei ani de

doctorat.

Totodată, ţin să muţumesc domnului dr. Enric Cervera, Universitatea “Jaume I” din

Spania pentru posibilitatea acordată de a-mi desfăşura stagiul extern de cercetare în cadrul

laboratorului de robotică şi inteligenţă artificială.

Mulţumesc colegilor: Andreea, Alina, Costi, Carlos, Bogdan, Marius, Mircea, Simona,

Alex din cadrul departamentului de Automatică şi Calculatoare pentru mediul creat şi pentru

timpul petrecut împreună în laborator şi nu numai.

În cele din urmă aş dori să mulţumesc familiei şi soţiei pentru spijinul şi încrederea

acordată pe parcursul celor trei ani de doctorat.

CUPRINS

CUPRINS ................................................................................................................................... I

LISTA DE FIGURI ................................................................................................................. V

LISTA DE ABREVIERI ........................................................................................................ IX

CAPITOLUL 1. INTRODUCERE ......................................................................................... 1

1.1. SISTEMELE SERVOING VIZUALE ................................................................................ 1

1.2. TRĂSĂTURI VIZUALE ................................................................................................ 2

1.3. CONTROLUL SISTEMELOR SERVOING VIZUALE ......................................................... 3

1.4. REZUMATUL TEZEI ................................................................................................... 4

1.5. DISEMINAREA REZULTATELOR ................................................................................. 6

CAPITOLUL 2. SISTEME SERVOING VIZUALE ............................................................ 9

2.1. INTRODUCERE .......................................................................................................... 9

2.2. TRĂSĂTURI VIZUALE .............................................................................................. 10

2.2.1. Puncte de interes ................................................................................. 11

2.2.1.1. Operatorul Harris ................................................................ 11

2.2.1.2. Detectorul SIFT .................................................................... 13

2.2.2. Momente ale imaginii .......................................................................... 19

2.3. MODELAREA ANSAMBLUI ROBOT – SENZOR VIZUAL .............................................. 22

2.3.1. Model multivariabil de tip ARIMAX ................................................... 23

2.3.2. Model cu observer robust pentru perturbatii in bucla interna ........... 26

2.4. MATRICEA DE INTERACȚIUNE ................................................................................ 27

2.4.1. Matricea de interacţiune pentru puncte de interes ............................. 28

2.4.2. Matricea de interacţiune pentru momente ale imaginii ...................... 30

2.5. ARHITECTURI DE CONTROL .................................................................................... 35

2.5.1. Arhitectura de control bazată pe poziție ............................................. 36

2.5.2. Arhitectura de control bazată pe imagine ........................................... 37

2.5.3. Legi de control .................................................................................... 39

2.5.3.1. Controlul proporțional ......................................................... 39

2.5.3.2. Controlul predictiv ............................................................... 41

Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași

ii

2.6. SIMULATOR PENTRU SISTEMELE SERVOING ............................................................ 42

2.7. CONCLUZII ............................................................................................................. 47

CAPITOLUL 3. ANALIZA PERFORMANŢELOR TRĂSĂTURILOR VIZUALE

UTILIZATE ÎN APLICAŢII SERVOING .......................................................................... 49

3.1. INTRODUCERE ........................................................................................................ 49

3.2. DETECȚIA ȘI EVALUAREA TRĂSĂTURILOR PUNCTIFORME ....................................... 50

3.2.1. Criterii de evaluare a punctelor de interes ......................................... 51

3.2.2. Implementarea operatorilor Harris și SIFT ........................................ 56

3.2.2.1. Implementarea operatorului Harris ...................................... 56

3.2.2.2. Implementarea detectorului SIFT .......................................... 58

3.2.3. Analiza performanțelor pentru aplicații servoing ................................ 62

3.3. EVALUAREA TRĂSĂTURILOR DE TIP MOMENTE ALE IMAGINII .................................. 65

3.3.1 Criteriu de evaluare a momentelor derivate din puncte de interes ....... 66

3.3.2. Analiza performanțelor pentru aplicații servoing ................................ 68

3.4. CONCLUZII .............................................................................................................. 71

CAPITOLUL 4. LEGI DE CONTROL CONVENŢIONALE ........................................... 75

4.1 INTRODUCERE .......................................................................................................... 75

4.2. LEGEA DE CONTROL PROPORȚIONALĂ .................................................................... 76

4.3. SIMULATOARE SERVOING PENTRU REGLAREA PROPORȚIONALĂ ............................. 78

4.3.1. Simulator pentru trăsături punctiforme .............................................. 79

4.3.2. Simulator pentru momente ale imaginii .............................................. 80

4.3.3. Rezultate obținute prin simulare ......................................................... 82

4.4. IMPLEMENTAREA ÎN TIMP REAL A UNUI REGULATORUL PROPORȚIONAL BAZAT PE

PUNCTE DE INTERES ....................................................................................................... 85

4.4.1. Arhitectura de control ......................................................................... 85

4.4.2. Interfațarea cu robotul ........................................................................ 90

4.4.3. Rezultate experimentale ...................................................................... 91

4.4.3.1. Rezultate obţinute cu operatorul Harris............................... 91

4.4.3.2. Rezultate obţinute cu operatorul SIFT ................................. 97

4.6. CONCLUZII ........................................................................................................... 100

CAPITOLUL 5. TEHNICI DE CONTROL PREDICTIV PENTRU SISTEMELE

SERVOING ........................................................................................................................... 103

5.1. INTRODUCERE ...................................................................................................... 103

5.2. ALGORITMI DE CONTROL PREDICTIV PENTRU TRĂSĂTURI PUNCTIFORME ............. 104


iii

5.2.1. Predictor pentru puncte de interes .................................................... 104

5.2.2. Generarea traiectorie de referință pentru puncte de interes ............ 105

5.2.3. Funcția de cost .................................................................................. 109

5.2.4. Simulator pentru puncte de interes folosind controlul predictiv ....... 110

5.3. ALGORITMI DE CONTROL PREDICTIV PENTRU MOMENTE ALE IMAGINII................. 112

5.3.1. Predictor pentru momente ale imaginii ............................................ 113

5.3.2. Funcția de cost .................................................................................. 116

5.3.3. Simulator pentru momente ale imaginii folosind controlul predictiv 117

5.4. IMPLEMENTAREA ÎN TIMP REAL A REGULATORULUI PREDICTIV ............................ 123

5.4.1. Arhitectura de control ....................................................................... 123

5.4.2. Rezultate experimentale .................................................................... 126

5.5. CONCLUZII ........................................................................................................... 132

CAPITOLUL 6. CONCLUZII ŞI DIRECŢII VIITOARE ............................................... 135

6.1. CONTRIBUȚII ........................................................................................................ 136

6.2. DIRECȚII VIITOARE ............................................................................................... 137

BIBLIOGRAFIE .................................................................................................................. 141

v

Lista de figuri

Figura 2.1. Principiul funcţiei de auto-corelaţie ..................................................................... 12

Figura 2.2. (a) Reprezentarea scalei pentru 3 niveluri ale unei octave; (b) Fereastra de 3 3

din jurul punctului P ............................................................................................................... 15

Figura 2.3. (a) Histograma orientărilor; (b) Orientările fundamentale .................................. 18

Figura 2.4. (a) Trăsăturile obiectului detectatea cu SIFT; (b) Orientarea şi magnitudinea

celor 256 de pixeli din vecinătate de 16x16; (c) Descriptorul trăsăturii .................................. 18

Figura 2.5. Sistem visual servoing pentru controlul roboților ............................................... 22

Figura 2.6. Modelul VCMD al robotului ............................................................................... 24

Figura 2.7. Modelul liniarizat pentru VCMD ........................................................................ 24

Figura 2.8. Senzorul vizual .................................................................................................... 25

Figura 2.9. Structura de control pentru un sistem servoing ................................................... 25

Figure 2.10. Robotul modelat ca un VCMD folosind DOB ................................................... 26

Figura 2.11. Structura de control a unui sistem servoing când robotul este modelat folosind

DOB ......................................................................................................................................... 27

Figura 2.12. Proiecţia în perspectivă a unui punct 3D ........................................................... 28

Figura 2.13. (a) Configuarţia eye-in-hand; (b) Configuraţia eye-to-hand ............................. 36

Figura 2.14. Diagrama bloc pentru arhitectura bazată pe poziţie .......................................... 36

Figura 2.15. Diagrama bloc pentru arhitectura bazată pe imagini ......................................... 37

Figura 2.16. Un exemplu al arhitecturii bazate pe imagini (camera este statică) .................. 38

Figura 2.17. Predictor bazat pe puncte de interes .................................................................. 41

Figura 2.18. Schema simulink pentru IBVS cand modelul robotului este 1 .......................... 43

Figura 2.19. Sistemele de coordonate ale robotului, camerei şi obiectului ............................ 44

Figura 2.20. Blocul Frame motion .......................................................................................... 46

Figura 3.1. Repetabilitatea şi -repetabilitatea unui punct 1p .............................................. 53

Figura 3.2. Trăsături detectate cu operatorul Harris pentru o secvență de imagini ............... 58

Figura 3.3. Trăsături extrase cu detectorul SIFT .................................................................... 60

Figura 3.4. Magnitudinea și orientarea pentru vecinătatea unui punct .................................. 62

Figura 3.5. Achiziţia imaginilor folosind robotul ABB ......................................................... 62

Figura 3.6. Secvenţa de imagini achiziţionată cu sistemul servoing real ............................... 63


vi

Figura 3.7. Gradul de împrăștiere .......................................................................................... 64

Figura 3.8. Rata de repetabilitate pentru F1 ........................................................................... 64

Figura 3.9. Rata de repetabilitate pentru descriptorul F2 ....................................................... 65

Figura 3.10. Rata de repetabilitate pentru F3 ......................................................................... 65

Figura 3.11. (a) ansamblul de puncte de interes detectate; (b) forma convexă ataşată

punctelor de interes; (c) forma convexă când dispar puncte nesemnificative; (d) forma

convexă când dispar puncte semnificative ............................................................................... 67

Figura 3.12. Scena de lucru pentru achiziția imaginilor ........................................................ 68

Figura 3.13. Punctele de interes extrase cu operatorul Harris când 83% ....................... 69

Figura 3.14. Distanţa Hausdorff șiftată corespunzătoare momentelor calculate pentru două

seturi de puncte de interes (două seturi diferite de parametrii, 1 şi 2 ) ................................ 70

Figura 3.15. Distanţa Hausdorff ............................................................................................. 70

Figura 3.16. Distanţa Hausdorff șiftată .................................................................................. 71

Figura 4.1. Arhitectura IBVS a unui sistem servoing ............................................................ 76

Figura 4.2. Structura de control pentru IBVS ce include modelul robotului ......................... 79

Figura 4.3. Arhitectura de control bazată pe feekback vizual pentru un sistem servoing ce

utilizează trăsături de tip momente ale imaginii ....................................................................... 81

Figura 4.4. Task servoing ....................................................................................................... 82

Figura 4.5. Viteza camerei când se utilizează trăsături de tip puncte de interes .................... 84

Figura 4.6. Viteza camerei când se utilizează trăsături de tip momente ale imaginii ............ 84

Figura 4.7. Eoarea momentelor imaginii ................................................................................ 84

Figura 4.8. Structura existenta folosind Modulul Opti-Master .............................................. 86

Figura 4.9. Arhitectura de control .......................................................................................... 87

Figura 4.10. Interfața cu utilizatorul ...................................................................................... 91

Figura 4.11. Sistemul servoing ............................................................................................... 92

Figura 4.12. Secvenţă de imagini achiziţionate în timpul execiţiei algoritmului................... 93

Figura 4.13. Evoluţia în timp a trăsăturilor din planul imaginii............................................. 94

Figura 4.14. Evoluţia vitezei camerei .................................................................................... 95

Figura 4.15. Evoluţia în spaţiul Cartesian a camerei ............................................................. 95

Figura 4.16. Traiectoriile trăsăturilor din planul imaginii: a) T=0.5; b) T=0.9 ...................... 95

Figura 4.17. Traiectoria camerei pentru valori diferite ale timpului de execuție T .............. 96

Figura 4.18. Traiectoriile trăsăturilor vizuale din planul imaginii: a) 0.01 ; b) 0.02 96

Figura 4.19. Evoluţia în timp a erorii pentru valori diferite ale parametrului ................... 97


vii

Figura 4.20. Secvenţa de imagini achiziţionate cu senzorul vizual ....................................... 97

Figura 4.21. Evoluţia în timp a trăsăturilor din planul imaginii pentru: (a) 0.05 ; (b)

0.07 ................................................................................................................................... 98

Figura 4.22. Evoluţia în timp a erorii pentru 0.05 şi 0.07 ....................................... 99

Figura 4.23. Evoluţia vitezei camerei pentru: (a) 0.05 ; (b) 0.07 ............................. 99

Figura 5.1. Arhitectura unui sistem servoing bazată pe controlul predictiv ........................ 105

Figura 5.2. Traiectoria de referință ...................................................................................... 106

Figura 5.3. Proiecţia unui punct din spaţiul 3D în planul imaginii pentru două posturi diferite

ale camerei .............................................................................................................................. 107

Figura 5.4. Variația fucției de timp q în raport cu modificarea parametrului ................ 108

Figura 5.5. Simulator control predictiv – puncte de interes ................................................. 110

Figura 5.6. Traiectoria de referință corespunzătoare punctelor de interes pentru:

(a) ( /12)tg ; (b) ( / 3)tg ...................................................................................... 111

Figura 5.7. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul

proporțional ............................................................................................................................ 111


predictiv .................................................................................................................................. 112


predictiv folosind traiectoria de referință ............................................................................... 112

Figura 5.10. Predictorul pe un pas pentru momente ale imaginii folosind puncte de interes

................................................................................................................................................ 113

Figura 5.11. Arhitectura de control predictiv folosind predictorul pentru momente ale

imaginii bazat pe puncte de interes ........................................................................................ 113

Figura 5.12. Predictorul pe un pas bazat pe momente ale imaginii ..................................... 114

Figura 5.13. Arhitectura de control predictiv folosind predictorul bazat pe momente ........ 115

Figura 5.14. Arhitectura de control folosind predictorul bazat pe momente ale imaginii și

traiectoria de referință ............................................................................................................ 115

Figura 5.15. Traiectoria de referință pentru momente ale imaginii ..................................... 116

Figura 5.16. Simulator control predictiv – momente ale imaginii ....................................... 117

Figure 5.17. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) pentru cazul în

care predicția momentelor se realizează folosind puncte de interes ...................................... 120

Figure 5.18. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) pentru cazul în

care predicția momentelor se realizează direct în spațiul momentelor .................................. 120


viii

Figure 5.19. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) când predicția

momentelor se realizează în spațiul momentelor folosind traiectoria de referință ................ 120

Figura 5.20. Traiectoria de referință pentru: (a) 0 ; (b) ( /8)tg ; .......................... 121

Figura 5.21. Viteza camerei (a), (c), (e) și traiectoria punctelor în planul imaginii (b), (d), (f)

în raport cu cele trei valori ale lui ..................................................................................... 122

Figura 5.22. Arhitectura de control pentru sistemul în timp real ......................................... 123

Figura 5.23. Interfaţa de comunicare ................................................................................... 125

Figura 5.24. Sistemul servoing ............................................................................................. 127

Figura 2.25. Sistemul de coordonate pentru configuraţia eye-in-hand în poziţia de calibrare a

robotului ................................................................................................................................. 128

Figura 5.26. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea inițială; (b)

imaginea dorită ....................................................................................................................... 129

Figura 5.27. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de interes;

(b) bazat pe momente ale imaginii ......................................................................................... 129

Figura 5.28. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de interes; (b)

bazat pe momente ale imaginii ............................................................................................... 130

Figura 5.29. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea inițială; (b)

imaginea dorită în cazul unui obiect pătrat ............................................................................ 130

Figura 5.30. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de interes;

(b) bazat pe momente ale imaginii pentru un obiect pătrat .................................................... 131

Figura 5.31. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de interes; (b)

bazat pe momente ale imaginii pentru un obiect pătrat .......................................................... 131

ix

Lista de abrevieri

ARIMAX Auto Regressive Integrated Moving Average with Exogeneous

Input

D-H Denavit-Hartenberg

DOB Disturbance Observer

DoG Difference of Gaussian

FRC Fanuc Robot Class

HVS Hybrid Visual Servoing

IBVS Image Based Visual Servoing

PBVS Position Based Visual Servoing

RCI Robot Communication Interface

RDI Robot Driver Interface

RPbI Regulator Predictiv Bazat pe Imagine

SIFT Scale Invariant Feature Transform

TCP Tool Center Point

VCMD Virtual Cartesian Motion Device

VISP Visual Servoing Platform

ZOH Zero-Order Hold

Capitolul 1. Introducere

Cercetările recente din domeniul roboticii vizează folosirea unor senzori auxiliari care

să contribuie la îmbunătățirea robusteții, flexibilității și preciziei sistemului. Informațiile

senzoriale obținute sunt folosite în bucla de reglare a sistemului. În ultimii ani s-au fost

dezvoltat diferite tipuri de senzori pentru îndeplinirea unor sarcini specifice, dar care în

același timp diferă între ele. În robotică, cei mai folosiți senzori sunt: senzori de forță, senzori

de cuplu, senzori cu ultrasunete și senzori vizuali. Dintre toate tipurile de senzori, senzorul

vizual oferă cele mai complete informații ce pot fi folosite în bucla de reglare. Prin folosirea

acestui tip de senzor, robotul poate interacţiona cu mediul de lucru fără a intra în contact cu

acesta. Utilizarea trăsăturilor vizuale extrase din imaginile achiziționate cu ajutorul senzorului

vizual pentru a închide bucla de reglare a sistemului, reprezintă o metodă viabilă pentru a

controla mișcările robotului și este cunoscută sub denumirea de sistem servoing vizual.

1.1. Sistemele servoing vizuale

Sistemele servoing vizuale reprezintă o ramură de cercetare care îmbină rezultatele din

diferite domenii cum ar fi: vederea artificială, robotică, precum și proiectarea aplicațiilor în

timp real, acesta devenind un domeniu de interes major pentru cercetările din ultimul

deceniu. Sistemele servoing se referă la folosirea trăsăturilor vizuale pentru a controla

traiectoria mișcării unui robot manipulator. Trăsăturile vizuale sunt definite ca proprietăți ale

obiectelor ce compun o imagine. Imaginile pot fi achiziționate cu ajutorul unui senzor vizual

care este montat fie într-o poziție fixă în mediul de lucru, fie pe ultima articulație a robotului.

Prima configurație este denumită eye-to-hand, iar cea de-a doua configurație este denumită

eye-in-hand și este folosită pentru realizarea experimentelor din cadrul tezei de doctorat. În

(Weiss, 1988) se face pentru prima dată o descriere completă a celor două arhitecturi

fundamentale ale sistemelor servoing vizuale: arhitectura bazată pe poziţie si arhitectura

bazată pe imagine. Fiecare din cele doua arhitecturi prezintă avantaje si dezavantaje pentru

procesele de timp real (Corke și Hutchinson, 2001).

Arhitectura bazată pe poziţie constă în calcularea unei erori reprezentate în sistemul

Cartezian şi necesită atât un model al obiectului ( de obicei de tip CAD) cât şi o cameră

perfect calibrată pentru a obţine o estimare a poziţiei şi orientării obiectului (Mezouar și

Chaumette, 2002).

Capitolul 1 – Introducere

2

Avându-se ca unul din scopurile principale stabilitatea globală a sistemelor servoing,

s-a constatat faptul că arhitectura bazată pe poziţie suferă limitări masive din punct de vedere

al robusteţii şi descrierii matematice a modelelor necesare implementărilor fizice. Astfel, aşa

numitele metode hibride, au fost create pentru a combina avantajele celor două arhitecturi

(Kyrki et al., 2004; Comport et al., 2003).

În cazul arhitecturii bazate pe imagine, se evita folosirea unui model al obiectului prin

măsurarea unui semnal eroare în planul imaginii, semnal mapat direct în comenzile

elementului de execuţie al robotului (Corke și Hutchinson, 2001).

Ambele arhitecturi folosesc trăsături vizuale ca mărimi de caracterizare a proprietăţilor

obiectelor în planul imaginii. Dacă pentru arhitectura bazată pe poziţie trăsăturile sunt folosite

pentru a caracteriza poziţii prin corelarea planului imaginii cu spaţiul tridimensional, în cazul

arhitecturii bazate pe imagine aceste trăsături conduc la formarea matricii Jacobian, matrice ce

reprezintă maparea între vitezele obiectelor proiectate în planul imaginii şi mediul de lucru al

robotului. Singularităţile care pot să apară în cazul matricii Jacobian plus imposibilitatea

controlului direct asupra vitezelor dezvoltate de robot în spaţiul tridimensional conduc la

dificultăţi în proiectarea regulatorului. În cazul arhitecturii bazate pe imagine, modul de

abordare este de a reduce eroarea dintre un set de trăsături curente și un set de trăsături dorite.

O functie eroare este definită din punct de vedere al cantităților care pot fi măsurate direct

într-o imagine, iar legea de control este construită astfel încât această eroare mapează direct

mișcarea robotului. În funcție de tipul arhitecturii de control folosite, un obiect poate fi

caracterizat prin poziția sa sau pe baza trăsăturilor vizuale extrase din imagine.

1.2. Trăsături vizuale

Alegerea unui set adecvat de trăsături vizuale este necesară pentru a se asigura o

corelare cât mai exactă între dinamica din spaţiul imaginii şi dinamica din spaţiul task-urilor,

ceea ce conduce la diferite entităţi: trăsături de tip punct (centroizi, colţuri), momente ale

imaginii, ariile regiunilor proiectate, orientarea liniilor care unesc doua puncte, lungimile

muchiilor, parametrizarea liniilor etc. (Marchand și Chaumette, 2005; Chaumette, 2004;

Mahony et al., 2002). Aceste tipuri de trăsături vizuale pot fi folosite pentru generarea legii de

control bazate pe imagine. Cele mai utilizate sunt trăsăturile punctiforme și cele bazate pe

momente ale imaginii. Trăsăturile punctiforme pot fi uni-dimensionale (muchie) și bi-

dimensionale (colţ). Principalul avantaj al folosirii trăsăturilor punctiforme este acela al

calculării matricei de interacțiune relativ simplu deoarece coordonatele punctelor sunt

cunoscute. Dezavantajul utilizării punctelor de interes în aplicații servoing fiind acela al

stabilității reduse (nu sunt invariante la transformări ale obiectului în scena de lucru). Această

problemă întâlnită la trăsăturile punctiforme poate fi eliminată dacă se folosesc trăsături de tip


3

momente ale imaginii pentru a genera legea de control. Ideea folosirii momentelor în aplicații

servoing este relativ veche, dar problema era matricea de interacțiune care nu era disponibila

pentru orice tip de obiect. În (Chaumette, 2004) a fost dezvoltată o metodă cu ajutorul căreia

se poate calcula matricea de interacțiune corespunzătoare momentelor imaginii pentru orice

tip de obiect. Trăsăturile de tip momente ale imaginii fiind astfel utilizate mai des în aplicații

servoing.

1.3. Controlul sistemelor servoing vizuale

Controlul roboţilor studiază structura şi funcţionarea sistemului de comandă al

roboţilor. Pe baza modelului geometric şi dinamic, a sarcinii de îndeplinit convertită în

traiectoria de urmat, se stabilesc comenzile necesare elementelor de acţionare şi elementelor

hardware şi software care să furnizeze aceste comenzi, folosind şi semnalele de reacţie

obţinute de la sistemul senzorial (Spong et al., 2006). Rezultă astfel complexitatea sistemului

de control al unui robot. Acesta va avea frecvent o organizare ierarhică, în care pe nivelul

superior se află partea de decizie cu privire la acţiunea de întreprins, iar pe nivelul inferior

elementele de control şi acţionare ale articulaţiilor. Aceste comenzi vor trebui să ţină seama şi

de performanţele dorite pentru robot, aici intervenind modelul dinamic al robotului. Structura

tipică a sistemului de control va conţine un calculator pe nivelul superior şi un sistem cu unul

sau mai multe microcontrolere comandând elementele de acţionare din articulaţii.

Dintre toate domeniile în care un robot, sau un calculator, poate fi comparat cu

performanţele umane, văzul este probabil mai puţin satisfăcătoare prin calitatea rezultatelor.

Pentru că, chiar dacă suntem în stare să construim senzori mult mai sensibili decât organele

umane de simţ, nu putem egala resursele computaţionale dedicate de creier acestei activităţi.

În mod paradoxal, progresele din vederea artificială nu fac decât să sporească admiraţia

pentru modul în care creierul uman procesează imaginile, de la fizica formării imaginii, până

la sistemele de prelucrare şi analiză, precum şi pentru adaptabilitatea remarcabilă, la condiţii

de mediu extrem de schimbătoare. Din păcate, foarte multe lucruri ne sunt necunoscute despre

felul în care creierul procesează informaţiile vizuale, aşa că nu putem „copia” soluţia sa.

Selectarea unui set adecvat de trăsături vizuale și proiectarea legii de reglare reprezintă

principalul aspect pentru a obține o arhitectură de control cu performanțe ridicate. Cele mai

întâlnite probleme în sistemele servoing care influențează procesul de selectare a trăsăturilor

vizuale sunt problemele de minim local, problemele de singularitate și problemele de

vizibilitate. În general, problemele de minim local apar numai în anumite configurații

(Chaumette, 1998). Noțiunea de bază pentru un minim local este atunci când viteza camerei

0c v în timp ce eroarea dintre trăsăturile curente f şi cele dorite f este diferită de zero,

astfel sistemul converge către o configurație finală care este diferită de configurația dorită.


4

Dacă vectorul trăsăturilor vizuale f este compus din trei puncte de interes, aceeași imagine a

celor trei puncte poate fi vazută din diferite ipostaze astfel încât pentru diferite configurații ale

camerei să avem f f , adică avem mai multe minime globale. Pentru a obține o poziție

unică este necesar folosirea a cel puțin patru puncte. Prin utilizarea a patru puncte, legea de

control încearcă să impună 8 restricţii traiectoriei în planul imaginii în timp ce sistemul are

doar 6 grade de libertate. În acest caz, legea de control poate genera mișcări irealizabile în

planul imaginii indicând un minim local (Chaumette, 1998). Există diferite strategii de control

pentru sistemele servoing vizuale propuse în vederea eliminării problemei minimului local.

De exemplu, în (Gans și Hutchinson, 2007) s-a propus folosirea unei arhitecturi hibride, iar în

(Mezouar și Chaumette, 2002) folosirea unei strategii de planificare.

Dacă matricea de interacțiune este singulară, aceasta poate genera o problemă de

singularitate, adică, viteza tinde la infinit și sistemul servoing devine instabil. De exemplu,

această problemă poate apărea atunci când se utilizează un set de patru puncte de interes ca

trăsături vizuale, iar pentru a finaliza taskul servoing camera necesită o mișcare de rotație pură

de 180 în jurul axei sale optice. Pentru a realiza această mișcare punctele trebuie să se miște

concomitent în linie dreaptă, caz în care matricea de interacțiune este singulară (Chaumette,

1998). În astfel de cazuri, când este necesară o mișcare de rotație pură în jurul axei optice

corespunzătoare camerei, singularitatea poate fi evitată dacă în locul trăsăturilor de tip punct

de interes se folosesc parametrii cilindrici.

Trăsăturile vizuale utilizate în sistemele servoing pot părăsi spațiul camerei pe

parcursul taskului servoing (Chesi și Vicino, 2004). De aceea, este de dorit ca legile de

control folosite să fie capabile să păstreze trăsăturile vizuale în câmpul de vedere al camerei

pentru a obține un feedback corect în timpul procesului servoing. Pentru a minimiza

probabilitatea ca trăsăturile vizuale să părăsească spațiul camerei pot fi folosite strategii de

planificare (Mezouar și Chaumette, 2002) sau de marcare (Gans și Hutchinson, 2007).

Creşterea numărului de grade de libertate ale roboţilor incluşi în sistemele servoing şi

complexitatea mărită a obiectelor din scena de lucru (Fuijimoto, 2003) au condus la

necesitatea implementării de noi metode pentru proiectarea legii de control. Astfel una din

soluţiile propuse vizează controlul predictiv (Gangloff și Mathelin, 2003) cu scopul de a

creşte viteza de răspuns a sistemului servoing.

1.4. Rezumatul tezei

Lucrarea este structurată în șase capitole după cum urmează:

În capitolul 2 intitulat ”Sisteme servoing vizuale” sunt prezentate diverse metode din

sistemele servoing vizuale care vor fi ulterior folosite pentru dezvoltarea contribuțiilor proprii


5

din cadrul tezei. Prima parte a acestui capitol este dedicată detectării a două tipuri de trăsături

vizuale: puncte de interes şi momente ale imaginii. O trăsătură vizuală de tip punct de interes

este o locaţie din planul imaginii în care funcţia imagine are variaţii pe cel puţin două direcţii.

Pentru extragerea punctelor de interes se folosesc două detectoare: operatorul Harris şi

detectorul SIFT. Momentele imaginii reprezintă trăsături geometrice globale ale funcţiei

imagine. Sistemul servoing vizual este compus dintr-un robot manipulator, un senzor vizual și

un regulator bazat pe imagine. În continuare sunt prezentate două metode folosite pentru

modelarea ansamblului robot-senzor vizual. Aceste metode de deducere a ansamblului robot-

senzor vizual se bazează fie pe un model multivariabil de tip ARIMAX, fie pe un model cu

observer robust pentru perturbaţii. În acest capitolul mai sunt prezentate și metodele analitice

folosite pentru calculul matricei de interacțiune pentru puncte de interes și respectiv pentru

momente ale imaginii. Pentru efectuarea experimentelor din cadrul tezei de doctorat se

utilizează arhtectura de control bazată pe imagine, astfel, pentru a realiza legătura dintre

trăsăturile vizuale din planul imaginii și spațiul Cartesian este necesar calcularea matricei de

interacțiune. În finalul acestui capitol sunt prezentate arhitecturile fundamentale ale sistemelor

servoing: arhitectura bazată pe poziţie şi arhitectura bazată pe imagine. Simulatorul pentru

sistemele servoing care stă la baza simulatoarelor servoing dezvoltate în cadrul cercetărilor

doctorale este prezentat în ultima parte a acestui capitol.

Capitolul 3 intitulat ”Analiza performanțelor trăsăturilor vizuale utilizate în aplicații

servoing” este dedicat criteriilor de evaluare a trăsăturilor de tip puncte de interes și a

trăsăturilor de tip momente ale imaginii în aplicații servoing. Evaluarea trăsăturilor de tip

puncte de interes se realizează pe baza criteriilor utilizate în aplicații servoing cum ar fi:

stabilitate, robustețe, repetabilitate și gradul de împrăștiere. Pentru a analiza performanțele

trăsăturilor de tip momente ale imaginii s-a propus un nou criteriu de evaluare ce se bazează

pe distanța Hausdorff. Acest criteriu ce utilizează momente ale imaginii permite atât o analiză

cantitativă cât și calitativă a punctelor de interes detectate, realizându-se astfel o analiză mai

complexă a punctelor de interes ce caracterizează starea unui obiect.

În capitolul 4 intitulat ”Legi de control convenționale” este prezentată arhitectura de

control bazată pe feedback vizual în care dinamica robotului a fost modelată ca un dispozitiv

de mişcare cartesian virtual (Virtual Cartesian Motion Device - VCMD). Performanțele

sistemului servoing au fost analizate folosind un regulator proporțional bazat pe imagine ce

utilizează fie trăsături de tip puncte de interes, fie trăsături de tip momente ale imaginii pentru

a genera legea de reglare. Pentru implementarea, testarea și validarea algoritmului de control

s-a dezvoltat două simulatoare cu regulator proporțional bazat pe trăsături de tip puncte de

interes și, respectiv, trăsături de tip momente ale imaginii. Pornind de la aceste simulatoare

servoing s-a dezvoltat o arhitectură de control pentru a controla în timp real mișcarea unui


6

robot manipulator ABB IRB2400 cu 6 grade de libertate. Pentru proiectarea legii de reglare s-

a folosit trăsături vizuale de tip puncte de interes și un regulator proporțional bazat pe

imagine.

Capitolul 5 intitulat ”Tehnici de control predictiv pentru sistemele servoing” este

dedicat metodelor de control predictiv utilizate în sistemele servoing vizuale. Pentru a

predicta mișcarea trăsăturilor vizuale în planul imaginii, s-a utilizat un predictor bazat pe

modelul local al sistemului servoing vizual. În cadrul strategiei de control predictiv s-a

dezvoltat o nouă arhitectură de control predictiv pentru sistemele servoing care, pentru prima

dată, utilizează o traiectorie de referință pentru generarea dinamicii (vitezei de răspuns)

sistemului de control. În cazul trăsăturilor vizuale de tip momente ale imaginii au fost propuse

două metode folosite pentru a calculul predicțiilor trăsăturilor de tip momente. Pentru a testa

și valida teoria propusă s-a dezvoltat simulatoare servoing ce se bazează pe controlul

predictiv. Folosind teoria propusă s-a realizat un sistem servoing pentru controlul în timp real

a unui robot manipulator FANUC cu 6 grade de libertate.

În capitolul 6 se prezintă concluziile finale, contribuțiile originale din cadrul tezei,

precum și direcțiile viitoare de cercetare.

1.5. Diseminarea rezultatelor

Rezultatele cercetărilor doctorale au fost prezentate în 13 articole publicate sau

acceptate spre publicare din care: o lucrare într-o revistă cotată ISI cu factor de impact 1.717,

două lucrări în reviste indexate BDI, un capitol în carte publicată la editura ELSEVIER, 7

lucrări la conferinţe cu volume indexate în baze de date internaţionale din care 5 ISI

Proceedings, una la Congresul IFAC 2011 şi una SCOPUS şi două lucrări la conferinţe

internaţionale la care se efectuaează recenzia lucrărilor.

Reviste ISI cu factor de impact

Copoț C., Lazăr C. și Burlacu A., (2011). Predictive Control of Nonlinear Visual

Servoing Systems using Image Moments, IET Control Theory and Applications,

accepted with revisions (cotată ISI, impact factor = 1.717).

Reviste indexate BDI

Copoţ C., Burlacu A., Lazăr C., (2011). Image moments based predictive control for

eye-in-hand servoing systems, Buletinul Institutului Politehnic din Iași, Automatic

Control and Computer Science Section, Tome LVII (LXI), Fasc. 1. (indexată

Zentralblatt)

http://zb.msri.org/ZMATH/serials/en/search/?an=00002662


7

Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature

Tracking, The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-

64. (indexată PROQUEST-CSA / EBSCO ).

Capitol în carte

Copoț C., Lazăr C. şi Burlacu A. (2011). Nonlinear Model based Predictive Control

of Visual Servoing Systems using Image Moments, editura ELSEVIER, In Press.

Conferinţe cu volume indexate în baze de date internaţionale

ISI Proceedings

Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011). Real-Time Visual Predictive

Control of Manipulation Systems, Proc. of. IEEE 15th

International Conference on

Advanced Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388. (indexată ISI

Proceedings)

Copoț C., Burlacu A. și Lazăr C., (2011). Visual Predictive Control Architecture

based on Image Moments for Manipulators Robots, Proc. of 20th

IEEE Int. Symposium

on Industrial Electronics, Gdansk, Polonia, pag. 963 – 968. (indexată ISI Proceedings)

Copoţ C., Burlacu A., Lazăr C., (2010). Visual control architecture of servoing

systems based on image moments, Proc. of 12th

Int. Conference on Optimization of

Electrical and Electronic Equipment (OPTIM), Braşov, pag.801-806. (indexată ISI

Proceedings)

Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for

evaluation of image moments in servoing applications, Proc. of IEEE Int. Conference

on Intteligent computer Communication and Processing, Cluj-Napoca, pag.255-258.

(indexată ISI Proceedings)

Copoţ C., Burlacu A. şi Lazăr C. (2009). Image Moments Based Visual Control

Algorithm for Servoing Systems, Proc. of IEEE International Conference on

Intelligent Computer Communication and Processing, Cluj-Napoca, pag. 157-160.

(indexată ISI Proceedings)

Congresul IFAC

Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual

Servoing of Robot Manipulators, Proc. of 18th

IFAC World Congress, Milano, Italia,

August 2011, pag. 9464-9469.

SCOPUS

Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011). Real-time Image

Based Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference

on Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.

(indexată SCOPUS/SciTePress)


8

Conferinţe internaţionale la care se efectuaează recenzia lucrărilor

Copoţ C., Burlacu A., Lazăr C. (2010). An image moment based approach for visual

predictive control, Proc. of 14th

Int. Conference on System Theory and Control

(ICSTC), Sinaia, pag.154-159.

Copoț C., Lazăr C. şi Burlacu A. (2009). Image features detection and analysis for

visual servoing applications, Proc. of 17th

International Conference on Control

Systems and Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.

Capitolul 2. Sisteme servoing vizuale

2.1. Introducere

Visual servoing reprezintă o fuziune a rezultatelor obţinute din cercetări ale mai

multor domenii cum ar fi analiza şi procesarea în timp real a imaginilor, robotică, teoria

controlului şi a sistemelor, proiectarea aplicaţiilor în timp real. Una dintre componentele

fundamentale ale unui robot este senzorul vizual, care permie investigarea mediului de lucru

fără a fi necesar contactul cu elementele acestuia (Shapiro şi Stockman, 2000; Ponce, 2003).

Comportarea sistemelor servoing vizuale este în principal influențată de tipul trăsăturilor

vizuale utilizate pentru a genera legea de control. Arhitecturile de control corespunzătoare

sistemelor servoing sunt împărțite în trei categorii: arhitectura bazată pe poziție (PBVS – eng.

Position Based Visual Servoing) (Deng et al., 2003; Wilson et al., 1996), arhitectura bazată

pe imagine (IBVS – eng. Image Based Visual Servoing) (Janabi-Sharifi şi Wilson, 1997;

Gans et al., 2003) și arhitectura hibridă (HVS – eng. Hybrid Visual Sevoing) (Cervera et al.,

2003; Corke et al., 2009), fiecare având avantaje și dezavantaje (Weiss, 1984; Chaumette și

Hutchinson, 2006; Siciliano et al., 2009).

Visual servoing este cunoscută ca fiind o tehnică flexibilă și robustă folosită pentru a

crește acuratețea și versatilitatea unei arhitecturi de control bazată pe feedback vizual

(Hutchinson et al., 1996; Chaumette și Hutchinson, 2006; Chaumette și Hutchinson, 2007;

Tatsambon Fomena şi Chaumette, 2009). Taskul unui sistem servoing este de a controla

mișcarea unui robotmanipulator dintr-o poziție inițială către o configurație dorită. Taskul unui

sistem servoing vizual este definit în raport cu modul în care robotul poate interacționa cu

mediul de lucru folosind senzori vizuali. Mișcările efectuate de robotul manipulator aparțin

unui spațiu de configurare e , denumit spațiul taskurilor. În spațiul de lucru 3D, atunci când

pentru finalizarea unui task servoing robotul necesită mișcări de translație, mișcări de rotație

sau mișcări complexe (atât mișcări de rotație cât și de translație), spațiul taskurilor este definit

prin 3e , unde 3 reprezintă spațiul Cartesian. Pentru a putea aplica aceste mișcări cu

privire la un anumit sistem de referință este necesară o transformare între cadre diferite pentru

a transmite mișcarea de la un sistem de referință la altul (Dombre și Khalil, 2007; Spong et

al., 2006).

În acest capitol sunt prezentate două detectoare: operatorul Harris şi detectorul SIFT

care sunt folosite pentru extragerea trăsăturilor vizuale de tip puncte de interes. Apoi este

Capitolul 2 – Sisteme servoing vizuale

10

descrisă o metodă de detecţie a trăsăturilor vizuale de tip momente ale imaginii. Două modele:

unul multivariabil de tip ARIMAX şi unul cu observer robust pentru perturbaţii sunt utilizate

în modelarea ansamblului robot-senzor vizual. În continuare este prezentată arhitectura de

control bazată pe poziţie şi cea bazată pe imagine. Aceste metode din sistemele servoing

vizuale prezentate în acest capitol sunt ulterior folosite pentru dezvoltarea contribuțiilor

proprii din cadrul tezei.

2.2. Trăsături vizuale

Trăsăturile vizuale extrase din imaginile achiziționate cu ajutorul senzorului vizual

reprezintă intrările pentru arhitectura de control. Senzorul vizual folosit pentru achiziția

imaginilor poate fi o cameră convențională utilizată de obicei în aplicațiile servoing, o cameră

cu ultrasunete sau o camera omni-direcțională (Mebaki, 2010; Hadj-Abdelkader et al., 2007).

Selectarea trăsăturilor vizuale reprezintă un punct crucial în sistemele servoing vizuale,

deoarece aceste trăsături vizuale sunt relevante în raport cu performanțele și acuratețea

sistemelor servoing. Numărul minim de trăsături vizuale utilizate în arhitectura de control

pentru a controla mișcarea unui robot manipulator depinde de numărul de grade de libertate al

robotului. Așadar, este de dorit să existe o corelație între trăsăturile vizuale folosite și

mișcările senzorului vizual. Trăsăturile vizuale ce pot fi utilizate ca intrare în structura de

control sunt împărțite în trei categori: trăsături geometrice, trăsături fotometrice și trăsături de

tip câmp de viteze.

Trăsăturile geometrice sunt de două tipuri: 2D – folosite pentru a descrie conținutul

geometric dintr-o zonă de lucru și 3D – folosite pentru a realiza corelația dintre sistemul de

referință corespunzător robotului și sistemul de referință corespunzător obiectului. Pentru

proiectarea unei arhitecturi de control pot fi utilizate simultan atât trăsăturile 2D cât și

trăsăturile 3D obținându-se astfel o arhitectură de control hibridă. Trăsăturile vizuale de tipul

2D sunt extrase din planul imaginii reprezentând coordonatele unor puncte de interes,

parametri ce definesc linii sau elipse, regiuni de interes, contururi (Espiau et al., 1992; Corke

și Hutchinson, 2001; Gans et al., 2003). Un alt tip de trăsături vizuale 2D ce pot fi folosite în

aplicațiile servoing sunt trăsăturile de tip momente ale imaginii (Chaumette, 2004; Tahri și

Chaumette, 2005). Folosind momente ale imaginii ca trăsături vizuale, apar îmbunătățiri

semnificative ale performanțelor sistemelor servoing deoarece permite o reprezentare generală

a funcției imagine și de asemenea permite descrierea obiectelor complexe cu forme

necunoscute. Un alt avantaj al acestor tipuri de trăsături este acela că pot fi folosite pentru a

proiecta un sistem servoing decuplat și în același timp pentru a minimiza neliniaritățile

introduse de matricea de interacțiune.

Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași

11

2.2.1. Puncte de interes

O trăsătură geometrică de tip punct de interes este un punct din imagine care are o

poziție bine definită şi poate fi viguros detectat. Aceasta înseamnă că punctul detectat poate fi

un punct de interes și totodată poate fi un punct izolat al unui minim sau maxim local,

terminaţiile unei muchii sau punctul în care curbura unei curbe atinge un maxim local. Un colţ

poate fi definit ca intersecţia a doua muchii. Ca o consecinţă, dacă un singur punct de interes

este detectat, este necesar să se facă o analiză locală pentru a selecta punctele de interes reale.

Detectoarele de puncte de interes nu sunt foarte robuste şi uneori necesită supravegherea unui

expert pentru prevenirea erorilor individuale. Performanțele detectoarelor de puncte de interes

sunt analizate pe baza abilităţii detectării unor colţuri în imagini multiple, care sunt similare,

dar nu identice, de exemplu, aceeaşi imagine având diferite luminozităţi, translaţii, rotaţii şi

alte transformări. În continuare sunt prezentate două detectoare: operatorul Harris şi

detectorul SIFT, care sunt folosite ulterior pentru extragerea punctelor de interes.

2.2.1.1. Operatorul Harris

Operatorul Harris se bazează pe utilizarea funcţiei de auto-corelaţie. Acest algoritm a

fost propus pentru prima dată de Moravec, urmând ca ulterior sa fie îmbunătăţit de către

Harris (Harris şi Stephens, 1988). Algoritmul Harris de detecție a punctelor de interes este

format din două etape: prima constă în calcularea valorilor funcţiilor de autocorelaţie pentru

fiecare pixel din imagine, iar în cea de-a doua se determină valoarea de maxim local a acestei

funcţii intr-o vecinătate definită de utilizator. Pixelii care sunt asociaţi acestor valori de

maxim local sunt consideraţi puncte de interes (colţuri).

Harris (Harris şi Stephens, 1988) îmbunătăţeşte algoritmul propus de Moravec

folosind funcția de auto-corelaţie. Fie funcția imagine ( , )I x y , matricea de auto-corelație se

calculează folosind următoare ecuație:

22

2 2( , )

x x yx x y

x y x y y x y y

I I II I IA g x y

I I I I I I

, (2.1)

unde

2 2

2

( )

( , )

x y

g x y e

reprezintă nucleul Gaussian, iar ,x yI I reprezintă gradienții funcției

imagine pe direcțiile x și y :


12

1,0,1

1,0,1

x

T

y

II I

x

II I

y

. (2.2)

Întrucât matricea A este simetrică, cele două valori proprii α şi β ale matricei sunt

reale şi astfel reprezentarea grafică a acestora este ilustrată în Figura 2.1. Analizând Figura

2.1, se disting trei cazuri:

dacă ambele valori proprii sunt mici, atunci nu este detectată prezenţa unei muchii

sau a unui colţ;

dacă una din valorile proprii este mare iar cealaltă mica, atunci este detectată

prezenţa unei muchii;

dacă ambele valori proprii sunt mari, atunci este indicată prezenţa unui colţ.

Ideea de bază în cazul algoritmului Harris de detecție a punctelor de interes este de a

analiza funcția ( )C A definită astfel:

2( ) det( ) trace ( )C A A A , (2.3)

unde det( )A reprezintă determinantul matricei A , reprezintă un parametru de

acordare, iar trace( )A reprezintă urma matricei A, de unde rezultă că o valoare mare a

punctului de interes corespunde unor valori mari ale valorilor proprii. Un colţ este detectat

dacă matricea A este de rang 2 şi are valori proprii semnificative.

Figura 2.1. Principiul funcţiei de auto-corelaţie

Conform algoritmului propus de Harris, pentru fiecare pixel din imagine se calculează

valoarea de colț cv (eng. cornerness value):

α

regiunea

marginilor

regiunea

colţurilor

regiune omogenă

β regiunea marginilor

4

3

2

1

0

-1

-2

-3

3


13

2 2

2 2 2

trace( )

det( )

x y

x y x y

I IAcv

A I I I I

, (2.4)

unde ,x yI I reprezintă gradienții funcției imagine pe direcțiile x și y filtrați cu un nucleu

Gaussian.

Un pixel este declarat punct de interes daca valoarea cv este sub un anumit prag

definit de utilizator. Comparând cv cu valoarea pragului, putem controla numărul de puncte

de interes detectate în funcție de pragul ales. Punctele de interes detectate cu ajutorul

operatorului Harris sunt invariante la transformări afine (rotaţie, translaţie) şi parţial

invariante la schimbări mici ale iluminozității scenei de lucru. În comparaţie cu alţi operatori,

putem afirma că performanţele (repetabilitate, stabilitate, precizie) operatorului Harris sunt

destul de ridicate.

2.2.1.2. Detectorul SIFT

În secțiunea anterioară a fost prezentat unul dintre cei mai importanți algoritmi de

detecție a punctelor de interes. Trăsăturile punctiforme (punctele de interes) extrase cu acest

algoritm își păstrează proprietățile doar în cazul secvențelor de imagini cu același factor de

scalare (distanța dintre planul de mișcare a obiectelor și cameră este constant). Însă, aplicațiile

de tip servoing conțin secvențe de imagini cu factor de scalare variabil astfel, punctele de

interes detectate trebuie să includă proprietăți de invariață la scalare. Din multitudinea

algoritmilor de detecție a punctelor de interes invariante la scalare, cele mai utilizate metode

sunt SIFT (Scale Invariant Features Transform) și algoritmul Harris-Laplace (Mikolajczyk și

Schmid, 2004).

În continuare este prezentat algortimul SIFT propus de Lowe (Lowe, 1999; 2003),

algortim ce se compune din patru etape:

1. Detectarea extremelor în spaţiul scalării

2. Localizarea trăsăturilor

3. Determinarea magnitudinii și a orientării pentru fiecare trăsătură

4. Crearea descriptorului

Primele două etape sunt utilizate pentru detecţia extremelor din spaţiul scalărilor şi

localizarea cu acurateţe a trăsăturilor, iar următoarele etape pentru asignarea orientării şi

descrierea trăsăturilor. Prima etapă pentru determinarea trăsăturilor de tip punct este

identificarea unor poziţii în spaţiul scalărilor ce reprezintă puncte de extrem ale unei anumite

funcţii. Detectarea poziţiilor invariante la diferite scalări ale imaginii se bazează pe găsirea


14

trăsăturilor stabile în toate nivelurile de scalare. Spaţiul scalărilor se construieşte folosind o

succesiune de filtrări cu un anumit nucleu (Lowe, 2003).

S-a demonstrat că singurul nucleu care se poate folosi pentru generarea unui spaţiu tri-

dimensional al scalărilor este nucleul Gaussian (Lindeberg, 1994; 1998):

22/)22(

2

1),,(

2

yxeyxG

, (2.5)

unde 2 reprezintă dispersia nucleului Gaussian. Spaţiul scalărilor, ( , , )L x y , este definit ca

produsul de convoluţie dintre funcţia imagine, ( , )I x y , şi nucleul Gaussian, ( , , )G x y :

( , , ) ( , , ) ( , )L x y G x y I x y . (2.6)

Funcția ( , , )L x y generează o succesiune de filtrări ale imaginii dependente de

parametrul . Considerând ca fiind o funcţie:

min max: , 0, 1o o S (2.7)

definită prin:

0( , ) 2o s

So s

, (2.8)

unde, o reprezintă una din octavele axei din spaţiul scalărilor, S numărul de niveluri ale

fiecarei octave, iar s indexul nivelului din octava o , se poate defini spațiul scalărilor.

Construcția spațiului scalărilor atașat unei imagini ( , )I x y se realizează recursiv prin filtrări

succesive și modificări ale dimensiunilor imaginii:

pas1) se consideră o imagine ( , , ( , ))L x y o s

pas2) se calculează ( , 1)o s

pas3) se determină ( , , ( , 1))L x y o s

pas4) dacă 1s S atunci imaginea în noua octavă se redimensionează.

În acest moment trebuie făcute anumite observaţii în alegerea parametrilor de start,

care conform algoritmului propus în (Lowe, 2004) au următoarele valori: numărul de niveluri

pe octavă 5S , octava maximă max 4o , iar octava minimă min 1o . Deoarece octava

minimă este egală cu -1, rezoluția imaginii se dublează la începutul algoritmului:


15

2 2o o I IN M N M , (2.9)

unde, o oN M reprezintă dimensiunea imaginii pe octavă. Algoritmul dezvoltă recursiv

filtrări ale imaginii până în momentul indeplinirii condiției 1s S când dimensiunea

imaginii va deveni:

1 1

2 2

o i o io i o i

N MN M

. (2.10)

După ce spaţiul scalărilor este complet ( maxo o ) se construieşte spaţiul diferenţelor

de filtrări Gaussiene (DoG) folosind relaţia:

( , , ) ( , , ) ( , , ) ( , )

( , , ) ( , , )

D x y G x y k G x y I x y

L x y k L x y

. (2.11)

Spaţiul DoG poate fi privit ca un spaţiu obţinut din derivarea spaţiului scalărilor, în

acest spaţiu se vor putea delimita octave având dimensiunea mai mică cu o unitate decât cele

din spaţiul scalărilor.

În spaţiul DoG se vor căuta poziţii ( , , )p p pP x y în care valoarea funcţiei ( )D P este

mai mare sau mai mică decât valoarea tuturor vecinilor din cubul de 3 3 3 centrat în P

(Figura 2.2). Dacă valoarea funcţiei este mai mare sau mai mică decât valorile celor 26 de

vecini, atunci ( , , )p p pP x y este numit punct de extrem (Lowe 2003).

(a) (b)

Figura 2.2. (a) Reprezentarea scalei pentru 3 niveluri ale unei octave; (b) Fereastra de 3 3

din jurul punctului P

Totalitatea punctelor de extrem formează mulţimea extremelor locale ale funcției

( )D P în spațiul scalărilor, notată cu :

x-1,y-1 x,y-1 x+1,y-1

x-1,y x,y x+1,y

x-1,y+1 x,y+1 x+1,y+1

x

y


16

3 3 3( , , ) | ' ( , , ), ( ) ( ')P x y P V x y D P D P . (2.12)

În ceea ce priveşte localizarea trăsăturilor, se doreşte rafinarea mulţimii extremelor

folosind anumite criterii de stabilitate în vecinătatea fiecărui element P . Procesul constă

în determinarea punctelor de extrem ale funcţiei ( , , )D x y în vecinătatea punctelor P .

Folosind dezvoltarea Taylor până la termenul pătratic pentru funcţia ( , , )D x y șiftată în așa

fel încât originea să se afle în punctul P , putem analiza offsetul faţă de P :

2

2

1( )

2

TTD DD P D P P P

P P

, (2.13)

unde ( , , )TP x y (Brown şi Lowe, 2002) . Determinarea extremelor funcţiei se face prin

egalarea cu zero a derivatei ecuaţiei (2.13). Aceste extreme sunt notate cu P̂ :

2 1

2ˆ D DP

P P

. (2.14)

Condiţiile de stabilitate impuse de Lowe se referă la valoarea de offset P̂ care trebuie

să fie mai mică decât 0.5 în oricare din cele trei dimensiuni ( , , )x y şi la rejectarea punctelor

instabile la contrast. Valoarea funcţiei ˆ( )D P :

1ˆ ˆ( )2

TDD P D P

P

, (2.15)

este folosită pentru rejectarea extremelor instabile cu un contrast scăzut. Pentru ( , ) 0,1I x y

se poate folosi inegalitatea ˆ( ) 0.03D P pentru a rejecta extremele instabile. Pentru

eliminarea trăsăturilor de tip muchie se folosesc valorile proprii ale matricei Hessian:

yyxy

xyxx

DD

DDH . (2.16)


17

Aceste valori proprii sunt direct proporţionale cu principalele curburi ale funcţiei D

(Lowe, 2003). Notând cu L valoarea proprie mare, cu S valoarea proprie mică, iar cu r

valoarea raportului L

S

, rezultă:

22 2( )trace( ) ( 1)

det( )

L S

L S

H r

H r

, (2.17)

unde:

2

trace( )

det( )

xx yy L S

xx yy xy L S

H D D

H D D D

. (2.18)

Folosind inegalitatea:

2 2trace( ) ( 1)

det( )

H r

H r

, (2.19)

trăsăturile de tip punct pentru care raportul curburilor principale este mai mare decât r sunt

eliminate (Lowe, 2003). După cum am menționat la inceputul acestei secțiuni, algoritmul

SIFT este compus din patru etape. Primele două (detectarea extremelor în spațiul scalărilor și

localizarea trăsăturilor) au fost prezentate anterior și sunt folosite pentru a determina punctele

de interes. În continuare sunt prezentate următoarele două etape (determinarea orientării și a

magnitudinii și crearea descriptorului) utilizate în determinarea descriptorului SIFT.

Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei orientări și a unei

magnitudini calculate pe baza proprietăților locale ale funcției imagine (Lowe, 1999). Scala

trăsăturilor este folosită pentru a selecta nivelul de filtrare a imaginii I cu nucleul Gaussian.

Magnitudinea gradientului, M , şi orientarea, , sunt calculate folosind relațiile:

2 2

1, 1, , 1 , 1

1

, 1 , 1 1, 1,

( , )

( , ) tan ( ) /( )

x y x y x y x y

x y x y x y x y

M x y L L L L

x y L L L L

. (2.20)

Histograma orientărilor este formată din gradientul orientărilor tuturor punctelor din

interiorul unei ferestre circulare în jurul punctului de interes. Aceasta histogramă a orientărilor

conţine 8 indici, acoperind cele 3600 ale orientării (Figura 2.3).


18

(a) (b)

Figura 2.3. (a) Histograma orientărilor; (b) Orientările fundamentale

Pănă acum se cunosc locaţia, scala şi orientarea fiecarei trăsături, următorul pas este

alcătuirea descriptorului pentru regiunea locală a imaginii. Pentru o mai bună stabilitate a

punctelor detectate şi pentru performanţe mai bune, magnitudinea şi orientarea se calculează

pentru o vecinătate de 16x16 din jurul fiecărei trăsături (Lowe, 2004), nu numai pentru

trăsătura în sine. În Figura 2.4(a) sunt prezentate trăsăturile unui obiect detectate cu ajutorul

detectorului SIFT. Prima dată se calculează magnitudinile şi orientările punctelor din

vecinătatea de 16x16 din jurul fiecărei trăsături (Figura 2.4 (b)). Folosind scala punctului de

interes, se selectează nivelul Gaussianului pentru filtrarea imaginii.

(a)

(b) (c)

Figura 2.4. (a) Trăsăturile obiectului detectatea cu SIFT; (b) Orientarea şi magnitudinea

celor 256 de pixeli din vecinătate de 16x16; (c) Descriptorul trăsăturii

magnit.

0 45 90 135 180 225 270 315

c1 c2 c3 c4 c5 c6 c7 c8

orientare


19

Pentru eficienţă, funcțiile gradient sunt calculate pentru toate nivelurile piramidei

folosind relatia (2.14), (Lowe, 2003). Vecinătatea de 16x16 din jurul fiecărei trăsături este

împărţită în blocuri de 4x4, iar la rândul lor, aceste blocuri alcătuiesc fiecare câte o

histogramă (Figura 2.4 (c)). Orientările unei histograme sunt divizate în b indici (Figura 2.3

(a)) şi apoi se calculează magnitudinea indicilor cu ajutorul următoarei formule:

( , ), ( , )

( ) ( , )(1 | ( , ) | / )r l m k kx y r l m

h k M x y x y c

, (2.21)

unde kc este orientarea fiecarui indice, k este o constantă egală cu

b2

360, iar ( , )x y sunt

coordonatele pixelilor din subregiunea ( , )l mr . Descriptorul este format dintr-un vector care

conţine valorile tuturor orientărilor histogramei, lungimea vectorului este 2bn , unde b este

numărul orientărilor în histogramă. Se consideră 8b , 22.5k , iar n este dimensiunea

blocului. În final trăsăturile vectorului sunt normalizate pentru a reduce efectele shimbării de

iluminare.

2.2.2. Momente ale imaginii

Momentele au un spectru larg de aplicaţii în analiza imaginii, cum ar fi recunoaşterea

formelor, clasificarea obiectelor, estimarea unei poziţii. Un set de momente calculate pentru o

imagine digitală, în general, reprezintă caracteristicile globale ale imaginii, şi furnizează o

mulţime de informaţii despre diferitele tipuri de trăsături geometrice ale imaginii. Capacitatea

momentelor imaginii de a reprezenta trăsături vizuale a fost utilizată pe scară largă în vederea

artificială şi robotică. Ca urmare a progresului în domeniul procesării imaginilor, numeroase

noi tipuri de momente au fost introduse, fiecare având propriile sale avantaje în domenii

specifice. Având în vedere o imagine ca o distribuţie a intensităţii bi-dimensionale,

momentele imaginii conţin informaţii despre aria imaginii, orientarea imaginii, coordonatele

centrului de greutate. Aceste caracteristici pot fi în continuare utilizate pentru a construi

vectorul trăsăturilor vizuale care sunt invariante la mişcări de translaţie, rotaţie şi scalare ce

pot fi folosite cu succes în aplicații servoing.

Considerând funcţia imagine ( , )I x y ca o densitate de probabilitate a unei variabile

aleatoare 2D şi plecând de la ipoteza că valorile diferite de zero reprezintă obiectul (regiuni

din imagine), momentele ijm de ordin ( )i j sunt definite astfel:


20

( , )i jijm x y I x y dxdy

. (2.22)

Dacă de exemplu, considerăm 0i j în ecuaţia (2.22), se poate calcula momentul

de ordin zero 00m corespunzător funcţiei ( , )I x y , care reprezintă aria obiectului analizat

( 00m a ). Momentele de ordin unu sunt în general folosite pentru definirea centrului de

greutate ( , )g gx y ataşat obiectului:

00

10

m

mxg ,

00

01

m

myg . (2.23)

Plecând de la ipoteza că un obiect din imagine este definit de un set de pixeli de

coordonate ( , )x y pentru care funcţia imagine ( , ) 1I x y , momentele 2D ijm de ordin ( )i j

sunt definite de relaţia:

i jij Om x y dxdy . (2.24)

Centrul de greutate este o locaţie unică şi reprezintă punctul referinţă în calcularea

momentelor centrate ij (Chaumette, 2004):

Oj

gi

gij dxdyyyxx )()( . (2.24)

Pentru un obiect descris de un set de n puncte, momentele 2D sunt calculate cu

ecuaţia:

n

k

jk

ikij

yxm1

. (2.25)

În cazul obiectelor discrete aria reprezintă numărul de puncte ce descriu obiectul

( 00a m n ) și nu poate fi folosită ca trăsătură vizuală, iar din acest motiv în (Tahri și

Chaumette, 2005) se propune înlocuirea ariei cu:

20 02a . (2.26)


21

Momentele centrate ij de ordin ( )i j se pot calcula astfel:

n

k

jgk

igkij yyxx

1

)()( . (2.27)

Momentele centrate de ordin doi, 20 , 02 , 11 sunt cunoscute ca fiind momente ale

inerţiei şi sunt folosite în determinarea orientării obiectului:

0220

112arctan2

1

. (2.28)

Din literatura de specialitate, se ştie faptul că momentele centrate sunt în principal

invariante la mişcări de translaţie. Multe alte metode au fost dezvoltate pentru a găsi momente

invarinate la scalare şi rotaţie, printre cele mai cunoscute se numără: momentele Hu (Hu, 62)

și momentele Zernike (Walin and Kubler, 1995).

Considerând o aplicaţie servoing, în (Tahri şi Chaumette, 2005) un set de momente ale

imaginii definit prin vectorul trăsăturilor [ , , , , , ]Tm n n nf x y a este folosit pentru a

caracteriza obiectul din imagine. Primele trei componente ale vectorului mf sunt folosite

pentru a controla componentele vitezei liniare corespunzătoare robotului:

gnngnnn yayxaxa

aZa ,,

** , (2.29)

unde Z reprezintă adâncimea dorită dintre cameră şi obiectul din imaginea de referinţă, iar

a este aria obiectului din imaginea de referinţă. Pentru a controla viteza unghiulară z se

utilizează orientarea obiectului calculată cu ecuația (2.28), iar pentru a controla vitezele

unghiulare ,x y , în (Tahri și Chaumette, 2005) se propune utilizarea momentelor de tipul

și :

1 2

3 3

,n n

n n

I I

I I , (2.30)

unde:


22

2 21 50 32 14 05 23 41

2 22 50 32 14 05 23 41

2 23 50 32 14 05 23 41

( 2 ) ( 2 )

( 2 3 ) ( 2 3 )

( 10 5 ) ( 10 5 )

n

n

n

I

I

I

. (2.31)

2.3. Modelarea ansamblui robot – senzor vizual

În general, un sistem servoing bazat pe imagini este compus din următoarele elemete:

un robot manipulator, un senzor vizual, un regulator bazat pe imagine. În Figura 2.5 este

ilustrată o arhitectură bazată pe imagini pentru roboți manipulatori cu 6 grade de libertate.

Robotul

modelat ca

un VCMD -

f

Procesarea imaginiei și extragere trăsăturilor

Regulator bazat pe imagine

+

f

c

v e

Modelul

senzorului vizual

Figura 2.5. Sistem visual servoing pentru controlul roboților

Partea fundamentală a arhitecturii, regulatorul bazat pe imagine necesită informații

apriorice despre comportarea sistemului pentru a putea minimiza eroarea dintre o configurație

curentă a unor tăsături vizuale f și o configurație dorită f . Pentru a modela comportarea în

buclă deschisă a sistemului servoing, trebuie analizate separat cele două entități care formează

partea fixată: robotul manipulator și senzorul vizual. Se consideră în continuare o configurație

de tipul eye-in-hand pentru ansamblul robot-senzor vizual.

Un robot poate fi modelat în două moduri: cinematic și dinamic. Dinamica robotului

reprezintă unul din factorii care influențează cel mai mult performanțele unui sistem servoing

vizual. Pentru acest tip de aplicații un robot manipulator poate fi modelat ca un VCMD

(Gangloff și De Mathelin, 2003). După cum se poate observa din Figura 2.5, semnalul de

intrate în VCMD este ieșirea regulatorului bazat pe imagine notată cu c

v . Acest semnal

reprezintă viteza de referință a camerei și are următoarea structură: [ ]Tc v v , unde

[ ]Tx y zv v v v și [ ]Tx y z

reprezintă componenta liniară, respectiv,

componenta unghiulară a vitezei.


23

Semnalul c

v este exprimat în spațiul Cartesian și necesită o transformare pentru a

putea fi aplicată robotului manipulator. Dacă notăm cu 1 2 3 4 5 6[ ]Tt t t t t t postura

obținută prin integrarea lui c

v , atunci definim Jacobianul robotului ca fiind:

1 1

1 6

6 6

1 6

r

t t

q q

J

t t

q q

, (2.32)

unde , 1,6iq i reprezintă starea articulațiilor robotului. Astfel, transformarea semnalului c

v

din spațiul Cartesian în spațiul articulațiilor robotului se va realiza prin 1rJ . În aceată secțiune

vor fi prezentate două metode din literatura de specialitate de deducere a unui model pentru

un VCMD.

2.3.1. Model multivariabil de tip ARIMAX

În (Gangloff și De Mathelin, 2003) se propune utilizarea unui model liniarizat pentru

VCMD de tipul MIMO (multi-input, multi-output). Plecând de la ipoteza că fiecare articulație

a robotului are atașată o buclă de reglare a vitezei (Figura 2.6), regulatoarele , 1,6iC i

corespunzătoare buclelor de reglare sunt proiectate astfel încât să asigure decuplarea fiecărei

articulații, lucru valabil pentru majoritatea roboților manipulatori. Datorită structurii matricii

Jacobian atașată robotului și a dependenței dinamicii robotului față de poziția articulațiilor,

modelul VCMD este neliniar. Liniarizarea modelului se face pornind de la considerația că

efectele neliniare generate de forțe precum Coriolis, centrifugă și gravitațională acționează ca

perturbații mici asupra buclelor de reglare ce pot fi rejectate printr-o proiectare adecvată a

regulatoarelor , 1,6iC i . Neliniaritățile generate de aceste forțe devin semnificative atunci

când robotul se mișcă cu viteze mari (își modifică configurația consistent). Deoarece buclele

de reglare din spaţiul articulaţiilor robotului sunt foarte rapide, acestea pot fi proiectate în

continu rezultând necesitatea introducerii unui bloc ZOH după cum se poate vedea în Figura

2.6. Pentru a putea aplica vitezele c

v în spaţiul articulaţiilor se utilizează inversa iacobianului

robotului 1rJ .


24

+

_

1qv*

1qv C1

+

_ C6

6qv *

6qv

1rJ ZOH

* ( )c kv *cv

* ( )q tv rJ

( )q tv ( )c tv 1

s

( )c kx

Bucla internă de viteză

Figura 2.6. Modelul VCMD al robotului

Având în vedere că inerția articulațiilor variază lent în raport cu poziția qx a robotului,

matricea de inerție poate fi considerată constantă în jurul unei poziții date pentru robot. În

cazul sistemelor servoing bazate pe feedback vizual vitezele articulațiilor sunt controlate

individual, iar regulatoarele , 1,6iC i sunt proietate astfel încât să elimine efectele neliniare

generate de perturbații. Pornind de la aceste ipoteze și considerând că modelul dinamic al

robotului și Jacobianul acestuia rJ sunt constante într-o vecinătate a lui qx , buclele de viteză

ale robotului pot fi modelate folosind matricea de transfer ( )G s :

( ) ( ) ( )q qs G s sv v . (2.33)

Modelul discret liniarizat pentru VCMD prezentat în Figura 2.7 este descris de:

1

1 1

2

( )( ) 1 r rVCMD

J G s JG z z

s

, (2.34)

unde reprezintă transformata z.

* ( )q tv * ( )c tv ( )q tv ( )c tv

* ( )c kv 1

rJ

ZOH G(s)

( )c kx 1

s

rJ

( )c tx

Figura 2.7. Modelul liniarizat pentru VCMD

În (Gangloff și De Mathelin, 2003) dinamica senzorului vizual este modelată cu

întârzieri pure. Aceste întârzieri sunt date: de timpul necesar pentru achiziția și formarea

imaginei, timpul necesar transferului imaginei de la cameră în memoria calculatorului și

timpul necesar pentru procesarea imaginei (Figura 2.8).


25

Procesarea

imaginei

Transferul imaginei

de la cameră la PC

Achiziția și

formarea imaginei

ach sT T 0transT proc sT T timpul

Figura 2.8. Senzorul vizual

Pentru a determina modelul unui senzor vizual se pornește de la ipoteza că timpul

necesar pentru achiziția și formarea unei imagini achT este egal cu perioada de eșantionare sT ,

timpul necesar transferului imaginei transT este foarte mic în raport cu perioada de

eşantionare, iar timpul necesar procesării imaginei procT este egal cu perioada de eșantionare

sT . Astfel, senzorul vizual poate fi modelat ca un element cu timp mort egal cu 2 sT . Folosind

modelul senzorului vizual împreună cu modelul VCMD şi cunoscând postura iniţială a

camerei notată cu 0x , se poate realiza o structură de control (Figura 2.9) care ulterior poate fi

aplicată cu succes în aplicații servoing de timp real. Plecând de la ipoteza că ( )G s este

diagonală, atunci matricea de transfer discretă a părții fixate este:

1

1 2 1 1 2 1

2 1

( )( )( ) 1 , 1,6

( )

ip r r r r

i

b zG sG z z z J J z J diag J i

s a z

. Modelul ARIMAX

pentru partea fixată va avea următoarea parte deterministă:

1

1 1 1 1 2 1

1

( )( ) ( ) ( )

( )

ip r r

i

b zz A z B z G z z J diag J

a z

, (2.35)

unde:

1 1 1

1 1 1 1

( ) ( )

( ) ( )

i r

i r

A z diag a z J

B z z diag b z J

. (2.36)

+

_

1qv*

1qv C1

+

_ C6

6qv *

6qv

1rJ ZOH

* ( )c kv * ( )c tv *

qv rJ

Tehnici de control pentru sistemele servoing vizuale Cosmin.pdfTehnici de control pentru sistemele...

Documents

Transcript of Tehnici de control pentru sistemele servoing vizuale Cosmin.pdfTehnici de control pentru sistemele...