REPUBLIKA E SHQIPËRISË

UNIVERSITETI I TIRANËS

FAKULTETI I SHKENCAVE TË NATYRËS

DEGA E MATEMATIKËS

PROGRAMI I STUDIMIT: ANALIZË DHE ALGJEBËR

VLERAT SINGULARE TË PËRGJITHËSUARA DHE ZBATIME

TEZË DOKTORATE

Doktoranti Udhëhoqi

Bilall Shaini Prof. Dr. Fatmir Hoxha

Tiranë, 2014

UNIVERSITETI I TIRANËS

FAKULTETI I SHKENCAVE TË NATYRËS

DEGA E MATEMATIKËS

PROGRAMI I STUDIMIT: ANALIZË DHE ALGJEBËR

DISERTACION I PARAQITUR NGA

MR. SC. BILALL SHAINI

PËR MARRJEN E GRADËS SHKENCORE

DOKTOR

TEMA:

VLERAT SINGULARE TË PËRGJITHËSUARA DHE ZBATIME

Mbrohet më datë ____. ____. _______ para jurisë:

1. ___________________________________ Kryetar

2. ___________________________________ Anëtar (oponent)

3. ___________________________________ Anëtar (oponent)

4. ___________________________________ Anëtar

5. ___________________________________ Anëtar

iii

PËRMBAJTJA

Mirënjohje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv Abstrakti (shqip dhe anglisht) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v Hyrje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii

Kapitulli 1

Dekompozimi në vlera singulare dhe vlerat singulare të përgjithësuara 1.1 Vlerat singulare të matricës dhe teorema e dekompozimit në vlera singulare . . . . . . . . . . . . 1 1.2 Zbatime themelore të vlerave singulare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Përcaktimi numerik i rangut të një matrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4 Dekompozimi ortogonal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.5 Distanca nga një matricë më e afërt singulare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.6 DVS-ja dhe problemi i katrorëve më të vegjël . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.7 Pseudoinversi i matricës . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8 Disa zbatime të dekompozimit në vlera singulare të matricës në ekonomi . . . . . . . . . . . . . . 11 1.8.1 Njehsimi i regresionit linear duke përdorur DVS-në . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.8.2 Katrorët më të vegjël të zakonshëm (KVZ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.8.3 Vlerësuesi nëpër brazda (ang. Ridge Estimator) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.9 Dekompozimi në vlera singulare i përgjithësuar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 1.9.1 Dy përgjithësime të dekompozimit në vlera singulare . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.9.2 Problemet tek të cilët janë zbatuar teknikat e vlerave singulare të përgjithësuara . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.9.3 Njehsimi i dekompozimit në vlera singulare të përgjithësuar . . . . . . . . . . . . . . . . . . . 22 1.9.4 Algoritmi i Pejxhit për njehsimin e DVSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.9.4.1 Algoritmi i Kogbetliancit për njehsimin e DVS të një matrice trekëndëshe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.9.4.2 Përgjithësimi i algoritmit të Kogbetliancit për njehsimin e DVSP . . . . . . . . . 25 1.9.5 Njehsimi i DVSP i matricave trekëndëshe me përmasa 2 2 . . . . . . . . . . . . . . . . . . . . 27

Kapitulli 2

Ekzistenca dhe ndërtimi i inverseve të përgjithësuara. Një qasje spektrale

2.1 Ekuacionet matricore të Penrose-it . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.2 Ekzistenca dhe ndërtimi i inverseve-{1}. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.3 Vetitë e inverseve-{1} . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4 Ekzistenca dhe ndërtimi i inverseve-{1,2} . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.5 Ekzistenca dhe ndërtimi i inverseve-{1,2,3}, -{1,2,4} dhe -{1,2,3,4} . . . . . . . . . . . . . . . . . 33 2.6 Formula eksplicite për †A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.7 Ndërtimi i inverseve-{2} të rangut të paracaktuar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.8 Inverset e përgjithësuara spektrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

iv

2.8.1 Indeksi matricor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.8.2 Inversi spektral i matricës së diagonalizueshme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.8.3 Inversi grup dhe vetitë spektrale të tij . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.8.4 Inversi i Drazinit dhe vetitë spektrale të tij . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.8.5 Dekompozimi nilpotent me indeksin 1 i një matrice katrore . . . . . . . . . . . . . . . . . . . 42

Kapitulli 3

Rezultate numerike në njehsimin e inverseve të përgjithësuara me anë të dekompozimit në vlera singulare

3.1 Njehsimi i inverseve të përgjithësuara duke përdorur dekompozime matricore . . . . 44

3.1.1 Njohuri paraprake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.1.2 Faktorizimet DVS dhe inverset e jashtme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.1.3 Dekompozimi i hollë në vlera singulare (TSVD) dhe inverset e jashtme . . . . . . . 52 3.1.4 Vetitë e paraqitjes TSVD të inverseve të jashtme . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1.4.1 Inversi i hollë i Moore-Penrosit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1.4.2 Inversi i hollë me peshë i Moore-Penrosi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.4.3 Inversi Drazin i hollë . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.5 Përfundime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3.2 Njehsimi inverseve-{2,4} dhe {2,3} me anë të faktorizimeve DVS dhe sikur DVS

3.2.1 Njohuri paraprake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.2.2 Paraqitja e inverseve-{2.4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar . . . . . 65 3.2.3 Njehsimi i inverseve {2,4 }dhe {2,3} me anë të faktorizimeve matricore . . . . . . . . . . . . 67 3.2.3.1 Njehsimi i inverseve {2,4} dhe {2,3} me anë të DVS-së . . . . . . . . . . . . . . . . . . . 68 3.2.3.2 Njehsimi i inverseve-{2,4} dhe {2,3} me anë të faktorizimit QR . . . . . . . . . . . . . 70 3.2.3.3 Njehsimi i inverseve-{2,4} dhe {2,3} me anë të faktorizimit URV . . . . . . . . . . . . 71 3.2.4 Algoritmi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 3.2.5 Eksperimente numerike . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 3.2.6 Përfundime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.3 Njehsimi inverseve të jashtme me anë të faktorizimeve të plota ortogonale. Eksperimente numerike

3.3.1 Njohuri paraprake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3.3.2 Paraqitjet bazuar në dekompozimet QR dhe DVS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 3.3.3 Paraqitja e bazuar në trajtën bidiagonale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79 3.3.4 Përvoja numerike . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Përfundime të përgjithshme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Botime dhe referime në konferenca shkencore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 Shtojca (Kode në Mathematica, Matlab Programe të njehsimeve matricore në C++) . . . . . . 101

v

Mirënjohje

Shpreh konsideratën, mirënjohjen dhe falënderimin për mentorin tim Prof. Dr. Fatmir Hoxhën i cili me angazhimin e tij të vazhdueshëm më ofroi ndihmën shumë të çmuar profesionale, këshilla të dobishme, sugjerime dhe vërejtje qëllimmira si në nxitjen e kërkimit shkencor ashtu edhe në inkurajimin për t’i kryer obligimet në kohë.

Gjithashtu u jam mirënjohës atyre kolegëve e shokëve që më mbështetën në mënyra të ndryshme si kërkimi elektronik i bibliografisë, përpunimi i tekstit, figurave, diagrameve etj.

Shpreh falënderimin dhe dashurinë për familjen time që më përkrahën materialisht dhe moralisht gjatë gjithë kohës së studimit.

Bilall Shaini

vi

Abstrakti. Dekompozimi ortogonal QR është një mjet shumë i mirë për zgjidhjen e problemit të katrorëve më të vegjël kur matrica e koeficientëve është e njohur dhe ka rang të plotë. Mirëpo, në qoftë se matrica nuk ka rang të plotë ose rangu është i panjohur, kërkohet ndonjë mjet më i fuqishëm. Për t’u kapërcyer problemet e sipërthëna por edhe probleme të tjera të algjebrës lineare numerike, përdoret një mjet mjaft i fuqishëm dhe efikas, Dekompozimi në Vlera Singulare (DVS). Ky dekompozim është tejet i dobishëm si për analiza teorike ashtu edhe për zbatime në fushën e njehsimeve numerike. Në fillim do të jepen përkufizime dhe teorema bazë të vlerave singulare dhe trajta të ndryshme të dekompozimit në vlera singulare. Në vazhdim bëhet lidhja ndërmjet vlerave singulare dhe normës në njërën anë dhe numrit të kushtëzimit të matricës në anën tjetër. Më tej tregohet në ç’mënyrë shfrytëzohet DVS-ja për të detektuar rangun numerik të matricës në rastin kur janë të pranishme gabime të rrumbullakimit si dhe turbullime të tjera tek të dhënat, duke treguar se matricat me rang jo të plotë janë në njëfarë kuptimi të varfra (deficitare), si dhe tregohet në ç’mënyrë njehsohet distanca gjer te matrica me rang jo të plotë. Më tej do të tregohet si përdoret DVS për zgjidhjen e problemit të katrorëve më të vegjël, madje edhe kur matrica e koeficienteve nuk ka rang të plotë.

Gjithashtu, njëri ndër zbatimet më të kërkuara është njehsimi i inversit të përgjithësuar ose pseudoinversit për një matricë të çfarëdoshme drejtkëndëshe.

Ekzistojnë metoda dhe algoritme të shumta për njehsimin e vlerave singulare, të vektorëve singularë (të majtë e të djathtë) d.m.th. për njehsimin e DVS-së.

Ne do të përqendrohemi te DSV-ja e matricës reale me zbatimet më të rëndësishme. Të gjitha zhvillimet që kanë të bëjnë me matricat reale mund të përgjithësohen drejtpërdrejt edhe për matricat komplekse.

Për DVS-në ekzistojnë disa përgjithësime. Kemi paraqitur dy mënyra të përgjithësimit, si më të natyrshme dhe më shpesh të zbatueshme. Gjithashtu, për njehsimin e vlerave singulare të përgjithësuara janë paraqitur algoritme të njohura dhe si më i përshtatshmi Algoritmi Direkt i Pejxhit.

Kemi futur paraqitjen me rang të plotë të inversit ,T SA(2) të një matrice të dhënë konstante A e cila bazohet në dekompozimet DVS dhe sikur DVS të një matrice të përshtatshme[31]. Janë bërë krahasime të disa metodave për njehsimin e inverseve të jashtme. Është futur nocioni i inversit të përgjithësuar të hollë, që korrespondon me nocionin e dekompozimit SVD të hollë. Janë dhënë shembuj numerikë të cilat ilustrojnë shqyrtimet teorike.

Kemi nxjerrë kushtet për ekzistencën dhe shqyrtimin e paraqitjeve të inverseve-{2,4} dhe {2,3 me përfytyrim të paracaktuar T dhe bërthamë të paracaktuar S [22]. Kemi nxjerrë algoritmin e përgjithshëm për njehsimin numerik të inverseve-{2,4} dhe {2,3} me rang të dhënë dhe me përfytyrim e bërthamë të paracaktuar. Algoritmi është nxjerrë nga gjenerimi i paraqitjeve me rang të plotë të këtyre inverseve të përgjithësuara duke përdorë faktorizime të ndryshme matricore ortogonale të plota. Më saktësisht, algoritmi për njehsimin e inverseve-{2,4} dhe {2,3} e një matrice të dhënë A është përcaktuar duke përdorur një qasje unike në dekompozimet SVD, QR dhe URV të një matrice W të zgjedhur në mënyrë të përshtatshme.

Kemi zbatuar paraqitje me rang të plotë të inversit ,T SA(2) e një matrice konstante të dhënë, të cilat bazohen në raste të ndryshme faktorizimesh të plota ortogonale[26]. Në veçanti, ne kemi futur paraqitjen me rang të plotë të bazuar në dekompozimin sipas vlerave singulare (DVS), si dhe në një kombinim të dekompozimeve QR dhe DVS të matricës trekëndëshe të prodhuar nga dekompozimi QR. Për më tepër, janë përcaktuar paraqitje mbi bazë të faktorizimeve matricore bidiagonale. Këto paraqitje janë të zbatueshme për matricat reale me rang të plotë sipas rreshtave. Kemi dhënë disa shembuj numerik ku është vënë në pah krahasimi i të tria metodave.

Fjalë kyçe. Dekompozimi në vlera singulare (DVS), dekompozimi QR, inverset e përgjithësuara, paraqitja me rang të plotë, faktorizimet e plota ortogonale.

vii

Abstract. The QR decomposition is a fine tool for solving least squares problems when the coefficient matrix is known to have full rank. However, if the matrix does not have full rank, or if the rank is unknown, a more powerful tool is needed. We introduce an even more powerful tool, the singular value decomposition (SVD). This may be the most important matrix decomposition of all, for both theoretical and computational purposes.

We begin by introducing the SVD and showing that it can take a variety of forms. Furthermore, we establish the connection between singular values and the norm and condition number of a matrix. We also show how to use the SVD to detect the numerical rank of matrix in the presence of roundoff errors and other uncertainties in the data, we show that rank-deficient matrices are in some sense scarce, and we show how to compute the distance to the nearest rank-deficient matrix. Same to you, we show how to use the SVD to solve least squares problems, even if the coefficient matrix does not have full rank. We also introduce the pseudoinverse, an interesting generalization of the inverse of a matrix. We will continue to focus on real matrices. However, all of the developments of real matrices can be extended to complex matrices in a straightforward way.

For SVD there exists some generalizations. We presents two ways to generalize, as more natural and often more applicable. Also, for the computation of the generalized singular values are presented known algorithms and most appropriate Direct Paige Algorithm.

We introduce a full-rank representation of ,T SA(2) inverse of a given constant matrix A which is based on the

SVD and SVD-like decompositions of an appropriate matrix W [31]. A comparison with several methods for computing the outer inverse are presented. The notion of thin generalized inverses, corresponding to the notion of thin SVD decomposition, is introduced. Numerical examples which illustrate theoretical investigations are presented.

We derive conditions for the existence and investigate representations of {2,4} and {2,3}-inverses with prescribed range T and null space S [22]. A general computational algorithm for {2,4} and {2,3} generalized inverses with given rank and prescribed range and null space is derived. The algorithm is derived generating the full-rank representations of these generalized inverses by means of various complete orthogonal matrix factorizations. More precisely, computational algorithm for {2,4} and {2,3}-inverses of a given matrix A is dened using an unique approach on SVD, QR and URV matrix decompositions of appropriately selected matrix W . Several full-rank representation of ,T SA(2) -inverse of a given constant matrix, which are based on various complete orthogonal factorizations, are introduced in [26]. Particularly, we introduce full rank representation based on the SVD as well as on a combination of the QR decomposition and the SVD of the triangular matrix produced by the QR decomposition. Furthermore, representations based on the factorizations to a bidiagonal form are dened. The representations arising from reductions to bidiagonal form are applicable to real full row rank matrices.

Illustrative numerical examples and an extensive numerical study are presented. A comparison of three introduced methods is presented.

Keywords. Singular value decomposition (SVD), QR decomposition, generalized inverses, full rank representation, complete orthogonal factorizations.

viii

Hyrje

Një nga idetë më të frytshme në teorinë e matricave është ajo e faktorizimit në ndonjë trajtë kanonike. Dobitë teorike të dekompozimit matricor janë vlerësuar që herët[8]. Kohëve më të fundit, ato janë bërë shtylla kryesore të algjebrës lineare numerike, ku ato shërbejnë si platforma njehsimesh nga të cilat mund të zgjidhen një shumësi problemesh. Janë projektuar algoritme për tipa të veçantë të matricave, p.sh. për matrica të rralluara ose matrica gati-diagonale. Ekzistojnë shumë metoda për dekompozimin e matricave, ku secila përdoret për një klasë të veçantë të problemeve[36]. Si p.sh. faktorizimet që janë të lidhura me zgjidhjen e sistemeve të ekuacioneve lineare, janë: dekompozimi LU, dekompozimi Cholesky, dekompozimi QR. Nga shumë dekompozime të dobishme, Dekompozimi në Vlera Singulare (DVS, ang. SVD) është faktorizim i matricës A në prodhimin HU V të matricës unitare U, matricës diagonale , dhe një matrice tjetër unitare HV - ka marrë një rol të veçantë. Ka disa arsye. Në radhë të parë, nga fakti që dekompozimi është arritur me matrica unitare e bën atë një mjet ideal për të diskutuar gjeometrinë e hapësirës me n-përmasa. Së dyti, ky dekompozim është i qëndrueshëm d.m.th. turbullira të vogla tek të dhënat e A-së korrespondojnë me turbullira gjithashtu të vogla te matrica , dhe anasjelltas. E treta, elementet diagonale të bëjnë të lehtë përcaktimin kur A-ja është afër matricës me rang të degjeneruar; dhe në rastin kur është e tillë, dekompozimi ofron një përafrim optimal me rang të ulët të A-së. Në fund, falë përpjekjeve kërkimore të Gene Golubit ekzistojnë algoritme efikase dhe të qëndrueshme për njehsimin e DVS-së[4].

Janë pesë matematikanët, E. Beltrami (1835-1899), C. Jordan (1838-1921), J. J. Sylvester (1814-1897), E. Schmidt (1876-1959) dhe H. Weyl (1885-1955) të cilët fillimisht pohuan ekzistencën e dekompozimit në vlera singulare pastaj edhe e vërtetuan atë duke zhvilluar më tej teorinë e këtij dekompozimit matricor. Duke provuar ekzistencën e DVS-së, Beltrami tregoi se ky dekompozim është i lidhur ngushtë me dekompozimin spektral të matricave reale TA A dhe TAA . Jordani duke hulumtuar gjeometrinë e hapësirës me n-përmasa futi bazat kanonike të çiftit të nënhapësirave. Kjo linjë e zhvillimit çoi në dekompozimin CS (Cosinus-Sinus) të matricave ortogonale. Dekompozimi CS nga ana e tij, mund të përdoret për të nxjerrë dekompozimin në vlera singulare të përgjithësuar të matricës qoftë në formën e tij burimore siç e bëri Van Loani[6,7, 33] apo në versionin e rishikuar të Pejxhit dhe Saundersit[9].

Pseudoinversi i Moore-Penrosit edhe pse, në kuptimin rigoroz të fjalës, nuk është dekom-pozim matricor, ai mund të njehsohet me anë të DVS-së si vijon. Supozojmë se k-vlerat e para singulare të matricës A nuk janë zero, ndërsa n-k të fundit janë zero, dhe matrica

† 1 11diag , . . . , , 0, . . . ,0k . Atëherë pseudoinversi i A-së jepet me † † TA U V .

Punimi është i organizuar si vijon. Në kapitullin e parë, fillimisht është dhënë teorema fundamentale e DVS-së: Një matricë e çfarëdoshme reale m nA mund të faktorizohet si:

ix

1

11 1 11 1

1 1

0 0 000 0 00 0 0 00 0 0 0

Tm n

Tr

m mm n nn n n

m n

u u v vA U V

u u v v

ku U and V janë matrica ortogonale me përmasa përkatësisht m m dhe n n , (d.m.th., T

mU U I dhe TnVV I ), dhe është matricë diagonale me përmasa m n

1 2diag( , ,..., , 0,..., 0)r me 1 2 0r dhe rank( )r A , ( min{ , }r m n ) Numrat realë 1 2, , ..., r janë rrënjë katrore të vlerave vetjake të matricave TAA (ose

TA A ) . Këto vlera njihen si vlera singulare të A-së. Më tej, janë dhënë disa versione të tjera të DVS-së si DVS-ja e shkurtër, DVS-ja gjeometrike. Në paragrafin e zbatimeve të DVS-së kemi vënë në pah dobitë kryesore teorike dhe praktike nga faktorizimi matricor sipas vlerave singulare. Kështu, për një matricë të çfarëdoshme jozero n mA norma spektrale e saj përcaktohet me

22 0

2

maxx

AxA

x ,

dhe në qoftë se numrat realë 1 2 . . . 0r janë vlerat singulare të saj, atëherë norma spektrale

2A është e barabartë me vlerën singulare më të madhe të saj, pra vlen

12A . Në rastin kur matrica A është katrore josingulare, numri i kushtëzimit 2 ( )A

përcaktohet me 12 2 2( )A A A , ku 1A është inversi i A-së. Në anën tjetër, vlerat

singulare përdoren për të përcaktuar rangun numerik të një matrice (me rang jo të plotë) kur një turbullim i vogël në të dhënat e matricës mund ta rrisë ndjeshëm rangun e saj. Kështu, me anë të DVS-së provohet që për çdo 0 ekziston matrica e rangut të plotë

n mA e tillë që 2

A A . Numri jonegativ 2

A A është një masë e distancës në mes matricave A dhe A , ku numri i vogël paraqet një prag tolerance e që është afërsisht në nivelin e pasigurisë në të dhënat e matricës.

Zbatimi tjetër mjaftë i përdorur është te problemi i katrorëve më të vegjël. Kështu, merret sistemi i ekuacioneve lineare Ax b ku n mA , rank( )r A , nb dhe vektori

mx është i panjohur. Për n m , sistemi është i mbipërcaktuar dhe nuk mund të presim gjetjen e një zgjidhjeje të saktë. Prandaj, kërkojmë x-in të tillë që

2b Ax të

minimizohet. Duke kërkuar zgjidhjen e vetme të këtij problemi, përdorim DVS-në e plotë të A-së: TA U V , ku n nU dhe m mV janë ortogonale, me ç’rast te funksionali

2 2 2( ) ( )T T Tb Ax U b Ax U b V x duke vënë Tc U b dhe Ty V x , merr

x

formën 2 2 2 2

2 21 1

r n

i i i ii i r

b Ax c y c y c

. Që këtej, shihet se 2

b Ax

minimizohet atëherë dhe vetëm atëherë kur , 1,...,ii

i

cy i r

.

Dekompozimi në vlera singulare ka një zbatim të rëndësishëm edhe në ekonomi. Për shembull, konceptet e regresionit linear dhe zgjidhjes së problemit të katrorëve më të vegjël të zakonshëm shfrytëzohen shpesh. Një qasje kryesore në ekonometri është analiza e regresionit. Për këtë analizë është i nevojshëm specifikimi i një modeli të regresionit që karakterizon marrëdhënien e variablave ekonomikë. Kemi paraqitur njehsimin e regres- ionit linear duke përdorur DVS-në[24].

Problemi i vlerave vetjake të përgjithësuara T TA Ax B Bx , katrorët më të vegjël të për-gjithësuar, analiza diskriminante te problemi i optimizmit si dhe një seri problemesh të fushës së njehsimeve matricore imponojnë zgjerimin e përkufizimit të vlerave singulare [5,12]. Do të jepen dy përgjithësime të dekompozimit në vlera singulare[6]. Këto përgjith-ësime ofrojnë një mënyrë të unifikuar në lidhje me problemet e caktuara matricore dhe teknikat numerike të cilat përdoren për zgjidhjen e tyre.

Për matricën e dhënë reale n mA , përkufizohet bashkësia e vlerave singulare të saj A

me 1 2, , . . . , qA . Nga vetitë e shumta që kanë vlerat singulare, me interes të veçantë janë vetitë

(i) 2det 0TmA A A I ,

(ii) A është vlerë stacionare e Axx

.

Një përgjithësim i natyrshëm i konceptit të vlerës singulare buron nga secila prej këtyre rrjedhimeve:

(a) Gjej ato 0 për të cilat 2det 0T TA A B B .

(b) Gjej vlerat stacionare të S

T

Axx

.

Këtu, matricat A dhe B kanë numër të njëjtë shtyllash, ndërsa normat S

dhe T

janë

të përkufizuara kësisoj: 1/ 2, ,T m m m

Px x Px x P pozitivisht e përcaktuar.

Tani, kryesore është të shqyrtohen kërkesat (a), (b) dhe përgjithësimi i dekompozimit në vlera singulare që sugjerojnë çdonjëra prej tyre[14]. Do të prodhohen dy dekompozime matricore të cilat janë të rëndësishme për kërkesat (a), (b). Fillimisht përkufizojmë konceptin e “B-vlerave singulare”.

xi

Përkufizim 1 B-vlerat singulare të matricës A janë elementet e bashkësisë

2, 0, det 0T TA B A A B B ,

ku ,a bn m n mA B dhe an m .

Dekompozimi i mëposhtëm është përgjithësim i DVS-së, nga i cili lehtë mund të përftoh-en B-vlerat singulare.

Teoremë 1 (Dekompozimi në B-vlerat singulare (BDVS)). Merret an mA bn mB dhe an m . Ekzistojnë matricat ortogonale U (me përmasa a an n ) dhe V (me përmasa

b bn n ) si dhe matrica josingulare X (me përmasa m m ) të tilla që

1 2

1 2

diag , , . . . , , 0,

diag , , . . . , , 0,

TA m i

TB q i

U AX D

V B X D

ku min ,bq n m , rankr B dhe 1 2 1. . . . . . 0r r q . Në qoftë

se 0j për çdo j, 1r j n , atëherë , 0A B . Përndryshe,

, 1,2, . . . ,i

i

A B i r

.

Përgjithësimi i dytë bazohet në teoremën e dytë në vijim.

Përkufizimi 2 Le të jenë P dhe Q dy matrica pozitivisht të përcaktuara të rendit përkatësisht n dhe m, ku n m . S,T-vlerat singulare të n mA janë elementet e bashkësisë ,S T A e cila përkufizohet me:

, 0, është vlera stacionaree SS T

T

AxA

x

.

Teorema 2 [13](S,T-dekompozimi në vlera singulare i n mA ). Le të jenë n mA , n nS dhe m mT ku n m , me ç’rast matricat S dhe T janë pozitivisht të përcakt-

uara. Ekziston matrica S ortogonale n nU dhe matrica T ortogonale m mV të tilla që 1

1 2diag , , . . . , mU AV D . Veç kësaj, , 1 2, , . . . ,S T mA .

Për të gjitha llojet e përgjithësimeve, e përbashkëta e tyre është gjetja e algoritmeve të qëndrueshme dhe efikase për njehsimin e DVSP të dy matricave. Në këtë sens, Van Loan ka treguar[7] që vlerat ,A B mund të përftohen me faktorizimin e matricave A dhe B në prodhime, në mënyrë përkatëse, të një matrice ortogonale, një matrice diagonale dhe një matrice josingulare. Më vonë, po ky autor futi në përdorim një metodë tjetër që bazohet në zbatimin e kombinuar të faktorizimeve DVS dhe QR. Një autor tjetër–Stjuart, njehsimin e bazon në DVS-në dhe metodën e Jakobit për problemin simetrik të vlerave vetjake[8,10]. Algoritmet numerike të Stjuartit dhe Van Loanit kryesisht kanë qëllimin e

xii

njehsimit fillimisht të dekompozimit CS, por me to mund të njehsohet edhe DVSP duke inkorporuar dekompozime të tjera standarde. Me zhvillimin e algoritmit të Kogbetliancit për njehsimin e DVS-së të prodhimit të dy matricave, Pejxhi propozoi përgjithësimin e algoritmit të Kogbetliancit për të njehsuar DVSP-në drejtpërdrejt[9]. Algoritmi i Pejxhit është mënyra e njehsimit sipas Jakobi-Kogbetliancit i cili zbaton transformime ortogonale mbi A-në dhe B-në veçmas, pa njehsuar dekompozimin CS.

Kapitulli i dytë shtron problemin e inverseve të përgjithësuara,duke filluar me ekuacionet matricore të njohura si ekuacionet e Moore–Penrosit, pastaj inversin e Drazinit dhe inversin grup[16,28].

Matrica m nA themi se është matricë me rang të plotë, në qoftë se rang( ) min{ , }A m n . Më saktësisht, me rang të plotë sipas rreshtave (shtyllave) në qoftë se rang( )A m (rang( )A n ).

Çdo matricë m nrA mund të paraqitet si prodhim A PQ të dy matricave me rang të

plotë m rrP dhe r n

rQ . Ky faktorizim nuk është i vetëm. Por, kur njëra nga matricat është e dhënë atëherë matrica tjetër është unike. Faktorizimi me rang të plotë mund të përdoret për njehsimin e klasave të ndryshme të inverseve të përgjithësuara[32].

Për matricën josingulare A, ekziston e vetmja matricë X e tillë që AX XA I (ku I është matrica njësi). Në këtë rast X-i quhet matricë inverse e A-së dhe shënohet me 1A . Në rastin e përgjithshëm kur matrica A është singulare apo e trajtës drejtkëndëshe, atëherë koncepti i inversit përgjithësohet. Në këtë sens, përkufizimi fundamental i inversit të përgjithësuar jepet me anë të ekuacioneve matricore të Moore-Penrosit[36,58]:

(1) AX A A ; (2) X AX X ; (3) AX AX ; (4) X A X A ,

ku me A është shënuar matrica e transponuar e koniuguar e matricës A. Ky invers unik i përgjithësuar njihet si inversi i Moore-Penrosit dhe zakonisht shënohet me †A .

Për matricën e çfarëdoshme m nA , shënohet me { , ,..., }A i j k bashkësia e matricaven mX të cilat vërtetojnë ekuacionet ( ), ( ),..., ( )i j k nga radhët e ekuacioneve (1) – (4).

Matrica { , ,..., }X A i j k quhet inversi-{ , ,..., }i j k i A-së dhe shënohet ( , ,..., )i j kA . Në rastin e veçantë kur për matricën A plotësohen ekuacionet matricore k kA X A A , X AX X dhe AX X A atëherë ky invers quhet i Drazinit dhe shënohet me DA . Inverse tek i cili plotësohen ekuacionet (1), (2) dhe ekuacioni AX X A , njihet si invers grup i A-së dhe shënohet me A# .

Për çdo matricë m nA , bashkësia e të gjitha inverseve të jashtme (pra, inverseve-{2}) përcaktohet me {2} n mA X XAX X . Me A(2) shënohet çfarëdo inversi i

jashtëm i A-së. Le të jetë m nrA , le të jetë T nënhapësira e n me përmasë t r dhe

S nënhapësira e m me përmasë m t , atëherë A-ja ka invers-{2} matricën X të tillë që

xiii

X T dhe X S nëse dhe vetëm nëse mAT S . Në këtë rast matrica X

është unike dhe shënohet me ,T SA(2) .

Në punimin [31] kemi zhvilluar një algoritëm numerik për njehsimin e inversit të jashtëm ,T SA(2)

i cili bazohet në paraqitjen me rang të plotë të një matrice W të zgjedhur në mënyrë të përshtatshme që rrjedh nga DVS-ja e saj. Kemi shqyrtuar një paraqitje të ngjashme me inversin e jashtëm që korrespondon me DVS-në e hollë të W -së. Ky lloj inversi i përgjithësuar është quajtur inversi i jashtëm ,T SA(2) i hollë i A-së.

Në punimin [22] kemi nxjerrë algoritmin e përgjithshëm për njehsimin numerik të inverseve-{2,4} dhe {2,3} me rang të dhënë dhe me përfytyrim e bërthamë të paracaktuar. Në veçanti, kemi shqyrtuar inversin e hollë të Moore-Penrosit, inversin e hollë me peshë të Moore-Penrosit si dhe inversin e hollë të Drazinit.

Në punimin[26] kemi bërë krahasime të paraqitjeve të ndryshme të inverseve të për-gjithësuara me anë të faktorizimeve të plota matricore.

Të gjitha shqyrtimet që kemi bërë në punimet [31,22,26] i kemi testuar me një numër të konsiderueshëm shembujsh numerikë. Kështu, nga eksperimentet e realizuara numerike përfundojmë në vijim.

(i) Paraqitja e inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar nëpërmjet DVS-së është më efikas në rastin kur matricat W kanë rang të ulët.

(ii) Kombinimi i dekompozimeve QR dhe DVS i inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar është më efikas në rastin kur TW A .

(iii) Kombinimi i dekompozimeve QR dhe DVS është një përmirësim i rëndësishëm i metodës së dekompozimit QR nga [55].

Po ashtu, në këtë punim kemi treguar se faktorizimet që bazohen në trajtën bidiagonale janë të dobishme në paraqitjen e inverseve të jashtme të matricave me rang të plotë sipas shtyllave.

1

Kapitulli 1

Dekompozimi në vlera singulare dhe vlerat singulare të përgjithësuara

1.1 Vlerat singulare të matricës dhe teorema e dekompozimit në vlera singulare

Jepet matrica n mA , ku n dhe m janë numra natyrorë të çfarëdoshëm. Përmendim që përfytyrimi i A-së është nënhapësirë e n e përkufizuar me mA Ax x . Rangu i matricës A është dimensioni i A .

Teorema 1 (Teorema e DVS-së) Le të jetë n mA një matricë jo zero me rangun r. Atëherë matrica A mund të shprehet si prodhim TA U V (1.1.1)

ku n nU dhe m mV janë matrica ortogonale, ndërsa n m është matricë “diagonale” jo katrore kësisoj

1

2

0r

ose shkurt

1 1 2

0, : diag , . . . , , 0, min ,

0 0 r r

DD r m n

.

Elementet diagonale të , pra numrat 1 2, ,..., r janë të përcaktuar në mënyrë unike dhe njihen si vlera singulare jozero të A-së, ku rank( )r A . Zbërthimi (ose faktorizimi) i matricës A në trajtën TA U V quhet

dekompozim sipas vlerave singulare i A-së.

Shtyllat e matricës U janë vektorë ortonormalë dhe quhen vektorë të djathtë singularë të A-së, ndërsa shtyllat e matricës V quhen vektorë të majtë singularë të A-së. Matrica e transponuar e A-së, pra TA ka DVS-në: T T TA V U .

Përkufizimi 2 Dy matrica , n mA B thuhet se janë ekuivalente në qoftë se ekzistojnë matricat josingulare n nX dhe m mY të tilla që A XBY . Në qoftë se matricat X dhe Y janë ortogonale, atëherë matricat A dhe B thuhet se janë ortogonalisht ekuivalente. Teorema 1 tregon që çdo matricë n mA është ortogonalisht ekuivalente me një matricë diagonale.

2

Forma të tjera të Teoremës së DVS-së DVS-ja ka interpretim të thjeshtë gjeometrik, e cili rrjedh nga një riformulim i Teoremës mbi DVS-në. Teorema 3 (Teorema gjeometrike e DVS-së) Le të jetë n mA një matricë jozero me rangun r. Atëherë m ka bazën ortonormale

1,..., mv v , ndërsa n ka bazën ortonormale 1,..., nu u , dhe ekzistojnë numrat

1 2 . . . 0r të tillë që

, 1,...,0, 1,...,

i ii

u i rAv

i r m

, 1,...,0, 1,..., .

i iTi

v i rA u

i r n

(1.1.2)

Konsiderojmë matricën A si një operator linear i cili pasqyron vektorët mx në vektorët nAx . Teorema 3 tregon se m dhe n kanë baza të tilla ortogonale që matrica A pasqyron vektorin e i-të të bazës së m në një shumëfish të vektorit të i-të të bazës së n , pra, ix vektor i bazës dhe i i iAx x (edhe TA vepron në mënyrë të ngjashme). Teorema 3 thjesht tregon që matrica diagonale është matrica që transfor-mon A-në në lidhje me bazat ortonormale 1,..., mv v dhe 1,..., nu u (dhe T është matrica që transformon TA ). Veprimi i A-së është paraqitur me anë të këtij diagrami:

1

2

1 1

2 2

1

0

r

r r

r

m

A

v u

v u

v uv

v

Një diagram i ngjashëm zbatohet edhe për TA . Po qe se vendosen të dyja diagramet pranë, do të kemi:

3

1

2

1 1

2 2

1

0

r

r r

r

m

A

v u

v u

v uv

v

1

2

1 1

2 2

1

0

r

T

r r

r

n

A

u v

u v

u vu

u

(1.1.3)

Me anë të DVS-së tregohen bazat ortonormale të katër nënhapësirave themelore: A ,

A , TA dhe TA [1,2]. Nga diagramet e mësipërme shihet qartë se:

1 2span , ,..., rA u u u

1span ,...,r nA v v

1 2span , ,...,TrA v v v (1.1.4)

1span ,...,Tr mA u u .

Nga paraqitjet (1.1.4) shihet se vlejnë edhe këto relacione:

TA A

TA A

.

Në vijim do të paraqitet një version më i përmbledhur i DVS-së. Teorema 4 (Versioni i shkurtuar i DVS-së) Le të jetë n mA një matricë jo zero me rangun r. Atëherë ekzistojnë matricat ˆ n rU , ˆ r r dhe ˆ m rV të tilla që U dhe V janë ortonormale (d.m.th. shtyllat e tyre formojnë bashkësi vektorësh ortonormalë), është matricë diagonale me elementet e diagonales kryesore 1 2 . . . 0r , dhe

ˆ ˆˆ TA U V .

Më në fund po paraqesim edhe një trajtë mjaft të dobishme të DVS-së.

Teorema 5 Le të jetë n mA një matricë jozero me rangun r. Le të jenë 1 2, ,..., r vlerat singulare të A-së të cilave u korrespondojnë vektorët singularë të djathtë dhe të majtë përkatësisht 1 2, ,..., rv v v dhe 1 2, ,..., ru u u . Atëherë

1

rT

j j jj

A u v

.

4

1.2 Zbatime themelore të vlerave singulare Përkufizimi 1 Le të jetë n mA një matricë jo zero. Norma spektrale e saj është norma e induktuar nga norma vektoriale Euklidiane:

22 0

2

maxx

AxA

x .

Nga ana gjeometrike, norma 2

A paraqet zmadhimin maksimal që mund të pësojë

ndonjë vektor mx si pasojë e veprimit të A-së.

Teorema 2 Le të jetë n mA një matricë e çfarëdoshme jozero, dhe 1 2 . . . 0 vlerat singulare të saj. Atëherë 12

A .

Tani, matrica A merret katrore, pra n nA dhe josingulare. Numri i kushtëzimit i A-së jepet me anë të relacionit

12 2 2( )A A A .

E shprehim numrin e kushtëzimit 2( )A me anë të vlerave singulare të A-së.Kështu, duke qenë se A ka rangun n, atëherë 1 2 ... 0n , me ç’rast veprimi i A-së, përkatës-isht i 1A është paraqitur me anë të këtij diagrami:

1

2

1 1

2 2

n

n n

A

v u

v u

v u

11

12

1

1

1 1

2 2

n

n n

A

u v

u v

u v

Në termat e matricës A do të kemi: 1 1T TA U V A V U . Vlerat inverse të vlerave singulare, pra 1 1

1 ,..., n formojnë vargun zvogëlues 1 1 11 1... 0n n .

Duke zbatuar teoremën 2 për matricën 1A , konstatojmë se 1 1

2 nA . Këto vrojtime

shpiejnë te kjo teoremë:

Teorema 3 Le të jetë n nA një matricë josingulare, dhe 1 2 ... 0n vlerat singulare të saj. Atëherë

12 ( )

n

A

.

5

Një shprehje tjetër për numrin e kushtëzimit është

2

max mag( )( )min mag( )

AAA

(1.2.1)

ku 2

02

max mag( ) maxx

AxA

x dhe 2

02

min mag( ) minx

AxA

x .

Kjo i jep një pamje pak më ndryshe numrit të kushtëzimit. Teorema 2 tregon se

1max mag( )A . Prandaj, duhet patjetër që min mag( ) nA . Relacioni (1.2.1) mund të përdoret për të zgjeruar përkufizimin e numrit 2 ( )A te matricat jo katrore. Konkretisht, në qoftë se n mA , n m dhe rank( )A m , atëherë min mag( ) 0A ; me ç’rast relacioni (1.2.1) mund të merret si përkufizim i numrit të kushtëzimit të A-së. Në qoftë se matrica A nuk ka rang të plotë, atëherë (me supozimin n m ) min mag( ) 0A , prandaj është e arsyeshme të përkufizohet 2 ( )A . Me këtë marrëveshje, pavarësisht nëse matrica A ka rang të plotë ose jo, ka vend teorema e mëposhtme.

Teorema 4 Le të jetë n mA , n m një matricë jo zero me vlerat singulare

1 2 ... 0m (këtu është lejuar që disa i të jenë zero po qe se rank( )A m ). Atëherë 1max mag( )A , min mag( ) mA dhe 2 1( ) mA . Dy teoremat në vijim krijojnë bazën e rezultateve të tjera të rëndësishme.

Teorema 5 Le të jetë n mA , n m . Atëherë 2

22

TA A A dhe 22 2( ) [ ( )]TA A A .

Kujtojmë që TA A paraqet matricën e koeficientëve të ekuacioneve normale ( )T TA A x A b të cilat mund të shfrytëzohen për zgjidhjen e problemit të katrorëve më të vegjël. Teorema 5 tregon që ekuacionet normale mund të jenë të keq-kushtëzuara madje edhe kur matrica A është vetëm pak e keq-kushtëzuar.

Teorema 6 Le të jetë n mA , n m , rank( )A m , me vlerat singulare

1 2 ... 0m . Atëherë: 1 2

2( )T

mA A , 1 1

2( )T T

mA A A , 1 1

2( )T

mA A A dhe 1

2( ) 1T TA A A A .

Shënim. Matrica 1( )T TA A A quhet pseudoinvers i A-së, ndërsa 1( )TA A A është pseudoinvers i TA -së. 1.3 Përcaktimi numerik i rangut të një matrice Në mungesë të gabimeve të rrumbullakimit dhe pasigurive në të dhënat, DVS-ja zbulon rangun e matricës. Për fat të keq prania e gabimeve bën problematike përcaktimin e rangut. Në vija të përgjithshme, një matricë që ka k -vlera singulare "të mëdha", ndërsa të tjerat i ka "të vogla", rangun e ka k.

6

Për përcaktimin e vlerave singulare të cilat janë "të vogla," duhet futur një prag tolerance që është afërsisht në nivelin e pasigurisë në të dhënat e matricës. Atëherë, thuhet se matrica A ka rangun numerik k, në qoftë se k-vlerat singulare të saj janë thelbësisht më të mëdha se , dhe për të gjitha vlerat e tjera singulare më të vogla se vlen

1 2 1. . . . . .k k

Megjithatë, është thuajse e pamundur përcaktimi i saktë numerik i rangut sepse nuk ekzistojnë boshllëqe te vlerat singulare. Teorema e mëposhtme arsyeton përdorimin e vlerave singulare për të përcaktuar rangun numerik të një matrice. Eksperimentet e shumta numerike kanë dëshmuar se një turbullim i vogël në të dhënat e matricës (me rang jo të plotë) mund ta rrisë ndjeshëm rangun e saj.

Lema 1 Le të jetë n mA me rangun min{ , }r n m . Me anë të DVS-së provohet që për çdo 0 ekziston matrica e rangut të plotë n mA e tillë që

2A A .

Numri jonegativ 2

A A është një masë e distancës në mes matricave A dhe A .

Teorema 2 Le të jetë n mA një matricë me rank( ) 0A r . Le të jetë TA U V DVS-ja e A-së me vlerat singulare 1 2 . . . 0r . Për 1,2,..., 1k r , përkufiz-ohet T

k kA U V , ku n mk

është matricë diagonale 1diag ,..., , 0,..., 0k . Atëherë rank( )kA k dhe

1 2 2min rank( )k kA A A B B k .

Pra, nga të gjitha matricat me rang të shumtën k, matrica kA është më afër A-së[20].

Rrjedhimi 3 Supozohet që matrica n mA ka rang të plotë rank( )r A ku min{ , }r n m . Le të jenë 1 2 . . . r vlerat singulare të A-së. Le të jetë matrica

n mB e tillë që 2 rA B . Atëherë B-ja ka rang të plotë.

Nga ky rrjedhim shihet se kur matrica A ka rang të plotë, atëherë të gjitha matricat që janë në masë të mjaftueshme afër saj kanë gjithashtu rang të plotë.

Le të jetë 0 ndonjë numër i cili paraqet madhësinë e gabimit të të dhënave të matricës A. Në qoftë se ekziston matrica B e rangut k e tillë që

2A B dhe, në anën tjetër, për

çdo matricë C të rangut 1k kemi 2

A C , atëherë ka kuptim të thuhet se rangu numerik i matricës A është k. Teorema 2 jep garancinë për kushtet e mësipërme atëherë dhe vetëm atëherë kur:

1 2 1. . . . . .k k Kjo e arsyeton shfrytëzimin e vlerave singulare për të përcaktuar rangun numerik.

7

1.4 Dekompozimi ortogonal Dekompozimi QR me pivotimin e shtyllave jepet AE QR ose në një trajtë tjetër të njëvlefshme TA QRE , ku E është matricë përkëmbimi si tip i veçantë i matricës ortogonale. DVS-ja jepet TA U V . Të dyja janë dekompozime ortogonale TA YWZ ku Y dhe Z janë ortogonale kurse W -ja ka formë të thjeshtë. Dekompozimi QR është më pak i kushtueshëm për t’u njehsuar se sa DVS-ja. Megjithatë, DVS-ja në të gjitha rastet tregon rangun numerik të matricë, ndërsa dekompozimi QR ndonjëherë mund të dështojnë ta bëjë këtë. Prandaj ka një interesim të konsiderueshëm për të prodhuar (përftuar, gjetur) një dekompozim ortogonal i cili do të jetë më pak i kushtueshëm për ta njehsuar dhe që ende tregon rangun e matricës[27]. 1.5 Distanca nga një matricë më e afërt singulare Në përmbylljen e kësaj pike do të jepet një rrjedhim i teoremës 2 për matricat katrore josingulare. Le të jetë n nA një matricë josingulare. Shënojmë me sA matricën singulare e cila është më e afërt me A-në, në kuptimin që

2sA A të jetë më e vogël e mundshme, atëherë:

1( )

sA AA A

për një normë të çfarëdoshme matricore të induktuar (për normën 2 vlen barazimi).

Rrjedhimi 1 Le të jetë n nA një matricë josingulare me vlerat singulare1 2 . . . 0n . Le të jetë sA matrica singulare më e afërt me A-në, në kuptimin që

2sA A të jetë më e vogël e mundshme, atëherë s nA A dhe

2

22

1( )

sA AA A

.

1.6 DVS-ja dhe problemi i katrorëve më të vegjël Le të jetë n mA , rank( )r A dhe nb . Merret sistemi i ekuacioneve lineare

Ax b (1.6.1)

ku vektori mx është i panjohur. Në qoftë se n m , atëherë sistemi është i mbipër-caktuar me ç’rast nuk mund të presim gjetjen e një zgjidhjeje të saktë. Kështu, kërkohet x-i i tillë që

2b Ax të minimizohet. Në qoftë se n m dhe rank( )A m , problemi i

katrorëve më të vegjël ka zgjidhje të vetme. Në rastin kur rank( )A m , zgjidhja nuk është e vetme; ekzistojnë më shumë x-e për të cilët minimizohet 2

b Ax . Madje edhe

8

nëse n m , mund të ndodh që (1.6.1) të mos ketë një zgjidhje të saktë, kështu edhe ky rast përfshihet këtu. Prandaj, madhësitë n dhe m merren të çfarëdoshme.

Duke qenë se zgjidhja e problemit të katrorëve më të vegjël nuk është unike, do të shqyrtohet problemi plotësues: për të gjithë mx që minimizojnë

2b Ax , të gjendet

ai për të cilin 2

x minimizohet[18]. Më poshtë do të shihet që ky problem ka gjithmonë zgjidhje unike. Merret DVS-ja e saktë TA U V , ku n nU dhe m mV janë ortogonale, dhe

ˆ 00 0

, 1ˆ : diag{ ,..., }r , min{ , }r m n

me vlerat singulare 1 2 0r . Duke qenë se U-ja është ortogonale, kemi

2 2 2( ) ( )T T Tb Ax U b Ax U b V x .

Duke vënë Tc U b dhe Ty V x , do të kemi

2 2 2 2

2 21 1

r n

i i i ii i r

b Ax c y c y c

(1.6.2)

Shihet qartë se kjo shprehje merr vlerën minimale atëherë dhe vetëm atëherë kur

, 1,...,ii

i

cy i r

.

Vini re se kur r m , 1, . . . ,r my y nuk paraqiten në (1.6.2) kështu ata nuk kanë efekt mbi mbetjen (ang. residual) dhe mund të zgjidhen të çfarëdoshme. Nga të gjitha zgjidhjet e fituara në këtë mënyrë, është e qartë se 2

y minimizohet atëherë dhe vetëm atëherë kur

1 . . . 0r my y . Që nga x Vy dhe V-ortogonale, rrjedh se 2 2x y . Kështu 2

x

është minimizuar vetëm kur 2y është minimizuar. Kjo dëshmon se problemi katrorëve

më të vegjël ka pikërisht një zgjidhje me normë minimale. Është e dobishme përsëritja e zhvillimeve të mësipërme duke përdorur matricat e ndara. Le të jetë

cc

d

dhe y

yz

,

ku ˆ ˆ, rc y . Atëherë ˆ ˆˆ ˆ ˆ00 0

c c yc yd d

,

kështu 22 2 2

2 2 22ˆˆ ˆb Ax c y c y d .

9

Kjo minimizohet vetëm kur 1ˆˆ ˆy c , që është, , 1,...,ii

i

cy i r

. z-ja mund të merret

çfarëdo, por zgjidhje me normë minimale fitohet duke marrë 0z . Norma e mbetjes minimale është

2d . Kjo zgjidh problemin plotësisht në parim. Procedura e mësipërme

mund të përmblidhet, në formë algoritmi, si vijon: Algoritmi KV (Njehsimi i zgjidhjes së katrorëve më të vegjël për sistemin linear Ax b ) Kërko: matricën n mA dhe vektorin nb .

1: Njehso ˆT c

U b cd

.

2: Njehso 1ˆˆ ˆy c . 3: Nëse r m , zgjidh z çfarëdo. (Për zgjidhje me normë minimale, merr 0z )

4: Njehso ˆ my

yz

.

Kthe: x V y .

1.7 Pseudoinversi i matricës Pseudoinversi, ndryshe i njohur si inversi i përgjithësuar i Moore Penrose-it, është një përgjithësim i rëndësishëm i inversit të zakonshëm[16,48]. Edhe pse vetëm matricat katrore jonsingulare kanë invers në kuptimin e zakonshëm, në anën tjetër çdo n mA ka pseudoinversin e saj. Sikurse zgjidhja e sistemeve katrore josingulare që shprehet në termat e 1 1,A x A b , edhe zgjidhja e sistemeve të çfarëdoshme drejtkëndëshe mund të shprehet në termat † †,A x A b . Për matricën e çfarëdoshme drejtkëndëshe n mA , më lartë është përshkruar DVS-ja e saj dhe diagrami i veprimit të A-së nëpërmjet vlerave singulare. Ne dëshirojmë ta përkufizojmë pseudoinversin † m nA në mënyrë që ai të jetë shumë afër (aq sa është e mundur) inversit të zakonshëm. Prandaj, është e nevojshme që

† 1 , 1,...,i i iA u v i r . Një zgjedhje e arsyeshme për † †1,...,r nA u A u është për t'i bërë

ato zero. Kështu përkufizohet pseudoinversi i A-së si † m nA i dhënë në mënyrë unike me anë të diagramit:

10

11

12

1

†

1 1

2 2

1

0

r

r r

r

n

A

u v

u v

u vu

u

Shihet që †rank( ) rank( )A A , 1,..., nu u dhe 1,..., mv v , janë, përkatësisht, vektorët e djathtë e të majtë singularë të †A -së ndërsa 1 1

1 ,..., r

janë vlerat singulare jo zero. Operatorët e kufizuar: 1 1: span{ ,..., } span{ ,..., }r rA v v u u dhe

†1 1: span{ ,..., } span{ ,..., }r rA u u v v janë inversa të mirëfilltë të njëri-tjetrit.

Cila do të ishte forma matricore e †A ?

Në qoftë se shënohet ˆ 00 0

n m

, 1

ˆ : diag{ ,..., }r , min{ , }r m n , atëherë

1†

ˆ 00 0

m n

.

Ekuacionet e mëposhtme japin një pamje të përgjithshme të †A :

1† , 1,...,

0, 1,...,i i

iu i r

A ui r n

Mund të shprehet vetëm si një ekuacion matricor † †A U V . Kështu, duke qenë se U është ortogonale, atëherë † † TA V U . (1.7.1) Relacioni i fundit është DVS-ja e †A në formën matricore. Në qoftë se me U dhe Vshënojmë në mënyrë përkatëse r-shtyllat e para të U dhe V , atëherë relacioni (1.7.1) mund të shkruhet në trajtën e shkurtër

† 1ˆ ˆˆ TA V U . (1.7.2)

Ekuacioni i fundit na jep një mjet për njehsimin e †A duke njehsuar DVS-në e A-së. Në anën tjetër, lidhjen ndërmjet pseudoinversit dhe problemit të katrorëve më të vegjël e jep teorema në vijim:

11

Teorema 1 Le të jetë n mA dhe nb si dhe mx zgjidhja e minimum-normës së

2 2min

mwb Ax b Aw

.

Atëherë, †x A b . 1.8 Disa zbatime të dekompozimit në vlera singulare të matricës në ekonomi Dekompozimi në vlera singulare (DVS) përveç zbatimeve të shumta në metodat numerike të algjebrës lineare, në fusha të tjera të shkencave teknike, ka zbatime të rëndësishme edhe në ekonomi[23]. Për shembull, konceptet e regresionit linear dhe zgjidhjes së problemit të katrorëve më të vegjël shfrytëzohen shpesh. Me ekonometri nënkuptojmë koleksionin e një sërë metodash statistike dhe matematike që shfrytëzojnë të dhënat për të analizuar marrëdhëniet midis variablave ekonomikë. Një qasje kryesore në ekonometri është analiza e regresionit. Për këtë analizë është i nevojshëm specifikimi i një modeli të regresionit që karakterizon marrëdhënien e variablave ekonomikë. Ekonomistët janë të interesuar në marrëdhëniet në mes të dy ose më shumë variablave ekonomikë. Teoria ekonomike në përgjithësi sugjeron marrëdhënie në forma funksionale[21] (kujtojmë modelet ekonomike). Këto marrëdhënie janë përcaktuese, të tilla si ( )Y f X , ose 1 2, , . . ., kY f X X X . Specifikim më e thjeshtë dhe zakonisht më e përdorur është modeli linear. Regresioni linear është mjeti empirik mbizotërues në ekonomi. Për shembull, ai është përdorur për të parashikuar shpenzimet e konsumit , shpenzimet e investimeve fikse, investimet e inventarit, blerjet e eksporteve të një vendi, shpenzimet e importeve, kërkesa që të mbajë aktivet likuide, kërkesa për punë dhe furnizimin e punës[25,29]. Për vlerësimin e pasurive të mëdha përdoret regresionit linear, si dhe koncepti beta për analizën dhe kuantifikimin e rrezikut sistematik të një investimi. Nga studimet vëzhgimore duke përdorur analizën e regresionit, që herët është vënë re lidhja e duhanp- irjes me vdekshmërinë dhe sëmundjet e caktuara. Në mënyrë që të zvogëlohen korrelacionet e rreme gjatë analizës së të dhënave nga vëzhgimi, studiuesit zakonisht përfshijnë disa variabla në modelet e tyre të regresionit krahas variablës së interesit primar. Për shembull, konsiderojmë që kemi një model regresioni ku duhanpirja është variabël e pavarur me interes, dhe si variabël e varur është jetëgjatësia e matur në vjet. Hulumtuesit mund të përfshijnë statusin socio-ekonomik si një variabël shtesë të pavarur, për të siguruar që çdo efekt i vërejtur i duhanpirjes në jetëgjatësi nuk është i ndikuar nga niveli i arsimimit ose nga të ardhurat. Megjithatë, kurrë nuk është e mundur që të përfshihen të gjitha variablat e mundshme në një analizë empirike. Më poshtë do të tregohet se DVS-ja është një mjet shumë i dobishëm në përfaqësimin e parametrave të ndryshme që shfaqen te regresioni i shumëfishtë linear.

12

1.8.1 Njehsimi i regresionit linear duke përdorur DVS-në Është dhënë një bashkësi të dhënash 1 1

, . . . , ,n

i ip i ix x y

nga n-njësitë statistike, një model

i regresionit linear supozon se relacioni në mes variablës së varur iy dhe vektorit p të

regresorëve 1, . . . ,i i ipx xx është linear[45,46].

Ky relacion është modeluar në bazë të konceptit të turbullimit ose variablës së gabimit i-e cila rastësisht pa u vënë re shton turbullirën në marrëdhënien lineare mes variablës së varur dhe regresorëve. Kështu modeli merr formën: 1 1 2 2 . . . , 1,...,T

i i i p ip i i iy x x x i n x , (1.8.1) ku T

i x është prodhimi i brendshëm i vektorëve ix dhe . Ekuacionet (1.8.1) shpesh grupohen bashkë dhe shkruhen në trajtën vektoriale si X y , (1.8.2) ku

1

2

n

yy

y

y

,

11 11

21 22

1

Tp

Tp

Tn npn

x xx x

X

x x

xx

x

,

1

2

p

,

1

2

n

.

Te formula (1.8.2), me y janë shënuar variablat e varura, X-i paraqet variablat e pavarura, -paraqet koeficientët e regresionit që duhen vlerësuar, dhe paraqet vektorin e gabimeve ose mbetjeve. i vlerësuar është shënuar me . Vlerat e sheshuara (ang. fitted values) te të dhënat e stërvitura janë përcaktuar si

1

2

ˆˆ

ˆ

ˆn

yy

y

y

me ç’rast 1

ˆˆp

i i ij jj

x

y .

Prandaj, përdorim modelin Xy , me matricën hyrëse X me përmasa ( 1)n p dhe vektorin dalës me ( 1)p elemente:

13

11 11

21 22

1

11

1

Tp

Tp

Tn npn

x xx x

X

x x

xx

x

,

0

1

p

.

Një vështrim i përgjithshëm i modeleve të regresionit linear është paraqitur në [30]. Konsideroni modelin e regresionit linear (1.8.2), në të cilin y është vektor vëzhgimi (me përmasa 1n ) i variablës së varur, X-i është matricë (me përmasa n p ) me rang të plotë sipas shtyllave, është vektor parametër (me përmasa 1p ), ( ) 0E dhe

2( )Var I , ndërsa dhe 2 janë të panjohura. 1.8.2 Katrorët më të vegjël të zakonshëm (KVZ) KVZ është vlerësues i thjeshtë dhe më i zakonshëm. Vlerësuesi KVZ i parametrit të panjohur është

1ˆ T TKVZ X X X

y , (1.8.3)

Është e mundur njehsimi i matricës 1T TX X X

duke përdorur DVS-në e X-it.

Vështrojmë DVS-në e matricës TX X :

2 .

TT T T

T T

T

X X U V U V

V U U VV V

Për vektorët e majtë singularë iu kemi: 2T

i i iX X u u . Po ashtu, vektorët e djathtë singularë iv plotësojnë relacionin:

2Ti i iX X v v .

Dy relacionet e fundit japin: , T

i i i i i iX X u v v u . Vektorët e majtë singularë iu janë vektorët vetjak të matricës TX X dhe vektorët e djathtë singularë iv janë vektorët vetjak të matricës TX X . Shtyllat e matricës U korresp- ondojnë me elementet jozero të matricës mbërthejnë përfytyrimin X . Shtyllat e matricës V që korrespondojnë me elementet zero të matricës mbërthejnë bërthamën

X . Zbërthimi DVS është vendimtar për rangun: rank A është e barabartë me r-në më të madhe të tillë që 0r . Ekzistojnë ( )m r vektorë të majtë singularë të cilëve u korrespondojnë vlerat singulare jozero. Ekzistojnë ( )n r vektorë të djathtë singularë të cilëve u korrespondojnë vlerat singulare zero. Më tej, kemi:

14

1 2

1

† .

T T T T

T

X X X V V V U

V UX

Përgjigjja e sheshuar (ang. fitted response) për regresionin (1.8.3) është vektori i cili mund të njehsohet duke përdorur DVS-në si vijon:

1

12

1

ˆˆ

,

KVZ

T T

T T T

T

rT

i ii

X

X X X X

U V V V V U

UU

y

y

y

y

u u y

ku iu janë komponentet kryesore të normalizuara të X-it. Sipas elementeve, do të kemi

01

ˆ ˆˆr

i ij KVZ jjx

y .

Në qoftë se vlera vetjake më e vogël e matricës TX X është shumë më e vogël se numri 1, atëherë krijohet një problem serioz i keq-kushtëzimit (ose multikolinearitetit). Kështu, për të dhënat e keq-kushtëzuara, zgjidhja e katrorëve më të vegjël jep koeficientët vlerat absolute e të cilëve janë shumë të mëdha dhe shenjat e të cilëve mund në të vërtetë të bëhen të kundërta me ndryshimet e papërfillshme në të dhënat. Për të zvogëluar efektet e multikolinearitetit, përkufizohen disa vlerësues të shmangur (ang. biased) në modelin (1.8.2). Kur kushtet janë të ndërlidhura dhe shtyllat e matricës

së projektimit X janë afërsisht linearisht të varura, matrica 1TX X

bëhet e afërt me singularen. Si rezultat, vlerësuesi i katrorëve më të vegjël (1.8.3) bëhet shumë i ndjeshëm ndaj gabimeve të rastit në përgjigjen e vrojtuar y , duke prodhuar një variancë të madhe. Shembulli 1 Të dhënat janë të futur si tre ose më shumë variabla.Një variabël përfaqëson variablën e varur. Variablat e tjera përfaqësojnë variablat e pavarura. Një shembull i të dhënave të përshtatshme për këtë procedurë është treguar më poshtë në tabelë:

x1 x2 x3 y 1 2 1 3 2 4 2 9 3 6 4 11 4 7 3 15 5 7 2 13 6 7 1 13 7 8 1 17 8 10 2 21 9 12 4 25

10 13 3 27 11 13 2 25

15

12 13 1 27 13 14 1 29 14 16 2 33 15 18 4 35 16 19 3 37 17 19 2 37 18 19 1 39

Matrica hyrëse X dhe vektori y janë të barabartë me:

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 182 4 6 7 7 7 8 10 12 13 13 13 14 16 18 19 19 191 2 4 3 2 1 1 2 4 3 2 1 1 2 4 3 2 1

T

X

3 9 11 15 13 13 17 21 25 27 25 27 29 33 35 37 37 39 .Ty

Vlerësuesi KVZ i parametrit është i barabartë me

0.223060.414486ˆ2.421290.470362

KVZ

.

Përgjigjja e sheshuar është përcaktuar nga

ˆˆ KVZX y 4.18078 8.13851 11.6259 14.103 14.1589 14.2148 16.2216 20.1793 23.6667

26.1438 26.1997 26.2556 28.2624 32.2201 35.7075 38.1846 38.2405 38.2964 T

1.8.3 Vlerësuesi nëpër brazda (ang. Ridge Estimator) Vlerësuesi nëpër brazda[17,19], duke përdorur DVS-në ( 0k ), është përcaktuar me

1ˆ T Tk X X kI X

y ,

ku k është një parametër real, i quajtur parametër brazdë, ndërsa I është matricë njësi. Vlerat e vogla pozitive të k-së përmirësojnë kushtëzimin e matricës TX X dhe thjeshtojnë variancën e vlerësimeve. Derisa shmanget, varianca e thjeshtuar e vlerësimeve brazdë shpesh rezulton me gabimin e mesëm katror më të vogël në krahasim me vlerësimet e katrorëve më të vegjël. Zgjidhja e bazuar në vlerësuesin brazdë ekziston madje edhe kur

16

matrica TX X është singulare, d.m.th., kur ka vlera vetjake zero. Kur matrica TX X është e keq-kushtëzuar (gati singulare), zgjidhja e regresionit brazdë është më e qëndrueshme (më e fuqishme).

Një kufizim i regresionit brazdë lind nga fakti se zgjedhja e konstantes së shmangur (ang. biasing constant) k është e penalizueshme. Ndërsa metodat formale janë zhvilluar për të bërë këtë zgjedhje, këto metoda kanë kufizimet e tyre. Përgjigjja e sheshuar për regresionin brazdë mund të njehsohet duke përdorur SVD si më poshtë:

1

12

2

21

ˆˆ

,

k

T T

T

mTi

i ii i

X

X X X kI X

U kI U

k

y

y

y

u u y

ku iu janë komponentët kryesore të normalizuara të X-it. Katrorët më të vegjël të përgjithësuar (KVP) janë një zgjerim i metodës së KVZ , që lejon vlerësim efikas të kur ose heterosedasticiteti, ose korrelimi, ose të dyja bashkë shfaqen në kufizat e gabimit të modelit, për aq kohë sa trajta e heterosedasticitetit dhe korrelimi njihen pavarësisht nga të dhënat. Për të trajtuar heterosedasticitetin kur kufizat e gabimit janë të pakorreluara me njëra-tjetrën, KVP minimizon një analog me peshë të shumës së katrorëve të mbetjeve nga regresi KVZ, ku pesha për rastin e i-të është në përpjesëtim të zhdrejtë me ( )ivar . Ky rast i veçantë i KVP quhet "Katrorët më të vegjël me peshë". Zgjidhja KVP për problemin e vlerësimit është:

11 1ˆ T TKVP X X X

y ,

ku është matricë kovariante e gabimeve. KVP mund të vështrohen si zbatim i transfor- mimit linear në të dhënat në mënyrë që supozimet e KVZ janë plotësuar për të dhënat e transformuara. Për t’u zbatuar KVP-ja, struktura kovariante e gabimeve duhet të jetë e njohur gjer te shumëzimi me një konstante. 1.9 Dekompozimi në vlera singulare i përgjithësuar Problemi i vlerave vetjake të përgjithësuara T TA Ax B Bx , katrorët më të vegjël të përgjithësuar, analiza diskriminante te problemi i optimizmit si dhe një seri problemesh të fushës së njehsimeve matricore imponojnë zgjerimin e përkufizimit të vlerave singulare[5,12]. Do të jepen dy përgjithësime të dekompozimit në vlera singulare[6,33]. Këto përgjithësime ofrojnë një mënyrë të unifikuar në lidhje me problemet e caktuara matricore dhe teknikat numerike të cilat përdoren për zgjidhjen e tyre [13,14].

17

Teorema 1 [14] Për matricën e dhënë reale n mA , ekzistojnë matricat ortogonale n nU dhe m mV të tilla që

1 2diag , , . . . ,TqU AV , min ,q n m ,

ku 1 2 1. . . . . . 0r r q dhe rankr A .

Numrat i janë vlerat singulare të matricës A, me ç’rast përkufizohet bashkësia A

me 1 2, , . . . , qA . Nga vetitë e shumta që kanë vlerat singulare, me interes të veçantë janë vetitë në vijim 2det 0T

mA A A I , (1.9.1)

A është vlerë stacionare e Axx

. (1.9.2)

Një përgjithësim i natyrshëm i konceptit të vlerës singulare buron nga secila prej këtyre rrjedhimeve: Gjej ato 0 për të cilat 2det 0T TA A B B . (1.9.3)

Gjej vlerat stacionare të S

T

Axx

. (1.9.4)

Këtu, matricat A dhe B kanë numër të njëjtë shtyllash, ndërsa normat S

dhe T

janë

të përkufizuara kësisoj: 1/ 2, ,T m m m

Px x Px x P pozitivisht e përcaktuar.

Qëllimi kryesor i kësaj pike është të shqyrtohen kërkesat (1.9.3), (1.9.4) dhe përgjithësimi i dekompozimit në vlera singulare që sugjerojnë çdonjëra prej tyre. Ky synim ofron një qasje të re që lidhet me probleme të caktuara matricore dhe teknikat e përdoruara numerike për zgjidhjen e tyre. 1.9.1 Dy përgjithësime të dekompozimit në vlera singulare Do të prodhohen dy dekompozime matricore të cilat janë të rëndësishme për problemet (1.9.3) dhe (1.9.4). Fillimisht le të përkufizohet koncepti i “B-vlerave singulare”[12]. Përkufizimi 2 B-vlerat singulare të matricës A janë elementet e bashkësisë ,A B e cila përkufizohet me

2, 0, det 0T TA B A A B B ,

ku ,a bn m n mA B dhe an m . (Siç do të shohim më poshtë, supozimi an m nuk ka ndikim restriktiv nga këndvështrimi i zbatimeve). Dekompozimi i mëposhtëm është përgjithësim i DVS, nga i cili lehtë mund të përftohen B-vlerat singulare.

18

Teorema 3 (Dekompozimi në B-vlerat singulare (BDVS)). Merret an mA bn mB dhe an m . Ekzistojnë matricat ortogonale U (me përmasa a an n ) dhe V (me përmasa

b bn n ) si dhe matrica josingulare X (me përmasa m m ) të tilla që

1 2

1 2

diag , , . . . , , 0,

diag , , . . . , , 0,

TA m i

TB q i

U AX D

V B X D

(1.9.5)

ku min ,bq n m , rankr B dhe 1 2 1. . . . . . 0r r q . Në qoftë

se 0j për çdo j, 1r j n , atëherë , 0A B . Përndryshe,

, 1,2, . . . ,i

i

A B i r

.

Vërtetimi. Le të jetë dhënë DVS-ja e AB

me anë të

1 1 2diag , , . . . ,Tm

AQ Z

B

, (1.9.6)

ku 1 2 1. . . . . . 0k k m , rankA

kB

. Me përcaktimin e

1 2diag , , . . . , k kkD dhe me copëtimin e matricës ortogonale 1

m mZ si

1 11 12[ ]k m k

Z Z Z

| , ne gjejmë që 1 1 1 1T T

kA A B B I , ku 11 11

an kA AZ D dhe

11 11

bn kB BZ D . Në qoftë se rankr A dhe

1 2 1 2diag , , . . . , , min ,Tp bV B Z p n k , (1.9.7)

shënojmë DVS-në e 1B me 1 2 1. . . . . . 0r r p , atëherë

1

21 1 2

0diag , , . . . ,

0T

B qm k

D ZV BZ D

I

, (1.9.8)

ku 1 . . . 0p q dhe min ,bq n m .

Në anën tjetër, vërehet se shtyllat e matricës 1 2A Z janë reciprokisht ortogonale sepse

2 2 21 2 1 2 2 1 1 2 1 2diag 1 , 1 , . . . , 1T T T

k kA Z A Z Z I B B Z .

Që këtej, ekziston matrica ortogonale b bn nU e tillë që 1 2 1 2diag , , . . . , an k

kA Z U . (1.9.9)

Mund të supozohet që vlerat i nga (2.5) janë jonegative. Duke marr 0i për 1, . . . ,i k m shihet se

19

1

21 1 2

0diag , , . . . ,

0T

A mm k

D ZU AZ D

I

. (1.9.10)

Kështu, (1.9.5) është krijuar duke vënë 1

2 00 m k

D ZX

I

në (1.9.8) dhe (1.9.10).

Për të treguar se teorema në mënyrë korrekte saktëson ,A B , vihet re se

22 2 2 2 2

1 1

det detr m

T Ti i i

i i rA A B B X

. ■

Shënimi (i) Në qoftë se an m dhe bn m , atëherë diagonalizimi (1.9.5) nuk mund të ekzistojë duke parë shembullin 1 0 , 0 1A B . Për fat të mirë, kjo nuk është katastrofike, sepse an m në të gjitha shembujt që do të diskutohen.

Shënimi (ii) Matricat e transformimit U, V dhe X nuk janë të vetme. Në veçanti, ne bëjmë zëvendësimin e X-it me XD në (1.9.5) kurdo që 1 2diag , , , m m

mD me 0i . Në qoftë se matricat TA A dhe TB B komutojnë, atëherë është e mundshme zgjedhja e një matrice ortogonale X. Në këtë mënyrë, në qoftë se mB I , atëherë nga (1.9.5), 1

BXD V

është ortogonale dhe faktorizimi 1 1TB A BU A XD D D paraqet DVS-në e A-së.

Shënimi (iii) , 0 0A B A B . Në këtë rast nënhapësira e krijuar nga k-shtyllat e para të matricës X është ortogonale me nënhapësirën e krijuar

nga m – k shtyllat e fundit të X-it ( rank )Ak B

. Kjo nënhapësira e fundit është e

barabartë me AA B B

.

Shënimi (iv) Në qoftë se me ix shënohet shtylla e i-të e matricës X, atëherë nga (1.9.5) do të kemi ( 1, . . . , )i iAx i m dhe ( 1, . . . , )i iBx i q . Në qoftë se shtyllat e X-it janë të janë të skalarizuara në mënyrë që të kenë normën 1, atëherë nga kjo del që secili

i është i kufizuar nga poshtë (nga lartë) me vlerën singulare më të vogël (më të madhe) të A-së. Në mënyrë të njëjtë, secili i është i kufizuar nga poshtë (nga lartë) me vlerën singulare më të vogël (më të madhe) të B-së.

Problemi i gjetjes së rrënjëve të 2det 0T TA A B B kuptohet që paraqet një sintezë të

problemeve 2det 0TmA A I dhe det 0A B . Vërtetë, problemi i B-vlerës

singulare trashëgon vështirësitë që lidhen me secilin nga këto probleme më themelore:

(a) Kur B-ja është afër të qenët matricë me rang jo të plotë, është i vështirë njehsimi i elementeve “të qëndrueshme” të ,A B (që do të thotë ato B-vlera singulare të cilat

20

nuk janë të prekura shumë nga ndryshimet e vogla në matricën B). Një situatë paralele kemi edhe te problemi A B .

(b) Formimi i prodhimeve TA A dhe TB B mund të çojë në një humbje jo të parëndës- ishme të saktësisë. Kjo shpjegon se pse nuk punohet me TA A në problemin e vlerave singulare.

Një algoritëm i cili i kapërcen këto vështirësi është algoritmi VZ [13]. Ky algoritëm mund të gjejë elementet e qëndrueshme të ,A B pa i formuar matricat TA A dhe TB B , dhe suksesi i tij është i paprekur nga degjenerimet e rangut në B. Në anën negative, algoritmi VZ nuk merr parasysh simetrinë dhe matricat e transformimit U dhe V në (1.9.5) janë keq-përcaktuar nga procesi.

Një mënyrë alternative për njehsimin e BDVS është sugjeruar gjatë vërtetimit të Teoremës 3. Përskaj veprimeve themelore matricore, teknika që u theksua sillet përreth DVS-së (1.9.6) dhe (1.9.7) si dhe ortogonalizimit (1.9.9). Megjithatë, në disa situata, jo të gjitha faktorizimet janë të nevojshme.

Tani do të formulojmë dekompozimin në vlera singulare të përgjithësuar duke u lidhur me (1.9.4). Është një kombinim i thjeshtë i DVS-së standarde dhe përkufizimeve vijuese.

Përkufizimi 4 Le të jetë m mP një matricë pozitivisht e përcaktuar. Matrica m mQ është P ortogonale në qoftë se T

mQ PQ I .

Përkufizimi 5 Le të jenë S dhe T dy matrica pozitivisht të përcaktuara të rendit përkat-ësisht n dhe m, ku n m . S,T-vlerat singulare të n mA janë elementet e bashkësisë

,S T A e cila përkufizohet me:

, 0, është vlera stacionaree SS T

T

AxA

x

.

Teorema 6 (S,T-dekompozimi në vlera singulare i n mA ). Le të jenë n mA , n nS dhe m mT ku n m , me ç’rast matricat S dhe T janë pozitivisht të përcakt-

uara. Ekziston matrica S ortogonale n nU dhe matrica T ortogonale m mV të tilla që

11 2diag , , . . . , mU AV D .

Veç kësaj, , 1 2, , . . . ,S T mA .

Ekzistojnë disa lidhje ndërmjet të dy dekompozimeve në vlera singulare të përgjithësuara të paraqitura deri tani. 1.9.2 Problemet tek të cilët janë zbatuar teknikat e vlerave singulare të përgjithësuara (a) Katrorët më të vegjël që shuhen. Ka raste kur duhet minimizuar forma kuadratike

21

2 22Ax b Bx d , (1.9.11)

ku an mA ( an m ), ,b an m nB b , bnd dhe 0 . Ekziston zgjidhja unike

ˆ ˆx x me normën minimale e këtij problemi dhe shpesh është me interes të dihet se si

ndryshon x në varësi nga . Në diskutimet e tyre lidhur me këtë problem, Lavsoni dhe Hansoni kanë diagonalizuar matricat A dhe B dhe në këtë mënyrë, faktikisht, kanë bërë analizën e vlerave singulare të përgjithësuara të problemit (1.9.11)[12]. Këtu do të riprodhohet kjo pjesë e punës së tyre duke përdorur Teoremën 3, por në dallim nga analiza e tyre, e cila presupozon matricën B si katrore dhe të invertueshme, reduktimi ynë te (1.9.11) do të jetë i vlefshëm për një B çfarëdo. Në të vërtetë, në qoftë se zëvendësohet (1.9.5) te (1.9.11), do të fitohet:

2 22 22 2

A BAx b Bx d D y b D y d

2 22

1 1

qm

j j j j j jj j

y b y d

,

ku 1y X x , Tb U b dhe Td V d kanë komponentet ,i iy b dhe id . Ndër y-ët që

minimizojnë 2 22

A BD y b D y d është e qartë se 1 2ˆ ˆ ˆ ˆ, , . . . , Tny y y y ka normë

minimale, ku 2

2 2 2ˆ j j j j

jj j

b dy

për 1, 2, . . . , rankj r B dhe

, 0ˆ

0, 0

jj

jj

j

by

për 1, . . . ,j r m . Si rrjedhim, ˆ ˆx X y minimizon (1.9.11).

Më tej duhet të tregohet se x ka normën minimale. Merret që me ix të shënohet shtylla e i-të e matricës X. Nga shënimi 3 dimë se 1 2, , . . . , kx x x janë ortogonalë me A B .

Kështu, e njëjta mund të thuhet edhe për 1

ˆ ˆr

i ii

x y x

për arsye se rank( ) rank Ar B kB

.

Nga kjo mund të nxirret një përfundim se x ka normën minimale. (b) Katrorët më të vegjël me kufizime të barabarta. Le të jenë an mA ( an m ),

,b an m nB b , bnd dhe bashkësia joboshe x Bx d . Merret në konsideratë

problemi min

Bx dAx b

. (1.9.12)

22

Duke përdorur dekompozimin në B-vlerat singulare (1.9.5), problemi(1.9.12) shndërrohet në

minB

AD y dD y b

,

ku 1y X x , Tb U b dhe Td V d . Zgjidhja x te (1.9.12) është dhënë, në këtë mënyrë,

me ˆ ˆx X y , ku 1 2ˆ ˆ ˆ ˆ, , . . . , Tny y y y është përcaktuar kësisoj

ˆ , 1, . . . ,ii

i

dy i r

,

, 0

ˆ , 1, . . . ,0, 0

ii

i i

i

by i r m

.

Një argument i ngjashëm me atë që u dha në zbatimin paraprak tregon se x është unik, si zgjidhje me normë minimale e (1.9.12).

1.9.3 Njehsimi i dekompozimit në vlera singulare të përgjithësuar Për njehsimin e dekompozimit në vlera singulare të përgjithësuar (DVSP, ang. GSVD) në mënyrën e përgjithësimit siç u paraqit më lart, janë zhvilluar metoda dhe algoritme të shumtë. Ne do të paraqesim variantin e algoritmit të Pejxhit[9] për njehsimin e DVSP-së të dy matricave A dhe B. Ky algoritëm bazohet në dy fakte. Fillimisht matricat A dhe B reduktohen në formën trekëndëshe të sipërme për të plotësuar kushtet e rangut. Fakti i dytë është përdorimi i algoritmit të ri për njehsimin e DVSP të matricës elementare trekëndëshe 2 2 , i cili përbën ciklin e brendshëm të algoritmit të Pejxhit[14].

Teorema 1 Le të jenë n mA dhe p mB me rangun rank ,T TA B m . Atëherë ekzistojnë matricat ortogonale U, V dhe Q të tilla që

1 2,T TU AQ R V BQ R , (1.9.13)

ku m mR është matricë josingulare trekëndëshe e poshtme, ndërsa

1

1 1

1

,

l k m l kl

k

n l k

ID

O

2

2 2

2

l k m l kp m l

k

m l k

OD

I

(1.9.14)

me ç’rast 1l lI dhe ( ) ( )

2m l k m l kI janë matrica njësi, ( ) ( )

1n l k n l kO dhe

( )2

p m l lO janë matrica zero,

1 1diag , . . . ,l l kD , 1 1diag , . . . ,l l kD (1.9.15)

11 . . . 0l l k , 10 . . . 1l l k , 2 2 1i i . (1.9.16)

23

Në rastin e veçantë kur B-ja është matricë njësi, dekompozimi jep DVS-në e A-së. Për më tepër, në qoftë se B-ja është josingulare e çfarëdoshme, atëherë SVDP-ja e A-së dhe B-së

reduktohet në DVS-në e matricës 1AB . Në qoftë se ,TT TA B ka shtyllat ortonormale,

atëherë SVDP-ja e A-së dhe B-së është dekompozimi CS[7].

Për të gjitha llojet e përgjithësimeve, e përbashkëta e tyre është gjetja e algoritmeve të qëndrueshme dhe efikase për njehsimin e DVSP të dy matricave. Në këtë sens, Van Loan-i ka treguar që vlerat ,A B mund të përftohen me faktorizimin e matricave A dhe B në prodhime, në mënyrë përkatëse, të një matrice ortogonale, një matrice diagonale dhe një matrice josingulare[12]. Më vonë, po ky autor futi në përdorim një metodë tjetër që bazohet në DVS dhe dekompozimin QR. Një autor tjetër–Stjuart, njehsimin e bazon në DVS-në dhe metodën e Jakobit për problemin simetrik të vlerave vetjake[10]. Algoritmet numerike të Stjuartit dhe Van Loanit kryesisht kanë qëllimin e njehsimit fillimisht të dekompozimit CS, por me to mund të njehsohet edhe DVSP duke inkorporuar dekompozime të tjera standarde. Me zhvillimin e algoritmit të Kogbetliancit për njehsimin e DVS-së të prodhimit të dy matricave, Pejxhi propozoi përgjithësimin e algoritmit të Kogbetliancit për të njehsuar DVSP-në drejtpërdrejt[9]. Algoritmi i Pejxhit është mënyra e njehsimit sipas Jakobi-Kogbetliancit i cili zbaton transformime ortogonale mbi A-në dhe B-në veçmas, pa njehsuar dekompozimin CS. Ky algoritëm zhvillohet në dy faza: (1) Reduktimi i matricave A dhe B në trajtën si më poshtë

11 12 13

0 0 0 ,0 0 0

r q m t

r

T q

n t

A A AU AP

11 12 13

22 230 ,0 0 0

r q m t

r

T q

p t

B B BV BP B B

(1.9.17)

ku n nU dhe p pV janë matrica ortogonale, matrica m mP është matricë përkëmbimi, 11

r rA është trekëndëshe e sipërme josingulare, 11r rB është trekën-

dëshe e sipërme, t r q , dhe në qoftë se 0q , 22q qB është trekëndëshe e sipërme

josingulare. (2) Njehsohet DVSP i dy matricave katrore (me përmasa m m ) trekëndëshe të sipërme të trajtës (1.9.17) me anë të algoritmit të përgjithësuar të Kogbetliancit.

Faza e parë bëhet në fillim, me anë të faktorizimit QR me pivotimin-shtyllë të matricës A dhe përcaktohet rangu r i A-së, ndërkohë përkëmbehen shtyllat e B-së në të njëjtën mënyrë, dhe pastaj zbatohet faktorizimi QR me pivotimin-shtyllë mbi bllokun e p r rreshtave të fundit dhe m r shtyllave të B-së me ç’rast fitohet rangu q i këtij blloku; kështu fitohen trajtat (1.9.17).

Faza e dytë bëhet me anë të ndonjë metode iterative efikase.

24

Algoritmi i Pejxhit, siç u përmend në fillim të këtij paragrafi, zhvillohet mbi dy fakte thelbësore.

I pari është si vijon: Supozojmë që te paraqitja (1.9.17), pjesa jozero e matricës TV BP ka rang të plotë rreshtor. Është e njohur që ka vështirësi në zgjedhjen e matricës V në mënyrë që të garantohen kushtet dhe P-ja mund të mos jetë një matricë përkëmbimi. Megjithatë në hapin e parapërpunimit (1.9.17) , nuk kërkohet ky kusht, e kështu që mund të përdoret thjesht faktorizimi QR me pivotimin shtyllor. Për më tepër, jo se SVDP-ja është e pavarur nga skalarizimi shtyllor i matricave A dhe B. Kushtet (1.9.17) ruajnë këtë veti.

Fakti i dytë ka të bëjë me zbatimin e algoritmit të ri DVSP trekëndësh (me përmasa 2 2 ), i cili përbën ciklin e brendshëm të algoritmit të Pejxhit. Këtej e tutje, supozohet se A dhe B janë shndërruar paraprakisht në trajtën trapezoide të sipërme. 1.9.4 Algoritmi i Pejxhit për njehsimin e DVSP Për ta përshkruar algoritmin e Pejxhit, së pari shqyrtohet algoritmi i Kogbetliancit[14] për njehsimin e DVS-së së një matrice trekëndëshe të sipërme A. Më saktë, do të përshkruhet algoritmi i Pejxhit për njehsimin e DVSP të matricave A dhe B, në rastin kur B-ja është josingulare. Në fund do të diskutohet se si përgjithësohet ideja për rastin kur matrica B është e keq-kushtëzuar ose singulare. 1.9.4.1 Algoritmi i Kogbetliancit për njehsimin e DVS të një matrice trekëndëshe Algoritmi i Kogbetliancit është një lloj i skemës së Jakobit. Supozojmë që transformimi i k-të i algoritmit vepron mbi rreshtat dhe shtyllat i dhe j të A-së, le të jetë ijA nënmatrica (e formatit 2 2 ) e përcaktuar me rreshtat dhe kolonat i dhe j të A-së. Matricat e rotacionit

rot ,k u uU c s dhe rot ,k v vV c s zgjidhen të atilla që

diag ,Tk ij k ii jjU A V

të jetë DVS e matricës ijA , ku cosu kc , sinu ks dhe cosv kc , sinv ks . Le të

jenë ˆkU dhe kV dy matrica njësi me elementet ,i i , ,i j , ,j i , ,j j që zëvendës-

ohen me elementet 1,1 , 1, 2 , 2,1 , 2, 2 , në mënyrë përkatëse, të matricave kU dhe

kV . Pastaj le të jetë

1ˆ ˆT

k k k kA U A V , ku 0A A . Pas kalimit të parë nëpër të gjitha ,i j të rreshtit me renditje ciklike, të një matrice trekëndëshe të sipërme A gjer sa të bëhet trekëndëshe e poshtme. Kalimi i dytë do të rikthejë formën trekëndëshe të sipërme, e kështu me radhë.

25

Konvergjenca globale është vërtetuar nga një teoremë e Fernandos e cila me supozimin që një nga këndet e rotacionit ,k k secilin ,i j e transformon në intervalin e

mbyllur /2, /2J , d.m.th.,

k J ose k J , 1,2, . . .k . (1.9.18)

Ky është kushti që algoritmi ynë do ta plotësojë. 1.9.4.2 Përgjithësimi i algoritmit të Kogbetliancit për njehsimin e DVSP Do të fillohet me njehsimin e DVSP-së së dy matricave trekëndëshe të sipërme A dhe B kur B-ja është josingulare. Dimë që kjo është e barasvlershme me njehsimin e DVS-së së matricës trekëndëshe 1C AB . Natyrisht, forma eksplicite e C-së nuk do të ishte një rrugëzgjidhje e mençur. Vihet re që zbatimi i algoritmit të Kogbetliancit mbi matricën C, do ta bëjë atë trekëndëshe të poshtme. Kjo do të thotë se ekzistojnë matricat ortogonale

1U dhe 1V të tilla që 1 1 1

TU C V C , (1.9.19)

ku 1C është trekëndëshe e poshtme. Duke riformuar relacionin (1.9.19) si 1 1 1T TU A C V B ,

shihet që, nëse mund të përcaktohet matrica ortogonale 1Q e cila plotëson

1 1 1TU A Q A , 1 1 1

TV B Q B , ku 1A dhe 1B janë trekëndëshe të poshtme, atëherë 1

1 1 1C A B . Kjo do të thotë se përdor- imi i algoritmit të Kobetliancit mbi matricën trekëndëshe të sipërme C për të gjetur trek- ëndëshen e poshtme 1C është i njëvlershëm me problemin e gjetjes së matricave ortogon- ale 1U , 1V dhe 1Q në mënyrë që matricat 1 1

TU A Q dhe 1 1TV B Q të bëhen trekëndëshe të

poshtme. Pejxhi[9] dhe Hari e Veselić[11] kanë treguar që mund të përfitohet nga strukturat trekëndëshe të A-së dhe B-së dhe duke përdorur algoritmin e Kogbetliancit të gjenden transformimet ortogonale 1U , 1V dhe 1Q pa formuar në mënyrë eksplicite matricën 1AB . Konkretisht, te transformimi ,i j , nënmatricat e nevojshme ijC (me përmasa 2 2 ) të C-së jepen me anë të

1

1

0 0ii ij ii ij

ij ij ijjj jj

a a b bC A B

a b

, (1.9.20)

ku ija dhe ijb janë elementet e përcaktuara nga rreshtat dhe shtyllat i dhe j, në mënyrë përkatëse, të A-së e B-së së përditësuar. Duke përdorur DVS-në e ijC :

diag ,Tij ij ij ij jjU C V c c , do të kemi

diag ,T Tij ij ii jj ij ijU A c c V B .

Kjo tregon që rreshtat përkatës të Tij ijU A dhe T

ij ijV B janë paralele. Prandaj në qoftë se

kemi zgjedhur rrotullimin ijQ në mënyrë që Tij ij ijV B Q të jetë trekëndëshe e poshtme,

26

atëherë matrica Tij ij ijU A Q gjithashtu duhet të jetë trekëndëshe e poshtme, e cila në të

vërtetë është vetëm DVSP-ja e matricave trekëndëshe ijA dhe ijB (me përmasa 2 2 ). Nëpërmjet këtij vrojtimi shihet se pas kompletimit të iteracionit sipas rreshtave, matricat e kërkuara ortogonale 1U , 1V dhe 1Q janë, në mënyrë përkatëse, prodhimet

12 13 1,. . . m mU U U , 12 13 1,. . . m mV V V , 12 13 1,. . . m mQ Q Q . Deri në fund të kalimit ciklik të rreshtit, ne përftojmë matricat trekëndëshe të poshtme 1A dhe 1B . Pastaj, kalimi vijues përbëhet nga elementet zero jashtëdiagonale të poshtme të matricës 1

1 1 1C A B në renditje shtyllore për t'a kthyer atë në formën trekëndëshe të sipërme, e kështu me radhë. Marr në tërësi, ne jemi duke vënë në veprim algoritmin e Kogbetliancit për t’a diagonalizuar matricën C të përkufizuar në mënyrë implicite. Pas konvergjencës, kjo jep

1TU AB V , një matricë diagonale. Kjo është T TU A Q V BQ ,

d.m.th. rreshtat e i-të të matricave TU A Q dhe TV BQ janë paralel, që është SVDP-ja e kërkuar e A-së dhe B-së. Në rastin e përgjithshëm kur B-ja është e keq-kushtëzuar në lidhje me inversen ose B-ja bëhet singulare pas fazës së parë, atëherë përdorimi i 1

ijB nuk rekomandohet. Kështu, Pejxhi sugjeron përdorimin

adj0 0ii ij jj ij

ij ij ijjj ii

a a b bC A B

a b

(1.9.21)

në vend të ijC nga (2.3), ku adj ijB është adjunkta e ijB . Që nga adj detij ij ijB B B I ,

duket të jetë i drejtpërdrejtë dhe i natyrshëm përdorimi i adj ijB në vend të 1ijB . Futja e

relacionit (1.9.21) në procedurën e mësipërme, i anashkalon vështirësitë numerike kur ijB

është e keq-kushtëzuar në lidhje me inversen ose ijB është singulare. Por këtu, gjithashtu parashtrohen dy çështje. E para, a ekzistojnë ende matricat e rrotullimit ijU , ijV dhe ijQ

të tilla që Tij ij ijU A Q dhe T

ij ij ijV B Q të jenë DVSP e matricave ijA dhe ijB (me përmasa 2 2)? E dyta, a konvergjon skema kah forma e kërkuar e SVDP-së së matricave A dhe B? Paragrafi në vijim i adreson përgjigjet e këtyre pyetjeve. 1.9.5 Njehsimi i DVSP i matricave trekëndëshe me përmasa 2 2 Në §1.9.4 u pa se thelbi i njehsimit të DVSP duke përdorur algoritmin e përgjithësuar të Kogbetliancit është njehsimi i DVSP së matricave 2 2 . Në këtë paragraf do të shqyrtohet njehsimi i DVSP-së për matrica të ndryshme të mundshme ijA dhe ijB (me përmasa 2 2 ) me aritmetikë të saktë.

27

Kur matricat A dhe B përpunohen për të marrë trajtën trapezoide të sipërme si (1.9.17), shihet se në transformimin ,i j , matricat A dhe B (me përmasa 2 2 ) janë të formave

11 12

220a a

Aa

dhe 11 12

220b b

Bb

, (1.9.22)

ku 11 0a , nëse A-ja është jozero. Lema 2 Ekzistojnë matricat e rrotullimit U, V dhe Q (me përmasa 2 2 ) të tilla që

11

21 22

0T aA U A Q

a a

dhe 11

21 22

0T bB V BQ

b b

janë DVSP-ja e A dhe B. Për më tepër,

(a) 11 0a , nëse A-ja është jozero.

(b) 22 0b , nëse të dyja A dhe B janë jozero, përveç që (c) në qoftë se rreshtat e parë të A-së dhe B-së janë paralel dhe rreshtat e dytë janë zero, atëherë U V I , dhe Q-ja mund të zgjidhet në mënyrë të tillë që elementet në pozicionin 1, 2 të A-së dhe B-së të bëhen zero njëkohësisht. Vërtetimi. Vërtetimi do të zhvillohet duke marrë parasysh të gjitha rastet e mundshme. Në qoftë se B-ja është josingulare, lema rrjedh menjëherë nga §1.9.4.2 . Nëse A-ja ose B-ja është zero, rezultati është trivial. Rastet e mbetura janë për B-në singulare por jo zero. Kjo përfshin tre rastet e mëposhtme, ku adjC A B :

(i) 11 12

0 0b b

B

me 11 0b . Në këtë rast, 12 11 11 12 12

22 11 22

0 00 0

a b a b cC

a b c

.

Në qoftë se 12 0c , d.m.th., vektorët e parë rreshta të A-së dhe B-së janë paralele, atëherë në qoftë se 12c është gjithashtu i barabartë me zero, U V I . Matrica ijQ është zgjedh-

ur për ta bërë zero elementin 1, 2 të A-së dhe poashtu duhet ta bëjë zero elementin 1, 2 të B-së, me çka është fituar rezultati (c). Në qoftë se 22 0c , atëherë të dyja matricat U dhe V janë zgjedhur si matrica përkëmbimi. Matrica Q është zgjedhur për të bërë zero elementin 1, 2 të TU A .

Në qoftë se 12 0c , atëherë U është zgjedhur për të bërë zero elementin 2, 2 të C-së

dhe rot 0,1V . Matrica TV B ka rreshtin e dytë jozero. Më tej lema zhvillohet me

zgjedhjen e Q-së për ta bërë zero elementin 1, 2 të TU A .

(ii) 12

22

00

bB

b

me 22 0b . Që këtej 22 1211 0 0

b bC a

. Atëherë U I , dhe V

28

është zgjedhur për ta bërë zero elementin 1, 2 të C-së, d.m.th. për ta bërë zero elementin

1, 2 të B-së. Më tej lema vijon me zgjedhjen e Q-së për ta bërë zero elementin 1, 2 të A-së.

(iii) 1200 0

bB

me 12 0b . Shihet që 11 1200 0

a bC

. Atëherë mund të

zgjidhet U I , rot 0,1V . Si rrjedhim, rreshti i dytë i TV B është jozero. Lema vijon

me zgjedhjen e Q-së për ta bërë zero elementin 1, 2 të TU A . ■ Me anë të induksionit është treguar[12] që me vetitë e lemës 3, kalimi me renditje rreshtore me një rirenditje të përshtatshme kalimi, trajtat fillestare trapezoide të sipërme (1.9.17) të A-së dhe B-së i kalon përkatësisht në trajtat

111 1 1

0,

0 0

r m t

rT

m r

AA U AQ

111 1 1

21 22

0r m t

rT

m r

BB V BQ

B B

(1.9.23)

ku 11A , 11B dhe 22B janë trekëndëshe të poshtme, ndërsa 11A dhe 22B josingulare. Matrica 11B mund të jetë singulare, por patjetër të ekzistojnë elemente diagonale jozero në rreshtat jozero të 11B .

Nga (1.9.23) shihet që te transformimi ,i j me renditje sipas shtyllave, matricat A dhe B (me përmasa 2 2 ) janë trekëndëshe të poshtme, me ç’rast po qe se A është singulare, atëherë A-ja është ose matricë zero ose rreshtin e dytë e ka zero, dhe për më tepër, në qoftë se 22 0b atëherë 21 0b . Me argumentimin e njëjtë sikurse te Lema 2 , mund të tregohet që ekzistojnë matricat ortogonale U, V dhe Q (me përmasa 2 2 ) ashtu që

TA U A Q dhe TB V BQ të dyja janë trekëndëshe të sipërme, dhe DVSP përkatësisht të A-së dhe B-së. Vërtetimi i Lemës 2 sugjeron algoritmin në vijim, ku për arsye kohe kapërcehet pjesa për matricat trekëndëshe të poshtme. Algoritmi 3 (Algoritmi DVSP 2 2 )

formohet adjC A B ;

njehsohet DVS e 1 2: diag ,TC U C V ;

formohen prodhimet TG U A , TH V B ; nëse A është jozero, atëherë cakto Q me zerot jashtë elementit 1, 2 të G përndryshe cakto Q me zerot jashtë elementit 1, 2 të H fund nëse A G Q ; B H Q ; 12 0a ; 12 0b ;

29

Sërish, nga [12], në fund të kalimit të dytë, do të kemi 2 2 1 2TA U A Q dhe 2 2 1 2

TB V B Q si vijon

1 2

1

2

11 12 13

2 22 230 ,0 0 0

r r m r

r

r

m r

A A AA A A

1 2

1

22 22 23

33

0 0 00 ,0 0

r r m r

r

r

m r

B B BB

(1.9.24)

ku 11A , 22A , 22B dhe 33B janë trekëndëshe të sipërme si dhe josingulare, 1 2r r r . Që këtej, ekziston matrica e vetme trekëndëshe e sipërme T (me përmasa 1 1( ) ( )m r m r ) e tillë që

22 2322 23

3300 0B BA A

TB

.

Kjo do të thotë se pjesa tjetër e njehsimit është në thelb e njëvlershme me DVS-në e matricës T të përcaktuar në mënyrë implicite. Sipas teorisë për konvergjencën globale të algoritmit ciklik të Kogbetliancit (shih §1.9.4.1 ), do të kemi

T , (1.9.25)

ku është matricë diagonale, dhe konvergjenca është në fund të fundit katrore, nën kushtin që këndet e rotacionit të U-së dhe V-së t’u nënshtrohen (1.9.18). Relacioni (1.9.25) nënkupton se ekzistojnë matricat diagonale 1 dhe 2 me 2 2

1 2 I dhe një matricë trekëndëshe e sipërme R, të tilla që

2 1A R dhe 2 2B R ,

të cilat japin DVSP-në e kërkuar të A dhe B. Duke përmbledhur diskutimet e mësipërme dhe duke marrë në konsideratë algoritmin 1, algoritmi DVSP direkt i Pejxhit për njehsimin e DVSP-së të dy matricave trekëndëshe të sipërme A dhe B kur B-ja është josingulare është paraqitur si vijon. Le të jetë k një parametër i zgjedhur nga përdoruesi, i cili cilëson numrin maksimal të kalimeve që mund ti kryejë algoritmi (të themi 20k ). Me ijA ( ijB ) është shënuar nënmatrica 2 2 e përcaktuar me rreshtat dhe shtyllat i dhe j të A-së (B-së). Pra, në vijim japim algoritmin DVSP direkt të Pejxhit:

30

Algoritmi DVSP direkt i Pejxhit

: 0iteracioni ; nëse nuk konvergjon dhe iteracioni k vepro : 1iteracioni iteracioni ; vepro cikli- ( , )i j njehso DVSP-në e matricave ijA dhe ijB të formatit 2 2 ;

Tij ijA U AQ ;

Tij ijB V BQ ;

: ijU UU ; : ijV VV ; : ijQ QQ ; fund cikli- ( , )i j testi i konvergjencës; fund nëse njehso çiftin e vlerave singulare të përgjithësuara i dhe i . Cikli- ( , )i j i algoritmit të mësipërm mund të zgjidhet thjesht si varg standard pivotësh ciklik sipas rreshtave.

31

Kapitulli 2

Ekzistenca dhe ndërtimi i inverseve të përgjithësuara. Një qasje spektrale 2.1 Ekuacionet matricore të Penrose-it Për një matricë çfarëdo të fundme jo zero A (të formës katrore apo përgjithësisht drejtk-ëndëshe) me elemente reale ose komplekse, ekziston matrica e vetme X që vërteton katër ekuacionet matricore (të cilat njihen si ekuacionet e Penrosit)

AX A A (1) X AX X (2)

AX AX (3)

X A X A (4) ku me A është shënuar matrica e transponuar e koniuguar e matricës A. Ky invers unik i përgjithësuar njihet si inversi i Moore-Penrosit dhe zakonisht shënohet me †A [16]. Në qoftë se matrica A është josingulare, atëherë matrica 1X A në mënyrë triviale i vërteton të katër ekuacionet e mësipërme matricore. Pra, inversi i Moore-Penrosit për matricat josingulare është i njëjtë si inversi i zakonshëm. Në vazhdim do të kërkohet inversi i përgjithësuar që vërteton disa prej katër ekuacioneve të Penrosit e jo të gjitha. Do të shqyrtohen disa nënbashkësi nga bashkësia e katër ekuacioneve[36,48]. Këto nënbashkësi (klasa të caktuara matricash) do të specifikohen me shënime të përshtatshme. Përkufizimi 1 Për matricën e çfarëdoshme m nA , shënohet me { , ,..., }A i j k bashkësia e matricave n mX të cilat vërtetojnë ekuacionet ( ), ( ),..., ( )i j k nga radhët e ekuacioneve (1) – (4). Matrica { , ,..., }X A i j k quhet inversi-{ , ,..., }i j k i A-së dhe shënohet ( , ,..., )i j kA . 2.2 Ekzistenca dhe ndërtimi i inverseve-{1} Është e lehtë të ndërtosh inversin-{1} të matricës m n

rR , e cila jepet me

rI KR

O O

. (2.1)

Për cilëndo matricë ( ) ( )n r m rL , matrica n mS pra,

rI OS

O L

është matricë inverse-{1} e (2.1). Në qoftë se R-ja është me rang të plotë sipas shtyllave (rreshtave), atëherë dy nënmatricat e poshtme (në anën e djathtë) janë konsideruar si të paqena.

32

Ndërtimi i inversit-{1} për një matricë të çfarëdoshme m nA është thjeshtuar duke shndërruar A-në në një matricë normale Hermitiane, siç tregohet në teoremën e mëposhtme: Teorema 2 Le të jetë m n

rA dhe le të jenë m mmE dhe n n

nP të tilla që

rI KEAP

O O

. (2.2)

Atëherë, për cilëndo matricë ( ) ( )n r m rL , matrica n mX pra,

rI OX P E

O L

(2.3)

është matricë inverse-{1} e A-së. Matricat e copëtuara në (2.2) dhe (2.3) duhet të interpretohen në mënyrë të përshtatshme në rastet kur r m ose r n . Në rastin trivial kur 0r , pra kur A është një matricë zero e tipit m n , atëherë çdo matricë e tipit n m , është invers-{1}. Vërehet që kur P dhe E janë të dyja josingulare, rangu i X-it është si rangu i matricës së copëtuar te (2.3). Duke pasur parasysh formën e matricës së fundit, kemi:

rank rankX r L . (2.4)

Duke qenë se L është e çfarëdoshme, rrjedh se inversi-{1} i A-së ekziston duke pasur cilindo rang ndërmjet r dhe min{ , }m n me përfshirje. 2.3 Vetitë e inverseve-{1} Për matricën e dhënë A, shënojmë me (1)A të gjitha matricat inverse-{1}. Për cilindo skalar përkufizohet skalari † kësisoj

1

† , 00, 0

(2.5)

Përmendim që një matricë katrore E themi se është idempotente në qoftë se 2E E . Matricat idempotente janë të lidhura ngushtë me inversin e përgjithësuar. Lema 3 Le të jetë m n

rA , . Atëherë: (a) (1)( ) {1}A A . (b) Në qoftë se A është josingulare, atëherë (1) 1A A në mënyrë unike. (c) † (1) ( ){1}A A . (d) (1)rank rankA A . (e) Në qoftë se S dhe T janë josingulare, atëherë 1 (1) 1 {1}T A S SAT . (f) (1)AA dhe (1)A A janë idempotente dhe kanë rang të njëjtë me atë të A-së.

33

Në qoftë se matrica m nA është me rang të plotë sipas shtyllave, inverset-{1} të saj janë faktikisht inverset e majta. Në rastin kur m nA është me rang të plotë sipas rreshtave, atëherë inverset-{1} janë inverset e djathta. Lema 4 Le të jetë m n

rA . Atëherë: (a) (1)

nA A I atëherë dhe vetëm atëherë kur r n . (b) (1)

mAA I atëherë dhe vetëm atëherë kur r m . Rrjedhimi 5 Le të jetë A FGH , ku matrica F ka rang të plotë sipas shtyllave kurse matrica G ka rang të plotë sipas rreshtave, atëherë:

rank rankA H . 2.4 Ekzistenca dhe ndërtimi i inverseve-{1,2} Për herë të parë Bjerhammari [37] ka vënë re se ekzistenca e inversit-{1} nënkupton edhe ekzistencën e inversit-{1,2}. Për të verifikuar këtë pohim jepet lema në vijim. Lema 6 Le të jenë , {1}Y Z A dhe le të jetë

X YAZ . Atëherë {1,2}X A .

Duke qenë se matricat A dhe X paraqiten simetrikisht në ekuacionet matricore (1) dhe (2), pohimet: {1,2}X A dhe {1,2}A X janë të njëvlershme. Kështu, në të dyja rastet mund të themi se matricat A dhe X janë inverse-{1,2} njëra me tjetrën.

Nga ekuacionet (1) dhe (2) si dhe faktin se rangu i prodhimit të dy matricave nuk e kalon rangun e çdo faktori, përnjëherë vijon që në qoftë se A dhe X janë inverse-{1} njëra me tjetrën, ata kanë të njëjtin rang. Më pak i qartë është fakti (ka vënë re Bjerhammari): në qoftë se X-i është invers-{1} i A-së dhe i rangut të njëjtë si A-ja, ai është invers-{1, 2} i A-së.

Teorema 7 (Bjerhammar). Për matricën e dhënë A, kemi {1}X A , {1,2}X A nëse dhe vetëm nëse rank rankX A .

Pohimi i njëvlershëm me këtë jepet në vijim:

Rrjedhimi 8 Cilëtdo dy nga tre pohimet e mëposhtme nënkuptojnë të tretin:

{1}X A {2}X A

rank rankX A .

Nga këndvështrimi i teoremës 7, (2.4) tregon që inversi-{1} përftohet nga forma normale Hermitiane e inversit-{1,2} nëse merret L O . Me fjalë të tjera,

34

rI OX P E

O O

(2.6)

është inversi-{1,2} i A-së ku P dhe E janë josingulare dhe vërtetojnë (2.2). 2.5 Ekzistenca dhe ndërtimi i inverseve-{1,2,3}, -{1,2,4} dhe -{1,2,3,4} Ashtu si Bjerhammari [37] që tregoi se ekzistenca e inversit-{1} nënkupton ekzistencën e inversit-{1, 2}, në anën tjetër Urquharti [38] ka treguar se ekzistenca e inversit-{1} e çdo matrice të fundme me elemente në nënkupton ekzistencën e inversit-{1,2,3} dhe inversit-{1,2,4} të çdo matrice të tillë.

Megjithatë, për të treguar që A{1, 2, 3} dhe A{1, 2, 4} janë jo boshe për cilëndo matricë A, do të shfrytëzohet inversi-{1} jo i A-së, por i një matrice të lidhur me të. Për këtë qëllim do të duhet lema e mëposhtme: Lema 9 Për cilëndo matricë të fundme A, kemi:

rank rank rankAA A A A . Rrjedhimi 10 Për cilëndo matricë të fundme A, kemi:

AA A dhe AA A . Duke përdorur lemën e mësipërme, mund të provohet teorema e mëposhtme.

Teorema 11 (Urquhart[38]). Për cilëndo matricë të fundme A me elemente komplekse, kemi:

(1)( ) {1,2,3}Y AA A A dhe

(1)( ) {1,2,4}Z A AA A .

Inversi-{1,2} i matricës A është, sigurisht, invers-{2}; kështu në mënyrë të ngjashme, inversi-{1,2,3} është gjithashtu invers-{1,3} dhe invers-{2,3}. Pra, në qoftë se mund të vërtetohet ekzistenca e inversit-{1,2,3,4}, atëherë tregohet ekzistenca e inversit-{i, j,...,k} për të gjitha zgjedhjet e mundshme nga një, dy ose tre numrat e plotë i, j, ... , k nga bashkësia {1,2,3,4}. Teorema 12 (Urquhart[38]). Për çfarëdo një matricë të fundme A me elemente komplek- se, kemi:

(1,4) (1,3) †A AA A . (2.7)

2.6 Formula eksplicite për †A Për herë të parë MacDuffee[68,70] ka vënë re se faktorizimi i matricës me rang të plotë shpie te formula eksplicite për inversin †A të Moore Penrosit.

35

Teorema 13 (MacDuffee). Në qoftë se m nrA , 0r ka faktorizimin e rangut të plotë

A FG , (2.8) atëherë 1†A G F AG F

. (2.9) 2.7 Ndërtimi i inverseve-{2} të rangut të paracaktuar Pas teoremës së mësipërme, do të përshkruhet ndërtimi i inversit-{1} sipas Fisherit të një matrice të dhënë m n

rA duke pasur ndonjë rang të paracaktuar ndërmjet numrave r dhe min(m,n). Nga ekuacioni matricor (2) lehtë mund të konstatohet që

(2)rankA r .

Vërehet gjithashtu se matrica zero e tipit  n m është një invers-{2} e rangut 0, dhe cilado (1,2)A është invers-{2} e rangut r, (Teorema 7). Për 1 r , a ka një ndërtim të ngjashëm si ai i Fisherit për inversin-{2} të rangut s, për ndonjë s (çfarëdo) në mes 0 dhe r? Duke përdorur faktorizimin e rangut të plotë[69], kësaj pyetjeje lehtë mund t’i përgjigjemi pozitivisht. Le të jetë 0 {1,2}X A me rangun e faktorizimit

0X Y Z .

Atëherë, m rrY dhe r n

rZ , me ç’rast ekuacioni matricor (2) merr trajtën

Y Z AY Z Y Z .

Duke pasur parasysh Lemën 4, shumëzimi në të majtë me (1)Y dhe në të djathtë me (1)Z jep (shih Stjuart [39]) rZ AY I . (2.10)

Shënohet me sY nënmatrica e matricës Y e përbërë nga s-shtyllat e para dhe me sZ nënmatrica e matricës Z e përbërë nga s-rreshtat e para. Atëherë të dyja matricat sY dhe

sZ kanë rangun e plotë s, dhe nga (2.10) vijon që:

s s sZ AY I . (2.11) Tani, le të jetë

s s sX Y Z

Atëherë, rank sX s , dhe relacioni (2.11) jep:

s s sX AX X .

36

2.8 Inverset e përgjithësuara spektrale Në këtë paragraf do të shqyrtohen inverset e përgjithësuara që kanë disa nga vetitë spektrale (d.m.th. vetitë që kanë të bëjnë me vlerat vetjake përkatësisht me vektorët vetjakë) të inversit të matricave josingulare. Këtu trajtohen vetëm matricat katrore. Në qoftë se matrica A është josingulare, është e lehtë të shihet se çdo vektor vetjak i A-së lidhur me vlerën vetjake është gjithashtu vektor vetjak i matricës 1A lidhur me vlerën vetjake 1 . (Matricat josingulare nuk kanë vlerë vetjake zero.)

Matrica n nA e cila nuk është e diagonalizueshme nuk ka n-vektorë vetjakë linearisht të pavarur. Megjithatë, ajo ka n-vektorë kryesorë linearisht të pavarur. Në qoftë se matrica A është josingulare, vektori x është vektor- 1

i matricës 1A

i shkallës p atëherë dhe vetëm atëherë kur ai është vektor- i matricës A i shkallës p. Më tej do të shqyrtohet se në ç’masë mund të krahasohet inversi i përgjithësuar i matricave singulare me vetitë spektrale.

Ekuacionet matricore të Penrosit AX A A (1) X AX X (2)

AX AX (3)

X A X A (4)

tani do të plotësohen më tej nga ekuacionet e mëposhtme të zbatueshme vetëm për matricat katrore k kA X A A (1k) AX X A (5) k kA X X A (5k) k kAX X A (6k) ku k .

Në vazhdim do të studiohen kryesisht inverset-{1k,2,5} të A-së, ku numri natyror k paraqet indeksin e matricës A. Ky invers, i quajtur inversi i Drazinit, ka veti të rëndësishme spektrale që e bëjnë atë jashtëzakonisht të dobishme në shumë zbatime. Më tej do të shqyrtohet një rast i veçantë i inversit të Drazinit, i quajturi -inversi grup. 2.8.1 Indeksi matricor

Lehtë mund të provohet që tre ekuacionet matricore (1k ), (2) dhe (5) janë të njëvlefshme me grupin e ekuacioneve: AX X A , (5) 1k kA X A , (7) 2AX X . (8)

37

Është e qartë gjithashtu se në qoftë se ekuacioni (7) vlen për disa k , atëherë ai vlen edhe për çdo l > k . Nga ekuacioni (7) gjithashtu rrjedh se

1rank rankk kA A . (9)

Pra, një zgjidhje X për ekuacionin (7) (rrjedhimisht, edhe për grupin e ekuacioneve (5), (7), (8)) ekziston vetëm nëse ka vend ekuacioni (9). Në lidhje me këtë, do të jetë i dobishëm përkufizimi i mëposhtëm.

Përkufizimi 14 Numri më i vogël natyror k për të cilin ka vend ekuacioni (9) quhet indeks i matricës A dhe shënohet me IndA . Lema në vijim përmbledh vetitë e indeksit të matricës që përdoren më tej.

Lema 15 Le të jetë matrica n nA me indeksin IndA k . Atëherë: (a) Të gjitha matricat ,lA l k , matricat e tyre të transponuara ( ) ,l TA l k si dhe

matricat e transponuara të koniuguara ( ) ,lA l k kanë rangun, përfytyrimin dhe bërthamën të njëjtë. Teorema 16 Le të jetë n nA . Atëherë pohimet e mëposhtme janë ekuivalente: (a) IndA k . (b) Eksponenti më i vogël për të cilin ka vend ekuacioni (7) është k. (c) Në qoftë se A është matricë singulare dhe ( )m polinomi minimal i saj, numri k është shumëfishësia e 0 si rrënjë e polinomit ( )m . (d) Në qoftë se A është matricë singulare, numri k paraqet shkallën më të madhe të vektorëve-zero të A-së. 2.8.2 Inversi spektral i matricës së diagonalizueshme

Gjatë shqyrtimit lidhur me ekzistencën e inversit të përgjithësuar të matricave katrore singulare, do të fillohet me matricat e diagonalizueshme për arsye se manipulimi me to është më i lehtë. Është e qartë se duhet të bëhet ndonjë zgjerim i vetive spektrale që gëzojnë matricat josingulare, sepse matrica singulare ka 0 (zeron) si një nga vlerat e saj vetjake. Jepet një matricë e diagonalizueshme n nA , dhe kërkohet një matricë X e tillë që çdo vektor vetjak i A-së i cili korrespondon me vlerën vetjake (për çdo nga spektri i A-së) është gjithashtu vektor vetjak i X-it me vlerën vetjake korresponduese † , ku

1

† , 00, 0

.

Me qenë se matrica A ka n-vektorë vetjakë linearisht të pavarur, ekziston matrica josingulare P që ka një bashkësi të tillë vektorësh vetjakë si shtylla, në mënyrë që

AP PJ (2.12) ku

1 2diag( , , . . . , )nJ

38

është forma Zhordaniane e A-së. Tani do të duhet matricë diagonale e përftuar nga matrica J duke zëvendësuar çdo element diagonal i me †

i . Ky është, në fakt, inversi i Moore-Penrosit i matricës J, d.m.th.

† † † †1 2diag( , , . . . , )nJ .

Për shkak të kërkesës spektrale të vënë mbi matricën X, duhet të kemi:

†X P PJ . (2.13)

Duke zgjidhur ekuacionin matricor (2.12) dhe (2.13) për matricat A dhe X do të kemi:

1A PJP , † 1X PJ P . (2.14)

Duke qenë se matricat J dhe †J janë të dyja diagonale, ato përkëmbehen me njëra-tjetrën. Si rrjedhim, nga (2.14) kemi {1,2,5}X A .

Këtu nuk do të kufizohet vrojtimi ynë te matricat e diagonalizueshme. Filluam shqyrtimin me to për shkak të manipulimit më të lehtë. Rezultatet e fituara, vetëm na sugjerojnë për shqyrtimin e ekzistencës dhe vetitë (sidomos vetitë spektrale) e inversit-{1,2,5} të matricave katrore në përgjithësi. 2.8.3 Inversi grup dhe vetitë spektrale të tij

Nga relacioni (2.3) kemi që inversi-{1,2,5}, nëse ekziston, është inversi-{1,2} i X-it i tillë që X A dhe X A . Teorema 7 (Bjerhammar) na siguron ekzisten- cën e jo më shumë se një inversi të tillë. Inversi-{1,2,5} që është unik quhet invers grup i A-së dhe shënohet me A# . Quhet kështu, për arsye se fuqitë pozitive dhe negative të A-së bashkë me projektorin AA# si element njësi formojnë grupin Abelian. Më poshtë do të shihet që, megjithatë, inversi grup është një rast i veçantë i inversit të Drazinit, ose inversit-{1k,2,5}.

Inversi grup nuk është i kufizuar vetëm për matricat e diagonalizueshme; mirëpo, ai nuk ekziston për të gjitha matricat katrore. Një invers i tillë ekziston nëse dhe vetëm nëse

A dhe A janë nënhapësira komplementare.

Teorema 17 Matrica katrore A ka invers grup atëherë dhe vetëm atëherë kur Ind 1A , d.m.th. 2rank rankA A . (2.15)

Kur inversi grup ekziston, ai është i vetëm.

Teorema e mëposhtme jep një kusht alternativ për ekzistencën e A# , dhe një formulë eksplicite për njehsimin e saj. Teorema 18 (Cline [41]). Le të ketë matrica A faktorizim me rang të plotë

A FG . (2.16) Atëherë matrica A ka invers grup atëherë dhe vetëm atëherë kur matrica GF është josing-ulare, dhe në këtë rast 2A F GF G# . (2.17)

39

Për një klasë të rëndësishme matricash, inversi grup dhe inversi i Moore-Penrosit janë të njëjtë. Një matricë katrore A do ta quajmë përfytyrim-Hermitiane në qoftë se

A A , (2.18)

ose, në mënyrë të njëvlefshme, në qoftë se

A A . (2.19)

Kështu, shqyrtimet e mësipërme mund të paraqiten kësisoj

(1,2)

( ), ( )A AA A# ,

e cila jepet edhe në trajtën

† (1,2)

( ), ( )A AA A

.

Dy inverset janë të barabarta, pra, atëherë dhe vetëm atëherë kur A A dhe

A A . Kështu ne kemi provuar:

Teorema 19 †A A# atëherë dhe vetëm atëherë kur matrica A është përfytyrim-Hermitiane.

Qasja e relacionit (2.14) mund të zgjerohet nga matricat e diagonalizueshme te të gjitha matricat katrore me indeks 1.

Teorema më poshtë jep gjithashtu rezultate të dobishme.

Teorema 20 (Erdelyi [40]). Matrica A le të ketë indeksin 1 dhe le të jetë 1A PJ P , ku P është matricë josingulare dhe J është forma normale Zhordaniane e A-së. Atëherë

† 1A PJ P# . (2.20) Edhe atëherë kur A nuk është e diagonalizueshme, inversi grup ka veti spektrale të krahasueshme me ato të inversit të një matrice josingulare. Megjithatë, në këtë rast, A# nuk është e vetmja matricë që ka veti të tilla.

Vërehet se në qoftë se matrica A ka indeksin 1, të gjithë vektorët zero të saj kanë shkallën (ang. grade) 1, d.m.th. janë vektorë zero të A-së. Duke u bazuar te relacioni (2.15) rrjedh se 2A A . Dy lemat e mëposhtme nevojiten për të vendosur vetitë spektrale bazë të inversit grup. Lema 21 Le të x një vektor-λ i A, ku 0 . Atëherë lx A ku l është një numër natyror çfarëdo. Lema 22 Le të jetë A-ja një matricë katrore dhe le të jetë

1l lX A A (2.21)

për disa numra natyrorë l . Atëherë çdo vektor-λ i A me shkallën p (për 0 ) është vektor-λ-1 i X me shkallën p.

40

Teorema e mëposhtme tregon se për çdo matricë A me indeks 1, inversi grup është matricë vetëm nga A{1} ose nga A{2} me që kanë veti spektrale të krahasueshme me ato të inversit të një matrice josingulare. Për lehtësi, kemi paraqitur: Përkufizimi 23 Matrica X themi se është invers-S e A-së (ose A dhe X janë invers-S me njëra tjetrën), në qoftë se ato ndajnë vetinë që, për çdo dhe çdo vektor x, x është një vektor-λ i A-së me shkallën p atëherë dhe vetëm atëherë kur ai është vektor- † i X-it me shkallën p. Teorema 24 Le të jetë n nA me indeks 1. Atëherë A# është inversi-S unik i A-së në 1 2A A . Në qoftë se A-ja është e diagonalizueshme, matrica A# është invers-S i

vetëm i A-së. 2.8.4 Inversi i Drazinit dhe vetitë spektrale të tij Më sipër u pa se inversi grup nuk ekziston për të gjitha matricat katrore, por vetëm për ato të indeksit 1. Megjithatë, në vijim do të tregohet se për çdo matricë katrore ekziston inversi-{1k,2,5} unik, ku k është indeksi i saj. Ky invers është i njohur si inversi iDrazinit.

Le të jetë n nA me indeks k. Atëherë kA dhe kA janë nënhapësira kompl-

ementare dhe ngushtimi [( )]kA

A

i A-së në ( )kA është matricë e invertueshme (si një

pasqyrim injektiv i ( )kA në vetvete). Le të jetë n nX e përcaktuar si më poshtë:

1[( )]

, për ( )

0, për ( ).

kk

A

k

A AX

A

u uu

u

(2.22)

Nga përkufizimi i mësipërm del se relacionet AX X Au u dhe X AX Xu u kanë vend për ( )kAu dhe për ( )kAu , kështu edhe për të gjithë nu . Matrica X është pra një invers-{2,5} i A-së.

Përkufizimi (2.22) thotë se matrica AX është identitet në ( )kA , përkatësisht k kAXA Ax x për çdo nx , duke i lejuar zero në të dyja anët (nëse x∈ ( )kA ).

Prandaj, X-i është gjithashtu një invers-{1k} i A-së. Matrica X është pra një invers-{1k,2,5} i A-së, siç tregohet më poshtë në Teoremën 26. Matrica X është quajtur invers i Drazinit dhe është shënuar me DA .

Lema në vijim është e nevojshme për të provuar ekzistencën dhe unicitetin e inversit të Drazinit. Lema 25 Në qoftë se Y është një invers-{1l,5} i matricës katrore A, atëherë

1l lX A Y është invers-{1l,2,5}.

41

Teorema 26 Le të jetë n nA me indeks k. Atëherë ekziston inversi-{1k,2,5} unik i A-së, i cili është i shprehshëm si një polinom i A-së, dhe është po ashtu invers-{1l,2,5} për çdo l k .

Inversi grup është rast i veçantë i inversit të Drazinit për matricat me indeks 1. Inversi i Drazinit ka një paraqitje të thjeshtë në kuptimin e formës Zhordaniane:

Teorema 27 Matrica n nA le të jetë dhënë në formën Zhordaniane

11 1

0

J OA X J X X X

O J

(2.23)

ku 0J dhe 1J janë pjesë të J-së që korrespondojnë me vlerat vetjake zero dhe jo zero. Atëherë

1

11D J OA X XO O

. (2.24)

Për matricën n nA me spektrin ( )A , dhe funksionin skalar ( )f A , funksioni matricor korrespondues ( )f A është

( )( ) 1

( ) 0

( )( ) ( )!

kk

nA k

ff A E A Ik

. (2.25)

Rezultati i ngjashëm për inversin e Drazinit është:

Rrjedhimi 28 Matrica n nA le të ketë spektrin ( )A . Atëherë

( ) 1

10 ( ) 0

( 1) ( )k

D knk

A kA E A I

. (2.26)

Gjatë njehsimit të DA kur indeksi i A-së tejkalon 1, nuk është e lehtë për të shmangur rritjen e A-së me një fuqi. Kur matrica A është shumë e keq-kushtëzuar, ndoshta metoda më e mirë është algoritmi sekuencor i Cline-it [41], e cila përfshin faktorizimin e rangut të plotë të matricave të rendit njëpasnjë më të vogël, derisa arrihet te një matricë josingulare. Kështu, marrim

1 1A B G , (2.27a) 1 1 ( 1, 2,..., 1)i i i iG B B G i k , (2.27b)

ku k është indeksi i A-së. Atëherë

11 2 1 1. . . . . .kD

k k k k kA B B B G B G G G . (2.27c)

Përmendim që inversi i matricës josingulare A është polinom sipas A-së. Pra, për

matricën josingulare A dhe 0 0c kemi: 1 1 21 2 1

0

1 . . .n nnA A c A c A c I

c

,

polinomi minimal i A-së shkruhet në formën ( ) 1 ( )m c q ,me ç’rast 1 ( )A q A .

42

Një rezultat i ngjashëm është si vijon:

Rrjedhimi 29 Le të jetë dhënë matrica n nA . Atëherë ekziston inversi-{1,2} i A-së i shprehshëm si një polinom i A-së nëse dhe vetëm nëse ind 1A , në të cilin rast i vetmi invers i tillë është inversi grup, i cili jepet ma anë të relacionit

2( )A A q A# , (2.28)

ku q është përkufizuar si ( ) 1 ( )lm c q .

Rrjedhimi 30 Le të jetë dhënë matrica n nA . Atëherë A# është i shprehshëm si një polinom i A-së atëherë dhe vetëm atëherë kur A-ja është përfytyrim-Hermitiane. Vetitë e inversit të Drazinit

(a) D DA A .

(b) D TT DA A .

(c) për 1, 2, . . .D ll DA A l .

(d) Në qoftë se ind 1A , atëherë ind 1lA dhe ll DA A#

, për l k .

(e) DDA A nëse dhe vetëm nëse ind 1A .

(f) ind 1DA , dhe 2D DA A A#

.

(g) Në qoftë se indA k , atëherë D lA A dhe D lA A , për l k . Vetitë spektrale të inversit të Drazinit janë të njëjta me ato të inversit grup në lidhje me vlerat vetjake jozero dhe vektorët vetjakë korrespondues, por janë më të dobëta për 0-vektorët. Domosdoshmëria e një dobësimi të tillë është e dukshme nga teorema në vijim.

Teorema 31 Për matricën e dhënë n nA le të jetë {1} {2}X A A inversi-S i A-së. Atëherë të dyja matricat A dhe X kanë indeksin 1.

Në përputhje me sa u tha më sipër, përkufizimi i inversit-S mund të bëhet në këtë mënyrë:

Përkufizimi 32 Matrica X është invers- S i A-së nëse, për çdo 0 , vektori x është vektor- 1 i matricës X i shkallës p atëherë dhe vetëm atëherë kur ai është vektor- i matricës A i shkallës p, dhe x është vektor-0 i matricë X atëherë dhe vetëm atëherë kur ai është vektor-0 i matricës A (pa marr parasysh shkallën). Teorema 33 Për çdo matricë A, matricat A dhe AD janë invers- S e njëra-tjetrës.

43

2.8.5 Dekompozimi nilpotent me indeks 1 i një matrice katrore Teorema e mëposhtme luan një rol të rëndësishëm në studimin e inverseve të përgjithës- uara spektrale të matricave të indeksit më të madh se 1. Teorema 34 Për matricën katrore A ekziston dekompozimi unik

A B N , (2.29)

i tillë që ind 1B , N-ja është matricë nilpotente, dhe

NB BN O . (2.30) Për më tepër,

DB A#

. (2.31)

Nga relacionet (2.29) dhe (2.31) kemi DN A A #

. Kjo matricë quhet pjesë nilpotente

e A-së dhe shënohet me ( )NA . Teorema 35 Le të jetë n nA . Atëherë matricat A dhe X janë inverse- S e njëra-tjetrës në qoftë se

D DX A#

. (2.32)

Për më tepër, në qoftë se {1} {2}X A A , ajo është inverse- S e matricës A vetëm në qoftë se ka vend relacioni (2.32).

Duke iu referuar teoremës 24, vëmë re se në qoftë se ind 1A , matrica X që është invers-S e A-së por nuk është as invers-{1} ose invers-{2}, është automatikisht invers-{1,2}. Megjithatë, një vlerësim i ngjashëm nuk zbatohet kur ind 1A dhe X është invers- S e A-së. Kjo është për shkak se ( )NA nuk është më një matricë zero (siç është kur ind 1A ) dhe vetitë e saja duhet të merren parasysh.

44

Kapitulli 3

Rezultate numerike në njehsimin e inverseve të përgjithësuara me anë të dekompozimit në vlera singulare

3.1 Njehsimi i inverseve të përgjithësuara duke përdorur dekompozime matricore Riparaqesim rezultatet kryesore të njohura në lidhje me paraqitjen e klasave të ndryshme të inverseve të përgjithësuara dhe dekompozimit në vlera singulare (DVS). Para së gjithash, është e nevojshme të përmendim paraqitje të njohura të inverseve të brendshme që bazohen në dekompozimin në vlera singulare (DVS). Rifillojmë me këto rezultate nga [16]: Le të jetë dhënë DVS-ja e m n

rA si vijon

r OA U V

O O

(3.1)

ku mU U I dhe nV V I dhe

1

21 1 2diag ,..., , 0r r

r

(3.2)

Atëherë vlejnë pohimet e mëposhtme: a) Bashkësia e inverseve-{1} të A-së përkufizohet me anë të relacionit

1

{1} r XA V U

Y Z

(3.3)

ku X, Y dhe Z janë matrica me çfarëdo përmasa përkatëse (të përshtatshme). Në veçanti, paraqitja (3.5) na jep paraqitje analoge për disa klasa të inverseve të brendshme [16]: b) Relacioni rZ Y X ndërmjet X, Y dhe Z na jep një paraqitje të inversit-{1,2} të përgjithësuar nga (3.5); c) X O jep inversin-{1,3} të përgjithësuar; d) Y O jep inversin-{1,4} të përgjithësuar; e) inversi i Moore-Penrosit është përkufizuar me anë të relacionit X Y Z O .

Inversi me peshë i Moore-Penrosit †,M NA , mund të shprehet me anë të dekompozimit të

përgjithësuar me peshë (M, N) në vlera singulare, i njohur si (MN–SVD) [33,34]. Let të jenë M, N dy matrica Hermitiane pozitivisht të përcaktuara të rendit përkatësisht m dhe n. Le të jetë DVS-ja e përgjithësuar (shkurt DVSP) me peshë e m n

rA e dhënë në formën

r OA U V

O O

, (3.4)

45

ku mU M U I dhe 1nV N V I , 1diag ,..., , r r i i si dhe

1 2 0r janë vlerat vetjake jozero të matricës 1N A M A A A # . Atëherë inversi me peshë i Moore-Penrosit †

,M NA paraqitet si:

1

† 1,

rM N

OA N V U M

O O

. (3.5)

Algoritmi për njehsimin më të shpejtë të inversit †A bazohet në dekompozimin ortogonal QR të matricës A [50]. Dekompozimi QR presupozohet të jetë i përkufizuar sikurse te teorema 3.3.11 nga [36]. Në mënyrë të ngjashme, dekompozimi QR për matricat komplekse është përdorur nga [44]. Më saktë, në qoftë se AP QR është dekompozimi QR i A-së ku P është matricë përkëmbimi , matrica n nQ është ortogonale dhe

11 12R RR

O O

, 11n nR është matricë josingulare trekëndëshe e sipërme, atëherë

† †A PR Q . Shtrirja e kësaj paraqitjeje te bashkësia e inverseve të jashtme me përfytyrim dhe bërth- amë të paracaktuar është shtruar në [55]. Lema 1.1. [55] Supozohet se matrica m n

rA është e dhënë. Merret një matricë e çfarëdoshme ,n m

sW s r . Supozohet që faktorizimi QR i matricësW ka formën

WP QR , (3.6)

ku m mP është matricë përkëmbimi, n nQ , nQ Q I dhe n msR është matricë

trapezoide e sipërme. Matrica P merret e tillë që matricat Q dhe R mund të copëtohen si

11 12 11 2 ,

R R RQ Q Q R

O O O

, (3.7)

ku 1Q përbëhet nga s-shtyllat e para të Q-së dhe 11s sR është matricë josingulare.

Në qoftë se A-ja ka invers-{2} matricën ( ), ( )W WA(2) , atëherë:

(a) matrica WP QR është e invertueshme;

(b) 1

( ), ( ) 1 1 1 1W WA Q R P AQ R P (2)

;

(c) 1 1

( ), ( ) ( ), ( )W W Q R PA A (2) (2)

;

(d) 1

( ), ( ) 1 1 1 1W WA Q Q WAQ Q W (2)

;

(e) ( ), ( ) {2}W W sA A(2) .

46

Një algoritëm për njehsimin simbolik të inversit- ,T SA(2) i bazuar në dekompozimin QDR është paraqitur në [54]. Një algoritëm tjetër efikas i bazuar në faktorizimin LDL* për llogaritjen e inverseve {1, 2, 3}, {1, 2, 4} dhe inversit të Moore-Penrosit për një matricë racionale të dhënë zhvillohet në [53].

Në këtë punim është zhvilluar një algoritëm numerik për njehsimin e inversit- ,T SA(2) i cili është bazuar në paraqitjen me rang të plotë të një matrice W të zgjedhur në mënyrë të përshtatshme, veti të cilat dalin (burojnë) nga DVS-ja e saj. Është shqyrtuar gjithashtu një paraqitje analoge e inversit të jashtëm që korrespondon me DVS-në e hollë të W -së. Një invers i tillë i përgjithësuar është quajtur inversi- ,T SA(2) i jashtëm i hollë.

Pjesa tjetër e punimit është organizuar si vijon. Në pikën e dytë janë konfirmuar disa shënime dhe koncepte të njohura. Algoritmi numerik për njehsimin e inversit- ,T SA(2) i cili është bazuar në DVS-në e një matrice W të zgjedhur në mënyrë të përshtatshme, është zhvilluar në paragrafin 3.3. Inversi i përgjithësuar që del nga faktorizimi DVS i hollë i matricës W është hulumtuar në paragrafët 3.4 dhe 3.5. Këto inverse të përgjithësuara janë quajtur inverse të përgjithësuara të jashtme të holla me përfytyrim (ang. range) dhe bërthamë (ang. null space) të paracaktuar. Në veçanti është hulumtuar inversi i hollë i Moore-Penrosit, inversi me peshë i hollë i Moore-Penrosit dhe inversi i hollë i Drazinit në paragrafin 3.5. 3.1.1 Njohuri paraprake

Me m nr shënohet bashkësia e të gjitha matricave reale me përmasa m n që kanë

rangun r; me I është shënuar matrica njësi me përmasa të përshtatshme dhe me O është shënuar matrica zero gjithashtu me përmasa të përshtatshme. Për më tepër, me

, , rankTA A A dhe A janë shënuar, përkatësisht, matrica e transponuar, përfytyrimi, rangu dhe bërthama e matricës m nA .

Le të jetë m nrA , le të jetë T nënhapësira e n me përmasë t r dhe S nënhapësira e

m me përmasë m t , atëherë A-ja ka invers-{2} matricën X të tillë që X T dhe

X S nëse dhe vetëm nëse mAT S . Në këtë rast matrica X është unike dhe

shënohet me ,T SA(2) . Inversi i jashtëm i përgjithësuar me përfytyrim dhe bërthamë të paracaktuar ka një rëndësi të veçantë në teorinë e matricave. Inversi-{2} ka një zbatim të gjerë te metodat iterative për zgjidhjen e sistemit të ekuacioneve lineare[16,48] si dhe në fushën e statistikës[44,45]. Posaçërisht inverset e jashtme luajnë një rol të rëndësishëm në qëndrueshmërinë e përafrimeve të problemeve të keq-shtruara si dhe te problemet lineare dhe jolineare ku është ndërhyrë inversi i përgjithësuar me rang jo të plotë[62]. Në anën tjetër, është e njohur mirë që inversi i Moore-Penrosit si dhe inversi me peshë i Moore-Penrosit pra †A , †

,M NA , inversi i Drazinit dhe inversi grup †,DA A , si dhe inversi ( 1)( )LA i Bot-Dufinit, pastaj inversi i përgjithësuar (†)

( )LA i Bot-Dufinit mund të paraqiten me

47

anë të një qasjeje të unifikuar si inverse- ,T SA(2) të përgjithësuar për zgjedhje të përshtatshme të matricave T dhe S. Për shembull, për matricën drejtkëndëshe A, vlejnë relacionet[16].

†( ), ( )T TA A

A A (2) , †

, ( ), ( )M N A AA A

(2) (3.8)

ku M dhe N janë matrica pozitivisht të përcaktuara me përmasa të përshtatshme dhe 1 TA N A M .

Për një matricë katrore A të dhënë, plotësohen identitetet e mëposhtme [43,35]

( ), ( )k kD

A AA A (2) , ( ), ( )A AA A

# (2) (3.9)

ku ind( )k A . Në qoftë se A-ja është një matricë L-pozitive gjysmë e përcaktuar dhe L është nënhapësirë e n -së e cila plotëson nAL L , LS P A , atëherë identitetet e mëposhtme plotësohen[60]:

( 1) (2)( ) ,L L L

A A

, (†) (2)

( ) ,L S SA A (3.10)

Për çdo matricë A të rendit m n konsiderojmë ekuacionet e mëposhtme matricore sipas X-it, ku simboli * tregon transponim të koniuguar:

(1) A X A = A ; (2) X A X = X ; (3) (A X)* = A X ; (4) (X A)* = X A. Në rastin kur m n , merren ekuacionet matricore (5) A X = X A ; (1k) Ak+1X = Ak.

Për vargun S të elementeve nga bashkësia {1, 2, 3, 4, 5, 1k}, bashkësia e matricave që u nënshtrohen ekuacioneve me numrin përkatës nga S-ja shënohet me simbolin A{S}. Matrica nga A{S} është quajtur inversi-S i A-së. Matrica †X A thuhet se është inversi i Moore-Penrosit i A-së dhe plotëson ekuacionet (1) – (4). Inversi grup A# është invers unik {1, 2, 5} i A-së, dhe ekziston nëse dhe vetëm nëse ind( ) 1A :

1ind( ) min rank( ) rank( ) 1k k

kA k A A . Matrica X thuhet se është invers i Drazinit i

A-së në qoftë se plotëson ekuacionet matricore (1k), (2), (5) dhe shënohet me DX A . Në rastin kur ind( ) 1A , inversi i Drazinit i A-së është i barabartë me inversin grup të A-së, pra, DA A # . Në qoftë se A-ja është josingulare, lehtë shihet që ind( ) 0A dhe 1DA A . 3.1.2 Faktorizimet DVS dhe inverset e jashtme

Ekziston një numër paraqitjesh me rang të plotë për inverse të ndryshme të përgjithësuara të rangut të paracaktuar si dhe për inverset e përgjithësuara me përfytyrim dhe bërthamë

48

të paracaktuar. Për hir të plotësisë, te pohimi 3.1 është riformuluar paraqitja e inversit të jashtëm të rangut të plotë me përfytyrim dhe bërthamë të paracaktuar. Pohimi 3.1. [52] Për matricën e dhënë m n

rA , matrica T le të jetë nënhapësirë e n me përmasë s r dhe le të jetë S nënhapësirë e m me përmasë m s . Për më tepër, supozohet që n mW i plotëson kushtet W T , W S . Le të ketë W një dekompozim të çfarëdoshëm me rang të plotë, që është W FG . Në qoftë se A-ja ka invers-{2}, pra ekziston ,T SA(2) , atëherë:

(i) GAF është matricë e invertueshme;

(ii) 1, ( ), ( )T S F GA F GAF G A (2) (2)

.

Strategjia jonë kryesore mund të shpjegohet si vijon. Në ç’mënyrë nga DVS-ja e hollë e W si një qasje e mundshme për të përftuar faktorizimin e rangut të plotë të saj, është e mundur të zbatohet paraqitja me rang të plotë nga pohimi 3.1. Kjo strategji menjëherë jep një DVS të paraqitjes me rang të plotë të inversit të jashtëm të A-së me përfytyrim dhe bërthamë të paracaktuar. Sipas pohimit 3.1, matrica ka përmasat m n ndërsa matrica W- n m . Merret që rank( )A r dhe se për rangun e një inversi të jashtëm çfarëdo të A-së vlen 0 s r . Meqë rasti kur 0s korrespondon me inversin e jashtëm zero X O , në vazhdim supozohet kushti 0 s r .

Merret që faktorizimi DVS i W -së është në formën e përgjithshme

W U V

, (3.11) ku n n

sU dhe m msV janë matrica ortogonale sipas shtyllave, ndërsa n m

s

është matricë diagonale me vlerat singulare të W -së në diagonalen kryesore në renditje rënëse. Merret gjithashtu që vlerat singulare të -sëW janë të renditura si vijon

1 2 . . . 0s . (3.12)

Fatkeqësisht, DVS-ja te (3.11) nuk është një faktorizim me rang të plotë i -sëW . Me qëllimin të përftimit të një faktorizimi të -sëW me rang të plotë, duhet të merret në konsideratë një dekompozim i hollë SVD që del nga (3.11). Supozojmë gjithashtu se matricat n nU , m mV dhe n m janë ndarë në blloqe

s RU U U , s RV V V , s OO O

. (3.13)

Blloqet në (3.13) kanë këtë kuptim: blloku sU përbëhet nga s-shtyllat e para të matricës U, blloku sV përmban s-shtyllat e para të matricës V dhe 1diag ,...,s s përbëhet nga s-rreshtat e parë dhe s-shtyllat e para nga matrica . Gjithashtu, me RU janë shënuar n s shtyllat e mbetura të e U-së ndërsa me RV janë shënuar n s shtyllat e mbetura të e V-së.

49

Lema 3.1. E marrim se matrica m n

rA është e dhënë. Le të zgjedhim çfarëdo një matricë n m

sW , 0 s r . Le të jetë (3.11) dekompozimi DVS i -sëW . Le të jenë

matricat n nsU , m m

sV dhe n ms të ndara në blloqe si në (3.13). Atëherë:

1

( ), ( )W W s s s s s sA U V AU V (2)

(3.14)

( ), ( )s sU VA (2)

(3.15)

1

s s s sU U W AU U W . (3.16)

Vërtetimi. Është e lehtë për të verifikuar se

1

s

s s s i i ii

W U V u v

(3.17)

është faktorizim me rang të plotë i -sëW . Pastaj, relacioni (3.14) rrjedh nga pohimi 3.1. Më tej, relacioni (3.15) vetëkuptohet nga barazimet sW U , sW V .

Barazimi (3.16) mund të del nga s s sU U I i cili nënkupton s s sV U W . ■ Vërejtja 3.1. Njehsimi i inversit të jashtëm me anë të relacionit (3.14) kërkon njehsimin e matricës inverse. Një metodë tjetër efikase për njehsimin e (3.14) është të zgjidhet tërësia e ekuacioneve (shih [35])

s s s s sV AU X V (3.18)

lidhur me matricën e panjohur n mX dhe pastaj njehsohet prodhimi matricor

( ), ( )s s sU VA U X (2)

. (3.19)

Në përputhje me paraqitjet e futura te Lema 3.1 dhe komentin e deklaruar te Vërejtja 3.1 mund të ketë vend algoritmi i mëposhtëm 3.1. Duke përdorur rezultatet e Lemës 3.1 dhe duke marrë parasysh (3.8), (3.9) dhe (3.10), janë fituar rezultatet e veçanta si më poshtë.

Algoritmi 3.1. Njehsimi i inversit të jashtëm me anë të DVS Kërko: m n

rA . 1: Zgjedh , 0m n

sG s r . 2: Gjej DVS sipas (3.11). 3: Gjenero matricat sU dhe sV si në (3.13). 4: Zgjidhe ekuacionin matricor (3.18). 5: Kthe ( ), ( )( ), ( )s s W WU V

A A (2) (2)

të përcaktuara në (3.19).

50

Rrjedhimi 3.1. Për matricën e dhënë m n

rA ka vend ky relacion

†

†,

( ), ( )

( 1)( )

(†)( )

, ;, ;

, ;

, , ind( );, , ;

, , .

s s

M N

D kU V

L

L

A W AA W A

A W AA

A W A k AA W L W L

A W S W S

(2)

(3.20)

Shembulli 3.1. Merret matrica 6 5A si vijon

1 2 3 4 11 3 4 6 22 3 4 5 33 4 5 6 44 5 6 7 66 6 7 7 8

A

dhe zgjidhet matrica korresponduese

3 2 0 0 9 07 6 0 0 21 0

0 0 0 0 0 07 5 0 0 21 04 0 0 0 12 0

W

.

Dekompozimi DVS i -sëW është dhënë me

0.270344 0.251279 0.588348 0.719457 0.0.631629 0.736802 0.196116 0.140382 0.

0. 0. 0. 0. 1.0.630777 0.627665 0. 0.456241 0.

0.360665 0.00425894 0.784465 0.504498 0.

U

,

35.0715 0. 0. 0. 0. 0.0. 8.06173 0. 0. 0. 0.0. 0. 0. 0. 0. 0.0. 0. 0. 0. 0. 0.0. 0. 0. 0. 0. 0.

,

51

0.316227 0.00085836 0. 0.948683 0. 0.

0.00271437 0.999996 0. 0. 0. 0.0. 0. 0. 0. 0. 1.0. 0. 0. 0. 1. 0.

0.94868 0.00257508 0. 0.316228 0. 0.0. 0. 1. 0. 0. 0.

V

.

Më tej, kemi

2

0.270344 0.251279 0.588348 0.719457 0.0.631629 0.736802 0.196116 0.140382 0.

0. 0. 0. 0. 1.0.630777 0.627665 0. 0.456241 0.

0.360665 0.00425894 0.784465 0.504498 0.

U

,

2

35.0715 0.0. 8.06173

,

2

0.316227 0.000858360.00271437 0.999996

0. 0.0. 0.

0.94868 0.002575080. 0.

V

.

Inversi i jashtëm i A-së me përfytyrim dhe bërthamë të paracaktuar, në përputhje me relacionin (3.4), është i barabartë me

( ), ( )( ), ( )

0.0249788 0.152625 0. 0. 0.0749365 0.0.0808637 0.222904 0. 0. 0.242591 0.

0. 0. 0. 0. 0. 0.0.0575783 0.360288 0. 0. 0.172735 0.0.03895 0.170195 0. 0. 0.11685 0.

s sW WU VA A

(2) (2) .

Autorët e punimit [55] kanë provuar se paraqitja me rang të plotë e inversit të jashtëm

( ), ( )W WA (2) i përcaktuar te pohimi 3.1 është invariant (pra, është i pandryshueshëm) në

lidhje me zgjedhjen e faktorizimit me rang të plotë të -sëW . Te rrjedhimi 3.2 më poshtë, është treguar se edhe për dekompozimin DVS të rangut të plotë të -sëW kanë vend të njëjtat thënie.

52

Rrjedhimi 3.2. Pranohen të vlefshme të gjitha supozimet e Lemës 3.1 dhe pranohet që W FG është një faktorizim çfarëdo me rang të plotë i -sëW . Atëherë

1 1s s s s s sU V AU V F G AF G

. (3.21) Vërtetimi. Duke zbatuar Lemën 4.1 dhe Pohimin 3.1 të pjesës së dytë, konstatohet që

1

( ), ( )s s s s s s W WU V AU V A (2)

.

Tani, duke përdorur W F dhe W G , menjëherë del

1

( ), ( )s s s s s s F GU V AU V A (2)

1F G AF G , e cila kompleton vërtetimin. ■ 3.1.3 Dekompozimi i hollë në vlera singulare (TSVD) dhe inverset e jashtme Supozimi ynë është që vlerat singulare jozero të matricës W janë të renditura si në (3.12) dhe relacioni (3.17) është faktorizimi me rang të plotë i -sëW . Por, situata kur matrica

s s sV AU është e keq-kushtëzuar ndodh shpesh. Në të tilla raste, është e pamundur të

njehsohet inversi 1

s s sV AU . Prandaj, njehsimi i inversit të jashtëm me anë të

paraqitjes (3.14) është i rrezikuar. Këtu propozohet një zgjidhje që bazohet cungime (kufizime, gdhendje) të mëtejshme të DVS-së së -sëW . Lema 4.1. Le të jetë dhënë matrica m n

rA . Merret një matricë çfarëdo ,n msW s r .

Supozohet gjithashtu që vlerat singulare jozero të -sëW janë të renditura si në (3.12). Le të zgjedhim një numër të plotë 0 t s dhe një numër të vogël real 0 , të tillë që mosbarazimet e mëposhtme kanë vend:

1 2 1. . . . . .t t s . Po ashtu, supozohet që matricat U dhe V janë të copëtuara si

[ , ]t t s RU U U U , [ , ]t t s RV V V V (3.22)

ku tU (përkatësisht tV ) përbëhet nga t-shtyllat e para 1, . . . , tu u të matricës U (përkatësisht nga t-shtyllat e para 1, . . . , tv v të matricës V), [ , ]t sU (përkatësisht [ , ]t sV ) përbëhet nga shtyllat 1, . . . ,t su u të U-së (përkatësisht nga shtyllat 1, . . . ,t sv v të V-së) si dhe RU (përkatësisht RV ) përbëhet nga n s shtyllat e fundit të matricës U (përkatësisht V). Po ashtu, matrica mund të copëtohet si

53

[ , ]

t

t s

O OO OO O O

,

ku 1diag( , . . . , )t t dhe [ , ] 1diag( , . . . , )t s t s .

Nën supozimin që matrica t t tV AU është e invertueshme, d.m.th. rank t t tV AU t , do të kemi: ( ) ( )

1

( ), ( ) ( ), ( )t t t tt t t t t t W W U VU V AU V A A

(2) (2) (3.23)

1

( ) ( )t t t t t tU U W AU U W , (3.24)

ku matrica ( )tW është definuar kësisoj

( )1

t

t t t t i i ii

W U V u v

. (3.25)

Vërtetimi. Këtu kemi që (3.25) është faktorizimi me rang të plotë i matricës ( )tW që ka rangun t, vlerat singulare të së cilës janë të renditura kësisoj 1 2 . . . t . Në përputhje me pohimin 3.1, do të kemi:

( ) ( )

1

( ), ( )t tt t t t t t W WU V AU V A

(2)

( ), ( )t t tU VA

(2) .

Pjesa tjetër e vërtetimit të (4.2) rrjedh nga të qenët e invertueshme e matricave t . Në fund, relacioni (3.23) del nga ( )t t t t t t t tV U U V U W . ■ Një metodë e preferueshme për njehsimin e(3.23) është zgjidhja e tërësisë së ekuacioneve (shih [35])

t t tV A U X V (3.26)

e pastaj njehsohet ( ), ( )t tU VA

(2) si dhe prodhimi matricor

( ), ( )t t

tU VA U X (2) . (3.27)

Vërejtja 4.1. Numri t s te Lema 4.1 është propozuar për të shmangur vlerat relativisht të vogla singulare të -sëW dhe të përmirësojë qëndrueshmërinë numerike të paraqitjeve (3.14) dhe (3.16). Paraqitja me rang të plotë e ( )tW -së e definuar te (3.25) shënohet me TSVD faktorizim me rang të plotë i ( )tW -së kur t s dhe me TSVD faktorizim me rang të plotë i -sëW kur t s . Numri t s është zgjedhur në atë mënyrë që matrica ( )tW të ketë rangun numerik të barabartë me t.

54

Shembulli 4.1. Në këtë shembull matricat A dhe W merren nga (3.11). Por, në këtë rast është përdorur TSVD e -sëW të shoqëruar me vlerën singulare më të madhe të A-së (d.m.th. përkufizuar me t = 1). Kjo jep

1

0.2703440.631629

0.0.630777

0.360665

U

, 1 35.0715 , 1

0.3162270.00271437

0.0.

0.948680.

V

.

Inversi i jashtëm i A-së me përfytyrim dhe bërthamë të paracaktuar, sipas (3.14), është i barabartë me:

(1) (1)1 1( ), ( )( ), ( ) W WU VA A

(2) (2)

0.0505971 0.000434307 0. 0. 0.151791 0.0.118214 0.00101471 0. 0. 0.354643 0.

0. 0. 0. 0. 0. 0.0.118055 0.00101334 0. 0. 0.354165 0.

0.0675014 0.000579407 0. 0. 0.202504 0.

,

ku

(1)

2.99826 0.025736 0. 0. 8.99478 0.7.0051 0.0601292 0. 0. 21.0153 0.

0. 0. 0. 0. 0. 0.6.99566 0.0600481 0. 0. 20.987 0.3.99997 0.0343343 0. 0. 11.9999 0.

W

është matricë që përcaktohet nga vlera singulare më e madhe 1 35.0715 e -sëW . 3.1.4 Vetitë e paraqitjes TSVD të inverseve të jashtme Interesimi ynë i veçantë në këtë paragraf është hulumtimi i vetive të inversit të hollë të jashtëm të A-së në rastin kur W A . Një zgjedhje e tillë e matricës W jep inversin e hollë Moore-Penros të A-së, të cilin mund ta shënojmë me †

tA . Paraqitja TSVD e

inversit të Moore-Penrosit është hulumtuar gjerësisht në literaturën shkencore. Për shembull, më së shpeshti është përdorur në restaurimin e imazhit [20]. Tani, hulumtojmë vetitë e inversit të përgjithësuar †

tA . Problemi kryesor me të cilat duhet të përballemi

është ky: cili lloj i inversit të përgjithësuar të A-së është inversi i hollë Moore-Penros i A-së?

55

Përkufizimi 5.1. Inversi i përgjithësuar i jashtëm ( ), ( )t tU VA

(2) është quajtur inversi i

jashtëm i hollë që korrespondon me inversin e jashtëm ( ), ( )s sU VA (2) , 0 t s r . Në

anën tjetër, ( ), ( )s sU VA (2) është quajtur invers i përgjithësuar i zgjatur që korrespondon me

inversin e jashtëm ( ), ( )t tU VA (2) .

3.1.4.1 Inversi i hollë i Moore-Penrosit Rrjedhimi 5.1. Në rastin kur W A , paraqitja (3.23) prodhon përafrimin e inversit të Moore-Penrosit (i quajtur inversi Moore-Penros i hollë i A-së) si vijon:

1†t t tt

A U V (3.28)

1

1t

i ii i

u v

(3.29)

( ), ( )t tU VA (2) , (3.30)

ku iu dhe iv janë janë vektorët singularë të majtë dhe të djathtë të matricës A , ndërsa i

është i koniuguari i i -së. Gjithashtu, †

tA është inversi i jashtëm i A-së e cila ka

rangun t. Vërtetimi. Duke qenë se (3.25) është faktorizim me rang të plotë TSVD i W A , në lidhje me

t t tA V U V U , do të kemi

1†t t t t t tt

A U V AU V

1

t t t t t t t t tU V V U U V

.

Identiteti (3.28) mund të përftohet duke marr t t t t tV V U U I :

1 1†t t t t t t t tt

A U V U V .

Tani, (3.29) del nga (3.28) dhe t t .

Pa ndonjë vështirësi mund të provohet që †

tA është inversi i jashtëm i A-së me rangun t

që plotëson

† †,t t t tt tA U A V V .

Prandaj, (3.30) është provuar dhe vërtetimi është i plotë. ∎

56

Zgjerimi i DVS-së së cunguar (3.28) të inversit të përgjithësuar †

tA , që është shkurtuar

në lidhje me † †

rA A është përdorur gjerësisht gjer më tani në restaurimin e imazhit.

Këto hulumtime korrespondojnë me zgjedhjen e veçantë ( ) ( )t tW A .

Kjo do të thotë se përafrimet e inversit të Moore-Penrosit që janë përdorur në restaurimin e imazhit janë në thelb inverset e jashtme. Shembulli 5.1. Te ky shembull matrica A merret nga shembulli 3.1. Matrica korrespon-duese W jepet me TW A . Synimi ynë është njehsimi i †A . DVS-ja e matricës TW A është dhënë me

0.31292 0.493469 0.619628 0.15694 0.50.393065 0.024053 0.00953435 0.771253 0.50.484763 0.150838 0.420949 0.561297 0.50.564908 0.620255 0.208213 0.0530158 0.50.439847 0.59029 0.628824 0.250348 0.

U

,

25.311 0. 0. 0. 0. 0.0. 4.12375 0. 0. 0. 0.0. 0. 0.575726 0. 0. 0.0. 0. 0. 0.133129 0. 0.0. 0. 0. 0. 0. 0.

,

0.207531 0.436901 0.69778 0.170736 0.353553 0.3535530.304228 0.625323 0.403151 0.322313 0.353553 0.3535530.31165 0.212103 0.0574693 0.77755 0.353553 0.3535530.398391 0.13045 0.279507 0.496128 0.707107 0.0.5

V

0251 0.094348 0.475742 0.110686 0. 0.7071070.596673 0.589221 0.206916 0.0631291 0.353553 0.353553

.

Përpjekja për të njehsuar inversin e Moore-Penrosit e trajtës (3.14), që nxjerr

1†A U V AU V , përfundon me një përpjekje të pasuksesshme për të gjetur

inversen e matricës pothuajse-singulare

14

14 15 16

14 15 16 16

15 15 16 17

640.646 0. 0. 4.2633 10 0.2.4869 10 17.0053 0. 1.3323 10 8.8817 101.7930 10 1.9151 10 0.331461 1.1796 10 2.7756 10

8.4514 10 2.1580 10 3.7643 10 0.0177234 2.0817 100. 0

V AU

. 0. 0. 0.

.

57

Një zgjidhje e mundshme e këtij problemi është përdorimi i përafrimit të -sëW me rang më të ulët, me anë të DVS-së së cunguar. Pastaj përdoret faktorizimi DVS i hollë me rang të plotë, i rendit 3t për të gjetur inversin e jashtëm i cili përafron †A . DVS-ja i bazuar në 3 vlerat singulare më të mëdha të matricës TA përcaktohet me:

3

0.31292 0.493469 0.6196280.393065 0.024053 0.009534350.484763 0.150838 0.4209490.564908 0.620255 0.2082130.439847 0.59029 0.628824

U

,

3

25.311 0. 0.0. 4.12375 0.0. 0. 0.575726

,

3

0.207531 0.436901 0.697780.304228 0.625323 0.4031510.31165 0.212103 0.05746930.398391 0.13045 0.2795070.50251 0.094348 0.475742

0.596673 0.589221 0.206916

V

.

Në këtë rast, 3 3 3V AU është matricë mjaft e rregullt:

3 3 3

1.00357 0.993266 2.01625 2.98963 4.00231 5.998682.01753 2.96691 3.07984 3.94906 5.01136 5.993522.98724 4.02408 3.9419 5.03707 5.99173 7.004724.00121 5.99773 5.00549 5.9965 7.00078 6.999550.99431 2.01074 2.97409 4.0

V AU

1654 5.99631 8.0021

.

Inversi i jashtëm përkatës i A-së, i cili përafron †A jepet me

(3) (3)3 3( ), ( )( ), ( ) W WU VA A

(2) (2)

0.701273 0.504961 0.08338 0.290136 0.494517 0.300580.01088 0.007753 0.004554 0.0007971 0.016233 0.009276

0.530146 0.266069 0.0282922 0.216767 0.341672 0.1412640.182008 0.246646 0.0596421 0.0725721 0.169078 0.15

014

0.821067 0.356107 0.0378239 0.317035 0.541856 0.131286

,

58

ku (3)W është matrica në vijim (e afërt me (4)TW W A ):

(3) 3 3 3

1.00357 0.993266 2.01625 2.98963 4.00231 5.998682.01753 2.96691 3.07984 3.94906 5.01136 5.993522.98724 4.02408 3.9419 5.03707 5.99173 7.004724.00121 5.99773 5.00549 5.9965 7.00078 6.999550.99431 2.01074 2.9740

TW U V

9 4.01654 5.99631 8.0021

.

Është e lehtë për të provuar se X plotëson ekuacionet matricore (2), (3) dhe (4) të Penrosit. Reduktim i mëtejshëm me anë të faktorizimit SVD të hollë të rangut të plotë i bazuar në 2 vlerat singulare më të mëdha të matricës TA , jep (gjeneron) një tjetër invers-{2,3,4} të A-së. DVS-ja e hollë është përcaktuar me

2

0.31292 0.4934690.393065 0.0240530.484763 0.1508380.564908 0.6202550.439847 0.59029

U

,

2

25.311 0.0. 4.12375

,

2

0.207531 0.4369010.304228 0.6253230.31165 0.2121030.398391 0.130450.50251 0.094348

0.596673 0.589221

V

.

Inversi-{2,3,4} përkatës i A-së, i cili përafron †A , jepet me

( 2 ) ( 2 )2 2( ), ( )( ), ( ) W WU VA A

(2) (2)

0.0497162 0.0710683 0.0215285 0.010685 0.0175027 0.0778860.00067447 0.00107709 0.00360258 0.00542589 0.008354 0.0127030.0199557 0.0286997 0.0137271 0.0124017 0.00617316 0.0101250.0703463 0.100845 0.0388582 0.0285

126 0.00297557 0.075308

0.0589334 0.0842245 0.0249456 0.01175 0.0222378 0.0947124

’

59

ku (2)W është matrica në vijim (e largët nga (4)TW W A ):

(2) 2 2 2

0.754644 1.13708 2.03675 2.88992 4.17203 5.924872.02136 2.96469 3.07952 3.95059 5.00875 5.994652.81813 4.12179 3.95583 4.96933 6.10703 6.954574.08485 5.9494 4.9986 6.03 6.94375 7.024361.24693 1.86479 2.95328 4.

TW U V

11773 5.82408 8.07701

.

3.1.4.2 Inversi i hollë me peshë i Moore-Penrosit Inversi i jashtëm i hollë që korrespondon me inversin me peshë të Moore-Penrosit është shënuar me †

,M N tA . Ky invers i përgjithësuar korrespondon me DVS-(M,N) e matricës

1( ) ( ) ( )t t t

W N A M A # .

3.1.4.3 Inversi Drazin i hollë Përveç kësaj, është e njohur se në disa raste, versioni i zgjidhjes DA b pra

me anë të

inversit të Drazinit mund të përdoret në mënyrë të përshtatshme në zgjidhjen e sistemeve lineare dhe ekuacioneve matricore të kufizuara (ang. restricted matrix equations). Në [42, f.123] është treguar që versioni i inversit të Drazinit, pra DA b , zgjidh sistemin real singular Ax b atëherë dhe vetëm atëherë kur kb A . Gjithashtu, DA b

është

zgjidhja unike e Ax b me kusht që kx A [42, f.123]. Po ashtu është i njohur rezultati se versioni i inversit të Drazinit paraqet zgjidhjen minimale të P-normuar të sistemit linear Ax b , ku P është një matricë e invertueshme e tillë që 1P AP është forma kanonike Zhordaniane e A-së dhe 1

2Px P x [58]. Ekuacioni matricor i kufizuar

AX B D , kX A , kX A

max ind( ), ind( )k A B

ka zgjidhje unike D DX A DB [57]. Hulumtimet e mësipërme janë të tilla që korrespondojnë me zgjedhjen , indkW A k A .

Inversi i hollë i Drazinit ( ), ( )t t

DU V t

A A (2)

lind nga paraqitja TSVD me rang të plotë e

matricës ( ) ( ), rankk k

t tW A t A .

Shembulli 5.2. Le të marrim matricën e mëposhtme

60

2. 0.4 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.2. 0.4 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0.1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0.

0. 0. 0. 0. 1. 1. 1. 1. 0. 0. 1. 0.0. 0. 0. 0. 1. 1. 1. 1. 0. 0. 0. 0.0. 0. 0. 1. 2. 0.4 0. 0. 0. 0. 0. 0.0. 0. 0. 0. 2. 0.4

A

0. 0. 0. 0. 0. 0.0. 1. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1.0. 0. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1.0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.4 2.0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.4 2.

me indeksin 3, pra ind 3A . Kështu, inversi i Drazinit korrespondon me zgjedhjen

3W A , i cili është i barabartë me

4.48 1.664 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.8.32 2.176 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.0.4 2.08 4. 4. 0. 0. 0. 0. 5. 3. 1.8 1.

1.6 1.32 4. 4. 0. 0. 0. 0. 3. 1. 1. 1.1. 1. 1. 3. 3.2 1.6 3.2 3.2 0. 0. 1.76 6.81. 1. 1. 3. 3.2 1.6 3.2 3.2 0. 0. 2.4 2.

0. 0.8

2. 3.6 3.2 1.92 3.2 3.2 1. 0. 2.4 4.0. 0. 0. 2.4 4.8 2.88 4.8 4.8 0. 0. 3.2 4.

6.8 1.76 0. 0. 0. 0. 0. 0. 4. 4. 0.32 1.62. 2.4 0. 0. 0. 0. 0. 0. 4. 4. 0.32 1.6

0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 2.176 8.320. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1.664 4.48

.

Secila nga matricat V AU , 10 10V AU , 9 9V AU është pothuajse singulare. Si përfundim, matrica 8 8V AU është mjaft e rregullt, kështu që në këtë rast kemi fituar inversin e hollë Drazin të A-së:

1

8 8 8 8 88

DtA U V AU V

61

16 16 16 18

15 16 16 16

16 16

0.25 0.25 4.9267 10 3.7470 10 6.1453 10 6.9389 101.25 1.25 1.0963 10 4.3021 10 6.2450 10 5.2736 10

1.66406 0.992187 0.25 0.25 7.4160 10 1.2490 101.19531 0.679687 0.25 0.25 1.150

15 16

15 16

1 10 8.3267 102.76367 1.04492 1.875 1.25 1.25 1.252.76367 1.04492 1.875 1.25 1.25 1.25

14.1094 6.30078 6.625 3.375 5. 3.19.3242 8.50781 9.75 5.25 7.5 4.5

0.625 0.3125 1.7418 10 9.1295 10 1.6011 10

15 17

16 16 16 16

15 15 15 15 15 15

16 16 16 1

1.7618 101.25 0.9375 4.4409 10 1.3878 10 5.8027 10 2.7756 10

5.3620 10 2.4746 10 3.2734 10 1.7816 10 2.6092 10 2.0713 107.2511 10 3.1442 10 4.4994 10 6.4488 10

6 16 164.6320 10 5.9241 10

16 16 16 16 16 16

16 16 16 15 15 15

16 16

5.5815 10 5.7723 10 7.6328 10 2.7756 10 1.1670 10 1.8906 105.4297 10 5.8460 10 6.8001 10 1.8596 10 1.6757 10 3.5497 108.2312 10 8.4221 10 0.0625 0.0625 1.1068 10

15

16 16

0.156257.3639 10 5.8807 10 0.0625 0.1875 0.6875 1.34375

1.25 1.25 1.48437 2.57812 3.32031 6.640621.25 1.25 1.48437 2.57812 4.57031 8.51562

5. 5. 4.1875 8.5 10.5078 22.46097.5 7.5 6.375 12.5625 15.9766 33.7891

15 15

15

15 15 15 15

16 16 16 16

1.9552 10 2.1147 10 0.25 0.25 0.875 1.6251.1675 10 0.25 0.25 0.875 1.625 1.36542.2417 10 1.9262 10 3.2431 10 3.9570 10 1.25 1.25

5.0234 10 3.9961 10 7.1514 10 1.0192 10 0.25 0

.25

Për rastin që u shqyrtua më sipër, kemi një koincidencë

8

D DA A .

3.1.5 Përfundime Në këtë punim është trajtuar paraqitja DVS me rang të plotë e inversit të jashtëm me përfytyrim dhe bërthamë të paracaktuar. Algoritmet përkatëse numerike për njehsimin e

( ), ( )W WA (2) janë nxjerrë nga përdorimi i DVS-së së një matrice të zgjedhur të përshtatshme

W . Një paraqitje analoge e inversit të jashtëm korrespondon me përdorimin e DVS-së së hollë të -sëW nga e cila rrjedh paraqitja DVS me rang të plotë e inversit përkatës të jashtëm të A-së. Ky lloj inversi i përgjithësuar është quajtur inversi i hollë i jashtëm i A-së me përfytyrim dhe bërthamë të paracaktuar.

62

3.2 Njehsimi inverseve-{2,4} dhe {2,3} me anë të faktorizimeve DVS dhe sikur-DVS

Do të nxjerrim kushtet për ekzistencën dhe shqyrtimin e paraqitjeve të inverseve-{2,4} dhe {2,3} me përfytyrim të paracaktuar T dhe bërthamë të paracaktuar S. Kemi nxjerrë algoritmin e përgjithshëm për njehsimin numerik të inverseve-{2,4} dhe {2,3} me rang të dhënë dhe me përfytyrim e bërthamë të paracaktuar. Algoritmi është nxjerrë nga gjenerimi i paraqitjeve me rang të plotë të këtyre inverseve të përgjithësuara duke përdorë faktorizime të ndryshme matricore ortogonale të plota. Më saktësisht, algoritmi për njehsimin e inverseve-{2,4} dhe {2,3} e një matrice të dhënë A është përcaktuar duke përdorur një qasje unike në dekompozimet SVD, QR dhe URV të një matrice W të zgjedhur në mënyrë të përshtatshme.

3.2.1 Hyrje dhe njohuri paraprake

Duke marr në konsideratë shënimet e § 3.1.2 , paraqitja me rang të plotë e inverseve-{2} me përfytyrim dhe bërthamë të paracaktuar është dhënë në propozimin më poshtë, që ka origjinën në [52].

Pohimi 1.1. [52] Le të jetë m n

rA

, T është nënhapësirë e n n me përmasa s r dhe le të jetë S nënhapësirë e m m me përmasa m s . Më tej, merret që n mW plotëson kushtin: W T , W S . Le të jetë W një dekompozim i çfarëdoshëm me rang të

plotë, e tillë që W FG . Në qoftë se A-ja ka {2}-inversin ,T SA(2) , atëherë:

(1) GAF është matricë e invertueshme;

(2) 1,T SA F GAF G(2) .

Ekzistojnë shumë paraqitje me rang të plotë për inverse të ndryshme të përgjithësuara me rang të paracaktuar [41,64,28,69]. Një përgjithësim i paraqitjeve të njohura për inverset-{2,3} dhe {2,4} me rang të paracaktuar nga [16] është futur në [53]. Ne përdorim pohimin e mëposhtëm 1.2, i cili i referohet matricave komplekse konstante.

Pohimi 1.2. [53] Le të jetë m n

rA

dhe 1 10 , ,s r m n s le të jenë numra të plotë të zgjedhur. Atëherë për paraqitjet e mëposhtme të përgjithësuara për inverset -{2,4} dhe {2,3} me rang të paracaktuar, vlen:

(a) 1 1†2, 4 ,n m n n

ssA GA G G GA ;

(b) 1 1†2,3 ,n m m m

ssA F AF F AF .

Pohimi 1.3 nga [17] dallon saktësisht bashkësitë A{2,4}s dhe A{2,3}s , si nënbashkësi të mirëfillta të bashkësisë A{2}s .

63

Pohimi 1.3. [71] Le të jetë m nrA një matricë e dhënë dhe 0 s r le të jetë numër i

plotë i zgjedhur. Supozojmë se s msL dhe n s

sK janë dy matrica të çfarëdoshme që plotësojnë rank rankGA G dhe rank rankAF F . Atëherë vlen:

(a) 12,4 ,s m s n

s ssA GA GA GA G G GA

;

(b) 12,3 ,n s m s

s ssA F AF AF AF F AF

.

Siç kemi përmendur, inverset e përgjithësuara † †,, , ,D

M NA A A A# janë identike me inversin

e përgjithësuar (2),T SA për një matricë të përshtatshme të zgjedhur W e cila shqyrtohet në

pohimin 2.3. Më saktësisht, këto pseudoinverse mund të rrjedhin në raste të veçanta, në mënyrë përkatëse, W A , 1W A N A M , , indlW A l A dhe W A (shih, p.sh. [16]). Në pjesën tjetër të këtij paragrafi do të shqyrtojmë problemin e gjetjes së vlerave të përshtatshme për matricën W të cilat shpiejnë në inverset-{2,4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar.

Pohimi 1.4. [71] Për çfarëdo matrice m nrA dhe për çfarëdo numri të plotë s që plotëson

0 s r , do të kemi:

(a) (2,4)( ) , ( )

2, 4 , rank( ) rank( )s msGA Gs

A A G GA G

(1.1)

(b) (2,3)( ), ( )

2,3 , rank( ) rank( )n ssF AFs

A A F AF F

. (1.2)

Paraqitje të ndryshme të inverseve-{2,3} dhe {2,4} me përfytyrim dhe bërthamë të paracaktuar janë shqyrtuar në [63,65,52]. Shprehjet për inverset-{2,3} dhe {2,4} të një matricë normale nga dekompozimi i Schur-it janë diskutuar në [74]. Por, këto paraqitje nuk janë shfrytëzuar në zhvillimin e disa procedurave të efektshme të njehsimit matricor. Përveç kësaj, paraqitjet e përgjithshme të inverseve-{2.4} dhe {2,3} në mënyrë përkatëse në trajtën †GA G dhe †F AF , nuk shfrytëzohen shumë në literaturë. Paraqitja e efektshme me rang të plotë e bashkësive A{2,4}s dhe A{2,3}s është rast i veçantë i paraqitjes me rang të plotë i bashkësisë A{2}s [71].

Zbatimi i paraqitjeve me rang të plotë mundëson përshtatjen e algoritmeve të njohur për njehsimin e inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar, në algoritme përkatëse për njehsimin e inverseve-{2.4} dhe {2,3}. Një përshtatje e tillë e algoritmit për matricat katrore të njëpasnjëshme nga [70] është zhvilluar në punimin[71] . Në këtë punim ne vazhdojmë duke bërë zgjerime të disa rezultateve nga [54,55].

Duke shfrytëzuar përfaqësimet e nxjerra të inverseve-{2.4} dhe {2,3}, ne kemi nxjerrë algoritme numerike për njehsimin e tyre. Më saktësisht, ne kemi vënë re që paraqitjet e

64

nxjerra janë shprehjet matricore †GA G dhe †F AF duke përfshi inversin e përgjithës-uar të prodhimit të matricave.

Ky punim është organizuar si më poshtë. Në § 3.2.2 janë vënë kushtet e nevojshme dhe të mjaftueshme të cilat sigurojnë që një invers i çfarëdoshëm {2.4} dhe {2,3} paraqet inversin me përfytyrim të paracaktuar T dhe bërthamë S. Paraqitje të ndryshme të inverseve-{2.4} dhe {2,3}që dalin nga dekompozime matricore janë futur dhe shqyrtohen në § 3.2.3. Algoritmet numerike janë përcaktuar në § 3.2.4. Në pjesën e fundit janë paraqitur shembuj numerikë. 3.2.2 Paraqitja e inverseve-{2.4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar Përdorim rezultatet ndihmëse nga [16]:

Pohimi 2.1. (i) Në qoftë se matrica F te prodhimi A FBG është me rang të plotë sipas shtyllave dhe G-ja me rang të plotë sipas rreshtave, atëherë rank rankA B .

(ii) Ab A nëse dhe vetëm nëse rank rankAB A dhe AB B nëse dhe vetëm nëse rank rankAB B .

(iii) † ††A A A A A AA .

(iv) ,A A A A .

Në lemën 2.1 ne kemi nxjerrë paraqitjet e inverseve-{2.4} dhe {2,3} që i përgjigjen në mënyrë të ngjashme si në [62, lema 3.3].

Lema 2.1. Le të jetë m nrA një matricë e dhënë me përmasa m n dhe me rang r dhe s

(ku 0 s r ), një numër i plotë i zgjedhur. Supozojmë se T-ja është nënhapësirë e n me përmasë s r dhe S-ja është nënhapësirë e m me përmasë m s . Le të jetë 1n m

sG 1, n s një matricë e çfarëdoshme që plotëson G S dhe rank rankGA G s .

Atëherë inversi-{2,4} †:X GA G plotëson (2,4),T SX A me ,X T X S nëse

dhe vetëm nëse GA T ose T A G .

Vërtetimi. Në pajtim me pohimin 1.3 dhe pohimin 2.3, do të kemi:

1† (2,4)( ) , ( )

( ) ( ) GA GGA G GA GA GA G A

.

Tani, konstatojmë se (2,4) (2,4),( ) , ( )

: T SGA GX A A

nëse dhe vetëm nëse GA T ose

GA T . Vërtetimi kompletohet duke marr pjesën (iv) nga pohimi 2.1.

65

Lema e mëposhtme duale 2.2 është e ngjashme dhe vërtetimi i saj do të lihet.

Lema 2.2. Le të jetë m nrA një matricë e dhënë me përmasa m n dhe me rang r dhe s

(ku 0 s r ), një numër i plotë i zgjedhur. Supozojmë se T-ja është nënhapësirë e n me përmasë s r dhe S-ja është nënhapësirë e m me përmasë m s . Le të jetë 1n m

sF 1, m s një matricë e çfarëdoshme që plotëson F T dhe rank rankAF F s .

Atëherë inversi-{2,3} †:X GA G plotëson (2,3),T SX A me ,X T X S nëse

dhe vetëm nëse AF S ose S F A .

Duke krahasuar pohimin 2.3 me pohimin 1.3, mund të konstatojmë:

– inverset-{2,4} janë nënbashkësi të inverseve të jashtme të gjeneruara nga ( )W GA G , përkatësisht ( )F GA .

– inverset-{2,3} janë nënbashkësi të inverseve të jashtme të gjeneruara nga ( )W F AF , përkatësisht ( )G AF .

Në konstatimin e mëposhtëm, do të tregojmë që inverset {2,4} mund të gjenerohen duke përdorë vetëm matricën G dhe inverset {2,3} mund të gjenerohen duke përdorë vetëm matricën F.

Lema 2.3. [52] Le të jetë m nrA dhe n mW e cila plotëson ,W T W S .

(a) Në rastin kur ( )W GA G , kemi

† †WA W GA G .

(b) Në rastin kur ( )W F AF , kemi

† †W AW F AF .

Vërtetimi. Vërtetimi mund të rrjedh duke përdorur vetinë 3 të inversit të Moore-Penrosit nga pohimi 2.1.■

3.2.3 Njehsimi i inverseve {2,4 }dhe {2,3} me anë të faktorizimeve matricore

Në këtë paragraf do të nxjerrim metoda numerike për njehsimin e inverseve-{2,4} dhe {2,3} duke përdorur paraqitjen e tyre të përgjithshme nga paragrafi paraprak dhe faktorizimet e ndryshme matricore. Supozojmë që 1 1,m n s janë dy numra të plotë.

Faktorizimi i plotë ortogonal i matricës A me përmasa m n dhe me rang r është çdo faktorizim i trajtës

66

T OA U V

O O

,

ku T është matricë katrore josingulare me përmasa r r [27]. Në këtë punim do të shfryt-ëzojmë tre paraqitje të faktorizimit të plotë ortogonal: Dekompozimi në vlera singulare (DVS), dekompozimi QR dhe dekompozimi URV.

Le të jetë n mrW një matricë e dhënë me përmasa m n dhe me rang r dhe s (ku

0 s r ), një numër i plotë i zgjedhur. Marrim faktorizimin DVS të n msW në trajtën

e përgjithshme

W U V , (3.1)

ku n nsU dhe m m

sV janë matrica katrore ortogonale sipas shtyllave dhe n ms

është matricë diagonale me vlerat singulare të W -së në diagonalen kryesore të renditura në një varg zvogëlues. Supozojmë që vlerat singulare jozero të W -së janë të renditura si

1 2 . . . s . (3.2)

Siç dihet, dekompozimi SVD (3.1) nuk është një faktorizim me rang të plotë i W . Për të gjeneruar një faktorizim me rang të plotë të W -së që buron nga (3.1), le të konsiderojmë matricat n nU , m mV dhe n m të copëtuara në blloqe të përshtatshme

, , ss R s R

OU U U V V V O O

, (3.3)

ku m ssU , n s

sV dhe 1 2diag , , . . . ,s s . Atëherë, DVS-ja kompakte e W -së

s s sW U V , (3.4)

është faktorizim me rang të plotë.

Marrim faktorizimin QR të W -së si në teoremën 3.3.11 nga [36] në trajtën

W QRP , (3.5)

ku P-ja është përkëmbimi me përmasa m m , ,n nnQ Q Q I dhe n m

sR është matricë trekëndëshe e sipërme. Supozojmë që matrica P është zgjedhur e tillë që Q dhe R mund të copëtohen si

, ss R

RQ Q Q R O

, (3.6)

ku sQ (përkatësisht sR ) përbëhet nga s-shtyllat e para të Q-së (përkatësisht R-së). Shtyllat

67

e sQ -së formojnë bazën ortonormale për W dhe shtyllat e RQ -së bazën ortonormale

për W (shih [67,56]).

Dekompozimi URV i matricës ,n msW s r është;

C OW URV U VO O

, (3.7)

ku ,n n m ms R s RU U U V V V janë matrica ortogonale dhe s sC

është matricë e invertueshme. Matricat sU dhe sV janë gjeneruar nga s-shtyllat e para të matricave përkatëse U dhe V. Shtyllat e sU -së formojnë bazën ortonormale për W

dhe shtyllat e RU -së bazën ortonormale për W . Shtyllat e sV -së formojnë bazën

ortonormale për W dhe shtyllat e RV -së bazën ortonormale për W (shih [42], f.406,407). Prandaj, duke përdorur vetitë e njohura të matricës sQ nga dekompozimi QR, mund të konstatojmë se s sQ U .

Duke qenë se, siç është thënë më lart, matrica U plotëson UU I , kemi

s s s Rss R

R s R RR

U U U UU U U IU U U UU

dhe kështu, ,s R R s s s R RU U U U O U U U U I . Në mënyrë të ngjashme, mund të verifikohen identitetet ,s R R s s s R RV V V V O V V V V I .

Në këtë rast,

s s s sW U CV Q CV , (3.8)

është faktorizim me rang të plotë i W -së.

3.2.3.1 Njehsimi i inverseve-{2,4} dhe {2,3} me anë të DVS-së

Lema 3.1. Le të jetë dhënë matrica m nrA dhe 1 10 , ,s r m n s numra të plotë të

zgjedhur. Supozojmë se T-ja është nënhapësirë e n me përmasë s r dhe S-ja është nënhapësirë e m me përmasë m s . Le të jetë 1

1,n msG n s një matricë e çfarëdosh-

me që plotëson ,G S GA T dhe rank rankGA G s . Le të jetë

s s sGA U V , 1 2diag , , . . . ,s s (3.9)

68

DVS-ja kompakte e matricës GA. Atëherë

(2,4) 1 1 1, 1 2diag , , . . . ,T S s s sA V U G . (3.10)

Vërtetimi. Duke marr paraqitjen e njohur DVS të inversit të Moore-Penrosit, do të kemi:

†1 1 11 2diag , , . . . ,s s sV U G GA G .

Në pajtim me lemën 2.1, gjejmë

† (2,4) (2,4),( ) , ( ) T SGA G

GA G A A

,

e cila verifikon identitetin (3.10).■

Lema 3.2. Le të jetë dhënë matrica m nrA dhe 1 10 , ,s r m n s numra të plotë të

zgjedhur. Supozojmë se T-ja është nënhapësirë e n me përmasë s r dhe S-ja është nënhapësirë e m me përmasë m s . Le të jetë 1

1,n msF m s një matricë e çfarëdosh-

me që plotëson ,F T AF S dhe rank rankAF F s . Le të jetë

s s sAF U V , 1 2diag , , . . . ,s s (3.11)

DVS-ja kompakte e matricës AF. Atëherë

(2,3) 1 1 1, 1 2diag , , . . . ,T S s s sA FV U . (3.12)

Te teorema e mëposhtme 3.1 ne tregojmë që inverset {2,4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar mund të njehsohen pa njehsuar DVS-në në mënyrë përkatëse të prodhimeve matricore GA dhe AF.

Teorema 3.1. Le të jetë m nrA një matricë e dhënë dhe 0 s r një numër i plotë.

(a) Le të jetë G një matricë me përmasa 1n m dhe rang s që plotëson rank ( )GA G s

dhe (3.4) le të jetë faktorizimi me rang të plotë i ( ) n msW GA G që rrjedh nga DVS-

ja kompakte e W -së. Atëherë kanë vend barazimet:

(2,4) (2,4)( ) , ( ) ( ), ( )

1

†

† {2, 4} .

s sGA G U V

s s s s s s

s

A A

U V AU V

WA W

GA G A

(3.13)

69

(b) Le të jetë F një matricë me përmasa 1n m dhe rang s që plotëson rank ( )F AF s .

Në qoftë se (3.4) është faktorizimi me rang të plotë i ( ) n msW F AF . Atëherë kanë

vend barazimet:

(2,3) (2,3)( ), ( ) ( ), ( )

1

†

( ) {2,3} .

s sF AF U V

s s s s s s

s

A A

U V AU V

WA W

F AF A

(3.14)

DVS-ja e kombinuar e dy matricave me përmasa të njëjta është futur me qëllim që t’i shmangemi njehsimit eksplicit të prodhimeve dhe herësve matricor gjatë njehsimit të DVS-së së disa prodhimeve dhe herësve matricor.

Është e mundshme që të përdoret SVD-ja e kombinuar për të njehsuar inverset-{2,3} të m nrA në trajtën ( )F AF , ku 1 1,n m m mF AF . Në vend të llogaritjes së prodhim-

it matricor FA duket më e përshtatshme për të përdorur një kombinim të duhur të faktor-izimit të cunguar të A-së të rendit s

1 2diag , , . . . ,A A A A A As s s s s s sA U V U V (3.15)

dhe DVS-ja kompakte e matricës F në rastin kur 1m m

1 2diag , , . . . ,F F A F F As s s s s sF U V U V . (3.16)

3.2.3.2 Njehsimi i inverseve-{2,4} dhe {2,3} me anë të faktorizimit QR

Pohimi 3.1. [55] Kanë vend dy barazimet e mëposhtme

1 (2) (2)( ), ( ) ( ), ( )s s

s s s s W W Q R PQ R P AQ R P A A

(3.17)

1

s s s sQ Q WAQ Q W . (3.18)

Teorema 3.3. Le të jetë m nrA një matricë e dhënë, s r një numër i plotë dhe

matricat F,G janë zgjedhur si në pohimin 1.2.

(a) Në qoftë se (3.5) është faktorizim me rang të plotë e n msW GA G , atëherë

plotësohet:

1 † (2,4)( ) , ( )

( ) {2, 4}s s s s sGA GQ R P AQ R P GA G A A

. (3.19)

70

(b) Në qoftë se (3.5) është faktorizim me rang të plotë e n msW F AF , atëherë

plotësohet:

1 † (2,4)( ), ( )

( ) {2,3}s s s s sF AFQ R P AQ R P F AF A A

. (3.20)

3.2.3.3 Njehsimi i inverseve-{2,4} dhe {2,3} me anë të faktorizimit URV

Marrim një paraqitje tjetër të inversit (2),T SA :

1(2),T S s s s sA Q CV AQ CV

. (3.22)

Nga (3.8) do të fitojmë

s sCV Q W

dhe më pas paraqitjen tjetër

1(2),T S s s s sA Q Q WAQ Q W

, (3.23)

e cila përputhet me (3.18).

Teorema 3.4. Le të jetë m nrA një matricë e dhënë, s r një numër i plotë dhe

matricat F,G janë zgjedhur si në pohimin 1.2.

(a) Në qoftë se (3.8) është faktorizim me rang të plotë e n msW GA G , atëherë

plotësohet:

1(2,4) †( ) , ( )

( ) {2, 4}s s s s sGA GA Q CV AQ CV GA G A

. (3.24)

(b) Në qoftë se (3.8) është faktorizim me rang të plotë e n msW F AF , atëherë

plotësohet:

1(2,3) †( ) , ( )

( ) {2,3}s s s s sGA GA Q CV AQ CV F AF A

. (3.25)

3.2.4 Algoritmi

Në vazhdim do të japim algoritmin universal për gjenerimin e inverseve (2,4),T SA dhe (2,3)

,T SAtë matricës së dhënë A me anë të tre dekompozimeve matricore.

71

Algoritmi 4.1 Njehsimi i inversit (2,4),T SA të matricës A duke përdorur faktorizimin e plotë

ortogonal të W GA G .(Algoritmi COFATS234) ose

W F AF .(Algoritmi COFATS234)

Kërko: Matricën A me përmasa m n dhe rangun m.

1: Zgjidh një matricë të çfarëdoshme por të fiksuar W (me përmasa n m ) me rang rank A s r .

2: Njehso dekompozimet DVS, QR ose URV e matricës W në trajtën (3.1), (3.5), (4.2).

3: Gjenero dekompozim me rang të plotë të matricës W në mënyrë përkatëse si në (3.4), (3.21) ose (3.8).

4: Zgjidhe njërin nga ekuacionet vijuese matricore: – në rastin e faktorizimit DVS, zgjidh ekuacionin s s s s sV AU X V . – në rastin e faktorizimit QR, zgjidh ekuacionin s s sR P AQ X R P ose s s sQ WAQ X Q W . – në rastin e faktorizimit URV, zgjidh ekuacionin s s sCV AQ X CV .

5: Njehso daljen: – në rastin e faktorizimit DVS, kthe matricën s X . – në rastin e faktorizimit QR ose URV, kthe matricën sQ X .

Shënim.

– Algoritmi 4.1 është metodë direkte për njehsimin e inverseve të përgjithësuar.

– Varianti QR i algoritmit 4.1 është i zbatueshëm në njehsimin e saktë të inverseve të përgjithësuar të matricave numerike. Më saktësisht, paketa programimit Mathematica jep dekompozimin QR për matrica numerike me të hyra racionale. Më tej, duke përdorur mundësitë e njehsimit të saktë në Mathematica, është e mundur të gjenerohen dalje të sakta të algoritmit 4.1.

3.2.5 Eksperimente numerike

Shembuj numerike janë kryer në paketën e programimit Mathematica. Në të dy shembujt: 5.1(b) dhe 5.2(b), kemi nxjerrë inverset e përgjithësuar të saktë.

Shembulli 5.1 Në këtë shembull matrica startuese A dhe matrica G janë:

1 2 3 4 11 3 4 6 22 3 4 5 3 ,3 4 5 6 44 5 6 7 66 6 7 7 8

A

1 0 0 0 3 00 1 0 0 0 0G

.

72

a) DVS-ja e matricës ( )W GA G që ka të bëjë me dy vlerat singulare më të mëdha (pra, për 2s ) tëW -së është përcaktuar me 2 2 2W U V , ku

2 2 2

0.315726 0.01780240.298885 0.533279 0.0562962 0.9984140.391543 0.0126312 137.513 0. 0. 0.{ , , } , ,0.483791 0.103401 0. 2.46756 0. 0.0.576449 0.624049 0.947179 0.05340720.437053 0.561538 0. 0.

U V

.

Paraqitja (3.13) jep inversin-{2,4} të A-së në vijim:

1(2,3)1 2 2 2 2 2 2( ) , ( )

0.0453361 0.215651 0. 0. 0.136008 0.0.00990099 0.0049505 0. 0. 0.029703 0.0.00364773 0.0420358 0. 0. 0.0109432 0.

0.0317874 0.252736 0. 0. 0.0953622 0.0.0505472 0.227028 0. 0. 0.151

GA GX A U V AU V

†

641 0.

.GA G

b) Dekompozimi QR i matricës ( )W GA G është përcaktuar me

6

13 13191145 166953017 57

80770 3361885 1885 0 0 3 1885 0188521 2{ , , } , ,242 10851945 115141885 0 0 0 0 018855 305 97377 723463

19 21307 108519451885

Q R P I

.

Paraqitja (3.17) gjeneron inversin-{2,4} të A-së në vijim:

73

1(2,4)( ) , ( ) s s s sGA G

A Q R P AQ R P

87 2483 2610 0 01919 11514 19191 1 30 0 0101 202 1017 242 210 0 01919 5757 191961 485 1830 0 01919 1919 1919

97 1307 1910 0 01919 5757 1919

.

Përafrimi real i matricës racionale (2,4)( ) , ( )GA GA

është identik me 1X .

Gjithashtu, një verifikim i thjeshtë tregon se † †1WA W GA G X .

Shembulli 5.2 Le të zgjedhin të njëjtën matricë A si në Shembullin 5.1 dhe matricën F të barabartë me

3 27 6

0 07 54 0

F

.

Matrica W , e përshtatshme për A, tani jepet nga W F AF .

a) DVS-ja e matricës W F AF është

2 2 2, ,U V

0.180315 0.4322290.107919 0.35296 0.279943 0.6444620.938716 0.246259 1025.55 0. 0.296222 0.235186, ,0. 0. 0. 400.128 0.393255 0.1379020.289015 0.841614 0.509162 0.05914170.15374 0.326285 0.622475 0

.565702

.

Paraqitja (3.14) jep inversin-{2,3} të A-së në vijim:

1(2,3)2 ( ) , ( ) s s s s s sGA GX A U V AU V

0.0397756 0.059307 0.0216562 0.012713 0.00540651 0.05200060.0395358 0.0581092 0.00651577 0.0128002 0.0458202 0.11673

0. 0. 0. 0. 0. 0.0.0944746 0.140892 0.0519066 0.0309905 0.0115775 0.1214790.0397157 0.0590075

0.0178711 0.00633466 0.0155099 0.0681828

.

Le të përmendim që F AF është matricë racionale

74

837851 312317 456175 267791 113885 54768121064424 5266106 21064424 21064424 21064424 10532212

832799 306009 137251 269629 965177 122942121064424 5266106 21064424 21064424 21064424 10532212

0 0 0 0 0 0995027 370975

10532212

546691 326399 121937 6397192633053 10532212 10532212 10532212 5266106

209147 155370 94111 33359 81677 1795295266106 2633053 5266106 5266106 5266106 2633053

përafrimi real (në bashkësinë e matricave reale) i së cilës është pikërisht matrica 2X .

b) Dekompozimi QR i matricës W F AF jepet me

2 2 2{ , , }Q R P

27 13897123 56941262131 18587

3 7123 3 569412620 0 ,

4723 2/32847063119933 7123

3886 2/3284706312833 7123

97688 24151 28041 30823 789043 71233 7123 7123 7123 7123 3 7123

22 7994/71230

6, .1703 7994/71237994 7994 7994131 222 353

3 7123 7123 7123 3

I

Paraqitja (3.17) jep inversin-{2,3} të A-së në vijim:

1(2,3)2 2 2 2( ) , ( )GA GA Q R P AQ R P

837851 312317 456175 267791 113885 54768121064424 5266106 21064424 21064424 21064424 10532212

832799 306009 137251 269629 965177 122942121064424 5266106 21064424 21064424 21064424 10532212

0 0 0 0 0 0995027 37097

10532212

5 546691 326399 121937 6397192633053 10532212 10532212 10532212 5266106

209147 155370 94111 33359 81677 1795295266106 2633053 5266106 5266106 5266106 2633053

.

Përsëri, verifikimi i thjeshtë tregon që 2X është përafrimi real i 1

2 2 2 2Q R P AQ R P .

75

Shembulli 5.3 Në këtë shembull njehsojmë inverset e jashtme të matricës së invertuesh-me 8 8 , e cila gjenerohet duke marr 1a dhe 8n në matricën e testimit nS nga [17].

A

2 1 1 1 1 1 1 21 0 1 1 1 1 1 11 1 2 1 1 1 1 11 1 1 0 1 1 1 11 1 1 1 2 1 1 11 1 1 1 1 0 1 11 1 1 1 1 1 2 12 1 1 1 1 1 1 0

.

iniciuar nga një matricë 2 8G e krijuar rastësisht

0.840945 0.538775 0.305695 0.225754 0.997242 0.695873 0.409878 0.09898460183869 0.538072 0.721692 0.109286 0.728451 0.627618 0.247737 0.799947

G .

Duhet të përdoret matrica W GA G në ndërtimin e inversit korrespondues {2,4} të

A-së.

a) DVS-ja e matricës ( )W GA G është përcaktuar me 2 2 2W U V , ku

2 2 2, ,U V

0.415962 0.168585 0.342289 00.291191 0.0633560.378075 0.4102550.321869 0.163915 36.7405 0., ,0.408221 0.0581344 0. 0.7718840.280822 0.1051420.363613 0.00903590.343399 0.870558

.5633820.351771 0.03702660.330844 0.4153120.110778 0.09449430.566792 0.1847630.433113 0.01595070.216673 0.1248630.28562 0.670697

.

Paraqitja (3.17) jep inversin-{2,4} të matricës së invertueshme A në vijim:

3X = 0.0561094 0.0230657 0.0715567 0.00664794 0.0051328 0.0203345 0.00514498 0.1026840.0151947 0.0147109 0.0325671 0.00059331 0.011670 0.015083 0.00179136 0.04348280.164248 0.0277175 0.147448 0.0251358 0.0333136 0.0

144951 0.0300357 0.2268740.0581621 0.0187273 0.0660998 0.00763009 0.00097307 0.0152156 0.00728292 0.0968433

0.0434484 0.0167623 0.00146126 0.0100848 0.0380744 0.0234245 0.0170104 0.01539410.0340591 0.0153441 0.0

455284 0.0038439 0.00474666 0.0138626 0.00261781 0.06481730.0198662 0.0160537 0.0124039 0.00580735 0.0275976 0.0202017 0.0109341 0.008497620.398583 0.0074864 0.264674 0.0695208 0.153439 0.0324514 0.0953776 0.439858

.

Shembulli 5.4 Në këtë shembull do të verifikojmë rezultatet nga teorema 3.2. marrim matricën sA me përmasa 6 5 si vijon:

76

sA

0.572082 2.04881 2.98051 4.45724 0.9390711.3795 2.92615 4.01624 5.56289 2.059632.09302 3.11513 4.00852 5.03063 2.990242.81009 3.93239 4.98831 6.11061 3.989294.33103 4.99871 6.01632 6.68400 6.040465.76162 6.00495 6.98839 7.23172 7.97013

e përcaktuar me 2 2 2A A

sA U V , ku

2 2 2A AU V

0.222859 0.573902 7.88638 2.065630.3093 0.513042 9.94431 0.2916420.319292 0.205769 1. 0., , 12.2808 0.4244930.400374 0.168183 0. 1. 14.3388 2.198480.496807 0.199950.58788 0.54481

11.0847 2.66816

dhe matrica F e përcaktuar me 2 2 2F FF V U

, ku

2 2 2F FV U

0. 0. 7.88638 2.065630. 0. 9.94431 0.2916421. 0. 0.999233 0., , 12.2808 0.4244930. 0. 0. 1. 14.3388 2.198480. 0. 11.0847 2.668160. 1.

.

Pas një verifikimi, kemi gjetur

†sA

0.0654337 0.057383 0.021043 0.0157914 0.0285993 0.07019090.00026675 0.00145754 0.00359279 0.00508443 0.00894397 0.01257090.0275701 0.0268407 0.0146572 0.0147588 0.00184593 0.01023590.092737 0.0856812 0.039293 0.0

356346 0.0178094 0.0678559

0.0836078 0.0731491 0.0265137 0.0196538 0.0374403 0.0909355

†F AF .

3.2.6 Përfundime

Në këtë punim, në mënyrë plotësuese kemi shqyrtuar kushtet e ekzistencës, paraqitjeve dhe algoritmeve për njehsimin e inverseve-{2,4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar. Kemi nxjerrë gjithashtu paraqitje korresponduese që dalin nga dekompozimet matricore DVS, QR dhe URV. Kemi përcaktuar një algoritëm të përgjithshëm për njehsimin e të dy inverseve-{2,4} dhe {2,3}.

77

3.3 Njehsimi inverseve të jashtme me anë të faktorizimeve të plota ortogonale. Eksperimente numerike

Kemi zbatuar paraqitje me rang të plotë të inversit ,T SA(2) e një matrice konstante të dhënë, të cilat bazohen në raste të ndryshme faktorizimesh të plota ortogonale. Në veçanti, ne kemi futur paraqitjen me rang të plotë të bazuar në dekompozimin sipas vlerave singulare (DVS), si dhe në një kombinim të dekompozimeve QR dhe DVS të matricës trekëndëshe të prodhuar nga dekompozimi QR.

Për më tepër, janë përcaktuar paraqitje mbi bazë të faktorizimeve matricore bidiagonale. Këto paraqitje janë të zbatueshme për matricat reale me rang të plotë sipas rreshtave. Kemi dhënë disa shembuj numerik ku është vënë në pah krahasimi i të tria metodave.

3.3.1 Njohuri paraprake

Metoda e shpejtë numerike për njehsimin e inversit †A të Moore-Penrosit bazuar në dekompozimin QR të matricës A është dhënë në [50]. Dekompozimi QR merret sikurse është përcaktuar në teoremën 3.3.11 nga [36] dhe shtrirja e tij për matricat komplekse është përdorur nga [44]. Më saktë, në qoftë se AP QR është faktorizim QR i A-së , ku

P-ja është matricë përkëmbimi, n nQ është ortogonale dhe 11 12

0 0R R

R

,

11n nR është josingulare trekëndëshe e sipërme, atëherë † † *A PR Q (për më tepër,

shih [50]).

Një zgjerim i kësaj paraqitjeje në grupin e inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar është shtruar në [55].

Njehsimi simbolik i inverseve ,T SA(2)

të bazuar në dekompozimin QDR të një matricë W

është treguar në [54]. Një algoritëm efikas, bazuar në dekompozimin *LDL për njehsimin e inverseve-{1,2,3} dhe {1,2,4}, dhe inversit të Moore-Penrosit për një matricë të dhënë me elemente thyesore është zhvilluar në[53]. Trajta kanonike e inversit të Drazinit †DA AA të një matrice katrore A është zhvilluar në [80].

Në punimin [79] janë futur disa kufij të rinj për gjetjen e zerove të polinomit duke shfryt-ëzuar dekompozimet QR dhe LU të një matrice shoqëruese të përshtatshme.

Kohëve të fundit, njehsimi i inverseve të përgjithësuar -{2,4} dhe {2,3} që bazohen në DVS është paraqitur në [31,22].

Në këtë punim, kemi zhvilluar disa algoritme numerike për njehsimin e inverseve ,T SA(2) . Këta algoritme bazohen në paraqitjen me rang të plotë të një matrice të përshtatshme të zgjedhur W (me përmasa n m ) që dalin nga faktorizime të ndryshme ortogonale të plota, të matricës së zgjedhur W (me përmasa n m ).

78

Qëllimi ynë i dytë është shqyrtimi i vetive të metodave të lartshënuara. Për këtë arsye, kemi realizuar një numër të konsiderueshëm eksperimentesh numerike në të cilat është treguar krahasimi i ndërsjellë i këtyre metodave. Marrim shënimet nga § 3.1.2.

Për matricën e dhënë katrore A, vlejnë identitetet [16,31,35]:

( ), ( )( ), ( ) , ind( ),k kD

A AA AA A k A A A (2) (2)

# . (2.2)

Në pohimin e mëposhtëm konfirmojmë paraqitjen me rang të plotë të inverseve-{2} me përfytyrim dhe bërthamë të paracaktuar nga [70].

Pohimi 3.3.1 [52] Le të jetë m n

rA

, T është nënhapësirë e n n me përmasa s r dhe le të jetë S nënhapësirë e m m me përmasa m s . Më tej, merret që n mW plotëson kushtin: W T , W S . Le të jetë W një dekompozim i çfarëdoshëm me rang të

plotë, e tillë që W FG . Në qoftë se A-ja ka {2}-inversin ,T SA(2) , atëherë:

(1) GAF është matricë e invertueshme;

(2) 1,T SA F GAF G(2) .

3.3.2 Paraqitjet bazuar në dekompozimet QR dhe DVS

Në këtë paragraf, supozohet që m n

rA

është matrica hyrëse dhe n m

sW

, 0 s r është matricë e çfarëdoshme por e fiksuar. Faktorizimi i plotë ortogonal i matricës Wështë i përcaktuar me

*0

0 0T

W U V

, (3.1)

ku T-ja është një matricë katrore josingulare me përmasa s s , ranks W . Supozohet se blloqet zero në pozicionet (1,2) dhe (2,2) nga relacioni (3.1) mund të zhduken. Për të thjeshtësuar njehsimet dhe për të nxjerrë një paraqitje me rang të plotë të W -së, është shumë më e lehtë të shqyrtohet copëtimi i matricave U dhe V në blloqe të përshtatshme

,s r s rU U U V V V , (3.2)

ku me sU dhe sV janë shënuar përkatësisht s shtyllat e para të matricave U dhe V. Atëherë

Ts sW U T V

është faktorizimi me rang të plotë i W -së i fituar nga (3.1).

79

Faktorizimi QR, DVS si dhe reduktimi në trajtën bidiagonale janë paraqitjet e ndryshme të faktorizimit të plotë ortogonal.

Supozojmë se faktorizimi QR i W -së është në trajtën

WP QR , (3.3)

ku P-ja është matricë përkëmbimi me përmasa m m , n nQ , *nQ Q I dhe

n m

sR

është një matricë trapezoide e sipërme. Supozojmë se Q dhe R janë copëtuar si

11 12 1,

0 0 0s r

R R RQ Q Q R

, (3.4)

ku sQ përbëhet nga s shtyllat e para të matricës Q dhe matrica 11s sR është josingulare.

Faktorizimi QR nga (3.4) nuk është faktorizim i plotë ortogonal përveç nëse 12 0R . Mirëpo, 12R mund të eliminohet duke zbatuar transformime të mëtejshme ortogonale (ose unitare) nga ana e djathtë ndaj matricës trapezoide të sipërme 11 12R R :

11 12 11 0R R Z T .

Relacioni më poshtë jep faktorizimin e plotë ortogonal të A-së:

11 0

0 0T

W Q PZ

. (3.5)

Pra, (3.5) është faktorizimi i plotë ortogonale iW -së që del nga (3.3), ku 11T T dhe

*11sW Q T PZ është faktorizim me rang të plotë iW -së (quhet faktorizimi QR me rang

të plotë).

Paraqitja në vijim mund të nxirret duke përdorur rezultatet e njohura nga [55].

Rrjedhimi 3.3.2 Në qoftë se matrica A ka inversin-{2} ( ), ( )W WA (2) , atëherë *

11 sT PZ AQ është matricë e invertueshme dhe

*

1* *( ), ( ) 11 11 ( ), (( ) )sW W s s Q PZ

A Q T PZ AQ T PZ A

(2) (2) . (3.6)

Supozojmë që faktorizimi DVS i n msW është në trajtën e përgjithshme

*W U V , (3.7)

80

ku n nsU dhe m m

sV janë matrica me shtylla ortogonale dhe n ms është matricë

diagonale me vlerat singulare të W -së në diagonalen kryesore të renditura në një varg zbritës, pra 1 2 . . . n .

DVS-ja është dekompozim i plotë ortogonal në të cilin blloku T është matricë diagonale me vlerat singulare të W -së në diagonalen kryesore, ndërsa U dhe V janë matrica ortogonale të majta. Është e njohur se DVS-ja (3.7) mund të paraqitet edhe në një trajtë më të efektshme:

*s s sW U V , (3.8)

ku

0, ,

0 0s

s r s rU U U V V V

,

1 2, , diag , , . . . ,m s n s

s s s nU V . (3.9)

Më tej, duke lënë mënjanë vlerat e vogla singulare në s , mundet të përdoret dekompoz-imi i cunguar në vlera singulare (TSVD) i W -së dhe gjenerohet një faktorizim me rang të plotë i përafrimit të tij ( )tW , i përcaktuar me:

*

( ) ,t t t tW U V t s . (3.10)

Menjëherë nga (2.1) dhe dekompozimi me rang të plotë (3.10) ne fitojmë paraqitjen e mëposhtme të inverseve të jashtme.

Lema 3.3.3 Le të jetë m nrA një matricë e dhënë dhe ,n m

sW s r një matricë e zgjedhur. Në qoftë se (3.10) është faktorizimi me rang të plotë i ( )tW atëherë vlen

*

1* *( ), ( )

,t t

t t t t t tU VA U V AU V t s

(2) . (3.11)

Algoritmi i mëposhtëm (3.1) përcakton metodën për njehsimin e inversit të jashtëm të A-së i cili bazohet në dekompozimin DVS me rang të plotë të W -së.

Algoritmi 3.1 Njehson inversin ,T SA(2)

të matricës A duke përdorur (3.11). (Algoritmi DVSATS2)

Kërko: Matricën A me përmasa m n dhe rangun r.

1: Zgjidh një matricë të çfarëdoshme por të fiksuar W (me përmasa n m ) të rangut s r .

81

2: Njehso dekompozimin DVS me rang të plotë të matricës ( )tW sipas (3.10).

3: Zgjidhe ekuacionin matricor * *

t t t t tV AU X V sipas matricës së panjohur X.

4: Njehso daljen *( ), ( )t t

tU VA U X (2) .

Ne gjithashtu do të përcaktojmë paraqitjen bazuar në kombinimin e dekompozimit QR të matricës A dhe DVS-në e matricës trekëndëshe R. Kjo paraqitje është e njohur nga [27]. Gjatë zbatimeve ku m n , shpeshherë një ide e mirë është përdorimi i DVS-së për faktorin që ka trajtë trekëndëshe që shfaqet te dekompozimi QR i A-së (shih [27]):

*

*,

R R R

R R Rr r r

A QR

Q U V

QU V

(3.12)

ku RrU përmban r-shtyllat e para të RU , 1diag , . . . ,R R R

r r , RrV përmban r-shtyllat

e para të RV .

Faktorizimi me rang të plotë (3.12) i A-së na jep idenë për të zbatuar DVS-në të faktorit në trajtë trekëndëshe, që del nga dekompozimi QR i , 0n m

sW s r :

*

W W WWP Q R Q U V . (3.13)

Më vonë, mund të përdoret trajta e cunguar (3.13) si vijon:

* *

( ) , 0t W t t tW Q U V P t s r , (3.14)

ku tU përmban t-shtyllat e para të U-së, 1diag , . . . ,R Rt t

është matricë diagonale

e përcaktuar me t-vlerat singulare 1 , . . . ,R Rt të matricës WR dhe tV përmban t-shtyllat

e para të V-së. Është e qartë se (3.14) është një faktorizim me rang të plotë i ( )tW . Prandaj,

inversi i jashtëm i induktuar i A-së me përfytyrim wQ dhe me bërthamë * *tV P

është përcaktuar nga:

* *

1* * * *( ), ( )W t

W t t t W t t tQ V PA Q U V P AQ U V P

(2) . (3.15)

Algoritmi 3.2 përcakton metodën për njehsimin e inversit të jashtëm të A-së i cili është përcaktuar në (3.15).

82

Algoritmi 3.2 Njehson inversin ,T SA(2)

të matricës A duke përdorur paraqitjen me rang të plotë (3.15). (Algoritmi QRDVSATS2) Kërko: Matricën A me përmasa m n dhe rangun r. 1: Zgjidh një matricë të çfarëdoshme por të fiksuar W (me përmasa n m ) të rangut s r .

2: Njehso dekompozimin QR të matricës W në trajtën (3.13).

3: Njehso dekompozimin TSVD të matricës WR dhe nxirr faktorizimin (3.14) të ( )tW .

4: Zgjidhe ekuacionin matricor * * * *

t t W t t tV P AQ U X V P sipas matricës së panjohur X.

5: Njehso daljen * *( ), ( )W t

W tQ V PA Q U X (2) .

3.3.3 Paraqitja e bazuar në trajtën bidiagonale

Në këtë paragraf do të përgjithësojmë dy algoritme nga [32]. Algoritmi i parë është riformuluar në algoritmin 3.3.

Algoritmi 3.3 Njehson inversin †A të matricës A me rang të plotë sipas shtyllave. (Algoritmi V (Bidiag1) nga [32])

Kërko: Matricën A me përmasa m n dhe rangun n.

1: Përdor algoritmin e Golub-Kahanit për reduktimin e matricës A në trajtën bidiagonale, d.m.th. të shkruhet A-ja në trajtën TA UBV , ku m nU është ortogonale e majtë (pra, T

nU U I ), n nV është ortogonale dhe n nB është bidiagonale e sipërme (d.m.th. elementet jozero mund të jenë vetëm në diagonalen kryesore ose edhe mbi diagonalen sipër diagonales kryesore). 2: Zgjidhe ekuacionin matricor TBY U sipas Y-it me zëvendësime prapavajtëse.

3: Njehso daljen † 1 TX VY A VB U .

Algoritmi i dytë nga [32]është riformuluar në algoritmin 3.4:

83

Algoritmi 3.4 Njehson inversin †A të matricës A me rang të plotë sipas shtyllave. (Algoritmi VI (Bidiag2) nga [32])

Kërko: Matricën A me përmasa m n dhe rangun n.

1: Gjej dekompozimin QR të A-së ( A QR ).

2: Bidiagonalizo matricën R, siç është përshkruar në algoritmin V: TA UBV , ku m nU është ortogonale e majtë (pra, T

nU U I ), n nV është ortogonale dhe n nB është bidiagonale. 3: Zgjidhe ekuacionin matricor TBY QU sipas Y-it me zëvendësime prapavajtëse.

4: Njehso daljen † 1 TX VY A VB QU .

Faktorizimi i plotë ortogonal i W -së mund të fitohet duke nisur nga trajta e saj bidiagon- ale. Përgjithësimet që kemi futur, të algoritmeve 3.2 dhe 3.3, janë të zbatueshme për matricat reale me rang të plotë sipas rreshtave. Nëse matrica A është e rendit m n dhe ka rang m n , algoritmet e futur prodhojnë një bashkësi inversesh të jashtme të A-së me rang m, që shënohen me {2}mA . Trajta bidiagonale e matricës n m

mW , e përcaktuar në [14] përdoret për të njehsuar inverset e jashtme të A-së. Siç është theksuar në [32], supozimi rank A n garanton invertueshmërinë e B-së. Kjo do të thotë që TA UBVështë një faktorizim i plotë ortogonal i A-së. Në vazhdim do të përcaktojmë metodën për të fituar një faktorizim të plotë ortogonal të n m

mW duke nisur nga trajta e saj bidiagonale.

Pohimi 3.3.4 [81] Le të jetë n mW e tillë që rankn m W . Ekzistojnë matricat ortogonale n nU dhe m mV si dhe matrica bidiagonale e sipërme

0n mB

B

,

ku blloku B është bidiagonal, të tilla që ka vend faktorizimi i mëposhtëm i W -së:

TW UBV . (4.1)

Teorema 3.3.5 Le të jetë m nmA që plotëson n m dhe n m

nW një matricë e zgjedhur por e fiksuar. Le të jetë (4.1) trajta bidiagonale e W -së. Le të jetë matrica U e copëtuar në blloqe

m RU U U ,

ku me mU ja në shënuar m-rreshtat e parë të matricës U. Atëherë

84

TmW U BV , (4.2)

është faktorizim i plotë ortogonal i A-së. Gjithashtu,

, , TmW FG F U G BV , (4.3)

është faktorizim me rang të plotë i W -së dhe

1

( ), ( )Tm

T Tm mU VA U BV AU BV

(2) . (4.4)

Algoritmi 3.5 Njehson inversin ,T SA(2)

të matricës m nA duke përdorur (4.4). (Algoritmi Bidiag1ATS2) Kërko: Matricën A me përmasa m n dhe rangun m.

1: Zgjidh një matricë të çfarëdoshme por të fiksuar W (me përmasa n m ) të rangut m.

2: Njehso faktorizimin e matricës W në trajtën (4.2).

3: Zgjidhe ekuacionin matricor T T

mBV AU X BV sipas matricës së panjohur X.

4: Njehso daljen

( ), ( )Tm

mU VA U X (2) .

Për të përgjithësuar Algoritmin 4.2, në vazhdim ne përgjithësojmë idenë e reduktimit në trajtën bidiagonale në dy faza. Në qoftë se n m

mW , përgjithësimi arsyetohet në rastin kur n m . Dekompozimi QR i n m

mW kryhet në fazën e parë:

0m

m R

RW QR Q Q

, (4.5)

ku m mmR është matricë trekëndëshe e sipërme dhe me mQ është shënuar matrica e

ndërtuar nga m-shtyllat e Q-së. Faza e dytë kërkon reduktimin e matricës relativisht të vogël mR në trajtën bidiagonale

TmR U BV . (4.6)

Të gjitha matricat e përfshira te dekompozimi (4.6) janë të rendit m m , U dhe V janë ortogonale dhe B është bidiagonale. Nga dekompozimet (4.5) dhe (4.6) rrjedhin paraq-itjet e mëposhtme të inverseve të jashtme të A-së.

85

Teorema 3.3.6 [52] Le të jetë m nmA një matricë e dhënë dhe n m

mW një matricë e zgjedhur. Në qoftë se (4.5) është dekompozim QR i W -së dhe (4.6) është trajta bidiagon-ale e mR , atëherë

1

( ), ( )Tm

T Tm mQ VA Q U BV AQ U BV

(2) , (4.7)

Algoritmi 3.6 Njehson inversin ,T SA(2)

të matricës m nA duke përdorur (4.7). (Algoritmi Bidiag2ATS2)

Kërko: Matricën A me përmasa m n dhe rangun m.

1: Zgjidh një matricë të çfarëdoshme por të fiksuar W (me përmasa n m ) të rangut m.

2: Njehso faktorizimin e matricës W në trajtën (4.7).

3: Zgjidhe ekuacionin matricor T T

mBV AQ U X BV sipas matricës së panjohur X.

4: Njehso daljen

( ), ( )Tm

mQ VA Q U X (2) .

3.3.4 Përvoja numerike

Shembulli 3.1 Le të jetë dhënë matrica

1 2 3 4 11 3 4 6 22 3 4 5 33 4 5 6 44 5 6 7 66 6 7 7 8

A

me rang 4 dhe zgjedhim matricën (e fiksuar)

13 1 0 0 39 017 3 0 0 51 021 4 0 0 63 025 6 0 0 75 019 2 0 0 57 0

W

me rang 2. Dekompozimi QR i W -së është përcaktuar me

86

15 6

0.299425 0.5329760.391555 0.0122351 43.4166 7.73898 0. 0. 130.25 0., , ,0.483686 0.103891 0. 2.47148 0. 0. 7.105 10 0.0.575817 0.6246320.437621 0.561096

Q R P I

.

DVS-ja e cunguar (ang. TSVD) e rendit të dytë e matricës R është e përcaktuar me treshen e renditur

0.315726 0.01780240.0562962 0.998414

0.999999 0.00101179 137.513 0. 0. 0., , , ,0.00101179 0.999999 0. 2.46756 0. 0.0.947179 0.0534072

0. 0.

U S V

Inversi i përgjithësuar i përcaktuar në (3.15) është i barabartë me

* *( ), ( , )

0.0453361 0.215651 0. 0. 0.136008 0.0.00990099 0.0049505 0. 0. 0.029703 0.0.00364773 0.0420358 0. 0. 0.0109432 0.

0.0317874 0.252736 0. 0. 0.0953622 0.0.0505472 0.227028 0. 0. 0.151641 0.

W tQ V PA

(2)

.

Shembulli 3.2 Në këtë shembull kemi bërë krahasimin e algoritmeve për njehsimin e inverseve të jashtme bazuar në tre faktorizime të ndryshme:

– Algoritmi QRATS2 bazuar (që bazohet) në dekompozimin QR nga [55];

– Algoritmi QRSVDATS2 bazuar në paraqitjen (3.15) dhe

– Algoritmi SVDATS2 bazuar në DVS-në nga [31].

Kodin e mëposhtëm që zbatojmë është nga paketa e programimit Mathematica :

(* n=100 or n=200 or n=300 or n=400 or n=500 or n=600 or n=700 or n=800 *) Clear[S]; S[n_] := Module[{i, j, mat = Table[a, {i, n}, {j, n}]}, For[i = 1, i <= n, i++, If[OddQ[i], mat[[i, i]] = a + 1, mat[[i, i]] = a - 1 ]; ]; mat[[1, n]] = mat[[n, 1]] = a + 1; Return[mat]; ] a=1; LQR = {}; LQRSVD = {}; LSVD = {}; TQR = {}; TQRSVD = {}; TSVD = {};

87

For[k = 1, k <= 50, k++, F = Table[RandomReal[], {i, n}, {j, 2}]; G = Table[RandomReal[], {i, 2}, {j, n}]; W = F.G; s = MatrixRank[W]; (* Algorithm QRATS2 *) {Q, R, P} = QRDecomposition[W, Pivoting -> True] // N; Q = Transpose[Q]; Q1 = Transpose[Take[Transpose[Q], s]]; R1 = Take[R, s]; XQR = Timing[Q1.Inverse[R1.Transpose[P].A.Q1].R1.Transpose[P]]; (* Algorithm QRSVDATS2 *) {U, S, V} = SingularValueDecomposition[R, s] // N; XQRSVD = Timing[Q.U.Inverse[S.Transpose[V].Transpose[P].A.Q.U].S.Transpose[V].Transpose[P]]; (* Algorithm SVDATS2 *) {U, S, V} = SingularValueDecomposition[W, s] // N; XSVD = Timing[U.Inverse[S.Transpose[V].A.U].S.Transpose[V]]; qr = Norm[XQR[[2]].A.XQR[[2]] - XQR[[2]]]; qrsvd = Norm[XQRSVD[[2]].A.XQRSVD[[2]] - XQRSVD[[2]]]; svd = Norm[XSVD[[2]].A.XSVD[[2]] - XSVD[[2]]]; AppendTo[LQR, qr]; AppendTo[LQRSVD, qrsvd]; AppendTo[LSVD, svd]; AppendTo[TQR, XQR[[1]]]; AppendTo[TQRSVD, XQRSVD[[1]]]; AppendTo[TSVD, XSVD[[1]]]; ] Shënim. Vlerat e vogla në tabelë janë shënuar në fontin bold. Në tabelën 1 dhe tabelën 2 ne kemi pasqyruar rezultatet e fituara nga zbatimi i kodit të mësipërm Mathematica mbi funksionin provë S[n] nga [75], në rastin kur 1a . Përmasat n të matricave provë janë të barabartë me 100, 200,300, 400,500,600,700,800n . Për çdo matricë S[n] kemi gjener-uar 50 matrica të rastit W me rang 2. Janë përdorur dy kritere për testimin e algoritmeve: precision dhe CPU time. Le të shënojmë me QRATS2 [ ]kX S n , QRSVDATS2 [ ]kY S n

, SVDATS2 [ ]kZ S n rezultatet që gjenerohen gjatë zbatimit të: dekompozimit QR, kombinimit të dekompozimit QR dhe DVS të matricës R dhe DVS e cunguar (ang. TSVD) për matricën e k-të të gjeneruar kW , 1, . . . ,50k . Në shtyllat 2, 3, 4 të tabelës 1 janë shënuar shumat e normave të gjeneruara:

50

1SQR n k k k

kX AX X

, 50

1SQRSVDn k k k

kY AY Y

, 50

1SSVDn k k k

kZ AZ Z

.

88

Tabela 3.1: Krahasimi i tre algoritmeve për njehsimin e inverseve të jashtme

n SQRn SQRSVDn SSVDn 100 113.043527549586 10 . 111 454904489449 10 111.799685579904 10 200 116.42517329481 10 114.418754168002 10 . 114 205730328071×10 300 101.812027062984 10 105.292579107393 10 101.039752882034 10 400 92.713609669991 10 . 105 292579107393 ×10 105.956789277588 10 500 92.995818463930 10 91.314409320131 10 . 91 163914125347 ×10 600 91.434233650545 10 103.91646747789 10 . 103 902297496071×10 700 91.258711792555 10 105.1970729464 10 . 104 57213168965 ×10 800 93.92444897696 10 . 92 728576549705 ×10 94.672371872085 10

Performancat e metodave krahasuese testohen duke përdorur të ashtuquajturin profilin e performancës, futur në [76]. Baza e metrikës së performancës përcaktohet nga saktësia dhe CPU time. Shënimet e mëposhtme janë dhënë në [76], numri i zgjidhësve është 3sn (zgjidhësit janë SQRn , SQRSVDn , SSVDn) dhe numri i provave numerike është 8pn (shfrytëzohet çdonjëra nga 50 matricat e rastësishme W dhe në mënyrë të harmonizuar gjenerohen inverset e jashtme). Me ,p si shënojmë saktësinë e arritur që fitohet duke zbatuar metodën s mbi problemin p. Sasia

,

,,min : SQR , SQRSVD , SSVD

p sp s

p s n n n

ir

i s

quhet raporti i performancës. Së fundi, performanca e zgjidhësit s është përcaktuar me funksionin e shpërndarjes kumulative

,1( ) size : , SQR , SQRSVD , SSVDs p s n n n

p

p r sn

ku dhe paraqet bashkësinë e problemeve.

Në fig. 3.1 kemi treguar profilet e performancave, në lidhje me saktësinë, për SQRn , SQRSVDn , SSVDn duke përdorur të dhënat e renditura nga tabela 3.1.

89

Fig. 3.1 Profili i performancës, në lidhje me saktësinë, nga të dhënat e tabelës 3.1

Nga fig. 3.1 shihet qartë se metodat SSVDn dhe SQRSVDn tregojnë performansa më të mira në krahasim me metodën SQRn:

SSVD SQRSVD SQR( ) ( ) ( ), 0 1n n n

.

Kjo do të thotë se Algoritmi SVDATS2 ka probabilitetin më të lartë për të qenë zgjidhës optimal në lidhje me saktësinë numerike. Gjithashtu, Algoritmi QRSVDATS2 është më e mirë se Algoritmi QRATS2.

Shënojmë me TQRk , TQRSVDk ,TSVDk CPU time-at që përfshihen me zbatimet e QRD, kombinimin e QRD dhe SVD të R-së dhe TSVD për matricën e k-të , 1, ...,50kW k të gjeneruar nga n-matricat e zgjedhura. Në shtyllat 2,3,4 të tabelës 3.2 janë shënuar shumat e CPU times

50 50 50

1 1 1STQR TQR , STQRSVD TQRSVD , STSVD XTSVDn k n k n k

k k k

.

Tabela 3.2 CPU time e tre algoritmeve për njehsimin e inverseve të jashtme

n STQRn STQRSVDn STSVDn 100 0.0312002 0.0000001 0.0000001 200 0.0468003 0.0000001 0.0000001 300 0.0624004 0.0156001 0.0312002 400 0.1248008 0.0624004 0.0312002 500 0.2028010 0.1716011 0.0936006 600 0.3432022 0.2028013 0.1936006 700 0.3588023 0.3588023 0.2340015 800 0.5304034 0.5460035 0.3120020

90

Figura 3.2 ilustron të dhënat e renditura në Tabelën 3.2 dhe tregon profilet e performancës për metodat QRATS2; QRSVDATS2; SVDATS2 lidhur me shtrirjen e kohës CPU.

Fig. 3.2 Profili i performancës, në lidhje me CPU time, nga të dhënat e tabelës 3.2

Figura 3.2 shpie në të njëjtin përfundim si figura 3.1:

STSVD STQRSVD STQR( ) ( ) ( ), 0 1n n n

.

Shembulli 3.3 Te ky shembull ne krahasojmë të njëjtat algoritme si në shembullin 3.2 për njehsimin numerik të inversit të Moore-Penrosit. Në vend të matricave të gjeneruara rastësisht ne përdorim matricat W =Transpose[A]=Transpose[S[n]], n = 10,30,50,70,90,110,130,150,170,190. Rezultatet janë renditur në tabelën 3.3. Le të shënojmë me QRATS2 [ ]nX S n , QRSVDATS2 [ ]nY S n , SVDATS2 [ ]nZ S n

rezultatet që gjenerohen, në mënyrë përkatëse, gjatë zbatimit të: dekompozimit QR, kombinimit të dekompozimit QR dhe DVS të matricës R dhe DVS e cunguar (ang. TSVD) .

Në shtyllat 2, 3, 4 të tabelës 3.3 janë shënuar normat e gjeneruara matricore:

QR n n n nX AX X , QRSVDn n n nY AY Y , SVDn n n nZ AZ Z .

91

Tabela 3.3 Saktësia e tre algoritmeve për njehsimin e inversit të Moore-Penrosit të matricës [ ]A S n .

n QRn QRSVDn SVDn 10 141.26979128026215 10 . 152 034260922393099×10 152.08463132435095 10 30 134.552256280073264 10 . 141 400571444654255×10 141.69407576911329 10 50 123.211712544885929 10 . 143 948851248647643×10 148.49949726133356 10 70 112.074587304154639 10 131.405943038980567 10 . 149 335752912707724×10 90 117.562701917834577 10 . 131 848439361484347×10 132.52063399770323 10 110 101.611344139340718 10 . 132 995396809335819×10 134.933328358230868 10 130 103.10808433007285 10 . 135 76950819729177×10 138.547396331319857 10 150 109.706992066606753 10 . 136 703513511452163×10 121.01164533157711 10 170 91.537548362472706 10 . 139 427111973617442×10 121.39830112820996 10 190 91.763047487102721 10 . 121 368421169609527×10 122.423576221191562 10

Nga tabela 3.3, kemi arritur këto përfundime:

1: Metoda QRATS2 është zgjidhës i keq.

2: Metoda QRSVDATS2 arrin saktësi numerike më të mirë . Përjashtimi i vetëm është vërejtur në rastin 70n . Shembulli 3.4 Në këtë shembull ne vazhdojmë me krahasimin e të njëjtëve algoritme numerike për njehsimin e inverseve të jashtme. Ne përsëri përdorim matricën [ ]A S n dhe matrica W me rang rank /2W n të gjeneruara rastësisht. Këto matrica mund të gjenerohet nga kodi Mathematica.

F = Table[RandomReal[], {i, n}, {j, n/2}]; G = Table[RandomReal[], {i, n/2}, {j, n}]; W = F.G;

Rezultatet janë të renditura në tabelën 3.4.Përmasat n të matricave provë janë të barabartë me 10,30,50,70,90,110,130,150,170,190n . Le të shënojmë me QRATS2 [ ]nX S n ,

QRSVDATS2 [ ]nY S n , SVDATS2 [ ]nZ S n rezultatet që gjenerohen, në mënyrë

përkatëse, gjatë zbatimit të: dekompozimit QR, kombinimit të dekompozimit QR dhe DVS të matricës R dhe DVS e cunguar (ang. TSVD) .

Në shtyllat 2, 3, 4 të tabelës 3.4 janë shënuar vlerat e normave matricore: QR n n n nX AX X , QRSVDn n n nY AY Y dhe SVDn n n nZ AZ Z .

92

Tabela 3.4 Saktësia e tre algoritmeve për njehsimin e inverseve të jashtme të matricës [ ]A S n .

n QRn QRSVDn SVDn 100 116.482337614683532 10 122.336597321351282 10 . 122 25369380715732×10 200 101.009070836847863 10 . 124 835373145662078 10 129.532052089466464 10 300 91.431377648899222 10 . 117 52993615694554×10 102.239950472891654 10 400 98.858839542548144 10 . 102 172761850286787 ×10 102.525893041322895 10 500 96.042211807189602 10 103.297464621913326 10 3.281406609564898 x 10-10 600 72.880744866586528 10 81.292875855137494 10 . 81 125846642264049×10 700 62.289567222443336 10 . 81 342219034202508×10 81.797521293862002 10 800 84.740735235660559 10 . 91 537611159244433×10 91.771785004312878 10 900 81.446198521363777 10 . 105 4865896018928×10 106.560027712609556 10 1000 81.433314506856117 10 101.10417479414053 10 . 117 640356337951447 ×10 2000 71.156190659420065 10 . 109 368815439069883×10 91.112831852598413 10 3000 73.630671988979119 10 . 107 875340741156123×10 91.995284420020749 10 4000 51.541881512652355 10 83.562343444447241 10 . 83 05838545101564×10 5000 64.028422642321919 10 83.980279026633443 10 . 81 396301973029279×10

Duke krahasuar rezultatet nga tabela 3.4, kemi arritur këto përfundime:

1: Metoda QRATS2 është përsëri zgjidhës më i keq në lidhje me saktësinë numerike.

2: Metodat QRSVDATS2 dhe SVDATS2 arrijnë saktësi shumë më të mirë numerike.

Shembulli 3.5 Së fundi, krahasojmë të njëjtat algoritme për njehsimin e inverseve të jashtme të matricës së Lauchlit. Matrica e Lauchlit është matrica me përmasa ( 1)n n e përcaktuar me (shih [77])

1 1 1

,L n

.

Në këtë shembull, matrica A është e barabartë me ,0.2A L n . Ne përsëri përdorim

matrica W me rang rank /2W n të gjeneruara rastësisht. Rezultatet i kemi renditur në tabelën 3.5.

Tabela 3.5 Saktësia e tre algoritmeve për njehsimin e inverseve të jashtme të matricës së Lauchlit.

n QRn QRSVDn SVDn 100 111.028604544233837×10 111.425460861122351 10 111.142795986871279 10 200 127.100072558578722×10 111.824218048288609 10 111.689039220659226 10 300 103.931602647539584 10 . 101 522893445477722×10 103.067952338830401 10 400 115.172628286663662 10 . 113 515510616280827 ×10 114.156475258052759 10

93

500 104.645784213245661 10 . 101 315563869323691×10 103.028534791228661 10 600 101.689506089025813 10 . 101 018132753134374×10 101.172500764749819 10 700 91.134125813525221 10 105.572822660688449 10 . 102 571534358928769 ×10 800 105.647648157231927 10 . 101 945489973975069×10 102.76608506543413 10 900 104.477591961216335 10 104.434485330379887 10 . 102 129986321753629 ×10 1000 105.175937950315212 10 . 104 066683452807805×10 105.50032373267487 10 2000 91.019238815039415 10 107.941173235725879 10 . 107 09726704984236×10 3000 81.803956394814176 10 95.854369183636487 10 . 93 522502016638002×10 4000 94.642390180619101 10 94.484612755803374 10 . 93 34756148108135×10 5000 62.528918230390071 10 64.265161501638872 10 . 76 238001463545644×10

Duke krahasuar rezultatet nga tabela 3.5, kemi arritur këto përfundime:

1: Metoda QRATS2 arrin saktësi minimale dy herë, në dy rastet e para.

2: Metodat QRSVDATS2 dhe SVDATS2 arrijnë saktësi numerike shumë më të mirë. Dy prej tyre arrijnë saktësi minimale gjashtë herë.

3: QRATS2 është zgjidhës i mirë për vlerat e vogla të n-së, QRSVDATS2 për vlera të mesme dhe SVDATS2 për përmasa më të mëdha.

Shembulli 3.6 Matrica ,0.000002A L n është e keq-kushtëzuar dhe shkakton probl-eme serioze numerike në njehsimin e inverseve të kërkuara të jashtme. Rezultatet janë fituar duke përdorur matrica W me rang rank /2W n të gjeneruara rastësisht dhe janë renditur në tabelën 6.

Tabela 3.6 Saktësia e tre algoritmeve për njehsimin e inverseve të jashtme të matricës së keq-kushtëzuar të Lauchlit

n QRn QRSVDn SVDn 100 0.395788193577041 0.4493449896897091 0.1430739500991127 200 0.1101693065477999 0.09052408752219679 0.1517284556203095 300 0.5757304019521979 0.9945688854731312 0.7355659072586593 400 0.5008982407371158 0.2071745759326693 0.473611267749282 500 0.8474063213377292 0.6275335481487543 0.3640134520309316 600 0.3563584901595677 0.3442714329338474 0.1503166152086566 700 6.652359033095027 2.89843803437463 2.299765261435784 800 19.43181229016723 32.86722282380996 37.35266633821223 900 5.962766800197418 3.555777641729863 8.543932380583575 1000 14.55693372724122 3.973128971933598 5.542061014703714 2000 22.84253966856699 13.65738063338715 41.93288432714076 3000 5.6061607170558 62.15805382380937 21.85354632399693 4000 210.4520364390122 613.7966082641098 721.2117782329316 5000 50.09409738330062 29.81137054768079 31.69036850919142

Rezultatet nga tabela 3.6, tregojnë se QRSVDATS2 është zgjidhës më i mirë gjashtë herë, SVDATS2 pesë herë dhe QRATS2 arrin vlera më të mira tri herë.

94

Përfundime të përgjithshme

Shtruam konceptin dhe historikun e shkurtër të vlerave singulare[8] dhe zbatimet e tyre më relevante në fushën e metodave numerike të algjebrës lineare dhe më gjerë[2]. Më tej theksuam idenë e përgjithësimit të vlerave singulare si nevojë e zgjidhjes së problemeve të vlerave vetjake të përgjithësuara, problemit të përafrimit me anë të katrorëve më të vegjël të përgjithësuar, analiza diskriminante te problemi i optimizimit e të tjera. U shtrua problemi i gjetjes së algoritmeve më të përshtatshëm për njehsimin e dekompozimit të përgjithësuar në vlera singulare[6]. U paraqit Algoritmi Direkt i Pejxhit si më optimal[9].

Nga shumë zbatime të Dekompozimit në Vlera Singulare (DVS), gjetja e kushteve dhe algoritmeve më efikase për njehsimin e inversit të përgjithësuar të një matrice të çfarëdo-shme drejtkëndëshe[16,28,48], është trajtuar më gjerë dhe me cilësi. Më saktësisht, është trajtuar paraqitja DVS me rang të plotë e inversit të jashtëm me përfytyrim dhe bërthamë të paracaktuar[50,52,54]. Algoritmet përkatëse numerike për njehsimin e ( ), ( )W WA

(2) janë nxjerrë nga përdorimi i DVS-së së një matrice të zgjedhur të përshtatshme W . Një paraqitje analoge e inversit të jashtëm korrespondon me përdorimin e DVS-së së hollë të

-sëW nga e cila rrjedh paraqitja DVS me rang të plotë e inversit përkatës të jashtëm të A-së. Ky lloj inversi i përgjithësuar është quajtur inversi i hollë i jashtëm i A-së me përfytyrim dhe bërthamë të paracaktuar[71]. Më tej, kemi shqyrtuar kushtet e ekzistencës, paraqitjeve dhe algoritmeve për njehsimin e inverseve-{2,4} dhe {2,3} me përfytyrim dhe bërthamë të paracaktuar[22]. Kemi nxjerrë gjithashtu paraqitje korresponduese që dalin nga dekompozimet matricore DVS, QR dhe URV. Kemi përcaktuar një algoritëm të përgjithshëm për njehsimin e të dy inverseve-{2,4} dhe {2,3}[26].

Për ta plotësuar hulumtimin tonë lidhur me inverset e përgjithësuara, kemi bërë krahasime të ndryshme të inverseve të përgjithësuara që dalin nga faktorizime të ndryshme matricore[31]. Fillimisht kemi nxjerrë dy algoritme numerike për njehsimin e inverseve të jashtme. Këto algoritme janë bazuar në faktorizimin DVS të një matrice W të zgjedhur në mënyrë të përshtatshme, si dhe në zbatimin e njëpasnjëshëm të QR dhe DVS[55]. Gjithashtu kemi futur paraqitje të bazuar në forma bidiagonale, të zbatueshme për matricat reale me rang të plotë sipas rreshtave[77].

Kemi bërë një numër të konsiderueshëm testimesh numerike me matrica të ndryshme (në kapitullin 3). Nga eksperimentet e realizuara numerike, përfundojmë në vijim:

1) Paraqitja e inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar nëpërmjet DVS-së është më efikas në rastin kur matricat W kanë rang të ulët.

2) Kombinimi i dekompozimeve QR dhe DVS i inverseve të jashtme me përfytyrim dhe bërthamë të paracaktuar është më efikas në rastin kur TW A .

3) Kombinimi i dekompozimeve QR dhe DVS është një përmirësim i rëndësishëm i metodës së dekompozimit QR nga [20].

Po ashtu, në këtë punim kemi treguar se faktorizimet që bazohen në trajtën bidiagonale janë të dobishme në paraqitjen e inverseve të jashtme të matricave me rang të plotë sipas shtyllave.

95

Bibliografia

[1] Emmet J. Ientilucci Using the Singular Value Decomposition, Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, May 2003. [2] Alkiviadis G. Akritas and Gennadi I. Malaschonok Applications of Singular-Value Decomposition (SVD), Summer 2002. [3] A. Anderson, Z. Bai, C. Bischof, J. Demmel, J. Dongarra, J. Du Croz, A.Greenbaum, S. Hammarling, A. McKenney, S. Ostrouchov and D. Sorensen, Lapack User`s Guide, second edition, SIAM , Philadelphia, 1999. [4] Z. Drmac, K. Veselic: “New fast and accurate Jacobi SVD algorithm:I., LAPACK Working Note 169”, August 2005. [5] C. F.Van Loan, A general matrix eigenvalue algorithm, this Journal, 12 (1975), pp.819-834. [6] C. F. Van Loan, Generalized singular values with algorithms and applications, Ph.D. thesis. University of Michigan, Ann Arbor, Michigan, 1973. [7] C. F. Van Loan, Computing the CS and the generalized singular value decomposition, Numer. Math. 46: 479-491 (1985). [8] G. W. S t ew a r t , On the early history of the SVD , IMA Tech. Rep. series 952, Univ. of Minnesota , 1992. [9] C. C. Paige, Computing the generalized singular value decomposition, SIAM J. Sci. Stat. Comput. 7: 1126-1146 (1986). [10] G. W. S t ew a r t , Computing the CS-deomposit ion of a parti tioned orthonormal matrix, Numer. Math. 40: 297-306 (1982). [11] V. Hari and K. Veselic On Jacobi methods for singular value decomposition, SIAM J. Sci. Stat. Comput. 6: 741-754 (1987). [12 ] R. De Moor, H.Zha, A tree of generalizations of the ordinary singular value decomposition, ESAT-SISTA report, 1989, Lueven, Belgium. [13] Z. Bai, H. Zha, A new preprocessing algorithm for the computation of the generalized singular value decomposition, manuscript, 1992. [14] Z. Bai, The CSD, GSVD, their Applications and Computations, 1992. [15] Y. Chen, The generalized Bott–Duffin inverse and its application, Linear Algebra Appl. 134(1990), 71–91. [16] A. Ben-Israel, T.N.E. Greville, Generalized inverses: Theory and Applications, Second Ed., Springer, 2003. [17] A. Deaton, (1992). Understanding Consumption, Oxford University Press. ISBN 0-19- 828824-7. [18] P. Courrieu, Fast solving of weighted pairing least-squares systems, Journal of Computatio-nal and Applied Mathematics 231 (2009), 39–48. [19] S. Ehrenberg, (2008). Modern Labor Economics (10th international ed.). London: Addison- Wesley. ISBN 9780321538963. [20] P.C. Hansen, J.G. Nagy, D.P. O’Leary, Deblurring images: matrices, spectra, and filtering, SIAM, Philadelphia, 2006. [21] A.E. Hoerl, R.W. Kennard, Ridge Regression: Biased Estimation for Orthogonal Problems, Technometrics 12 (1970), 55–67. [22] Bilall Shaini, “Computing {2,4} and {2,3}-inverses using SVD and SVD like factorizations”, FILOMAT (Impact factor 0.714)-Faculty of Sciences and Mathematics, University of Nis. Maths Subject Classification, primary 15A09. Received March 15, 2014. Accepted for publish June 9, 2014. [23] Krugman, Paul R.; Obstfeld, M.; Melitz, Marc J. (2012). International Economics: Theory and Policy (9th global ed.), Harlow: Pearson. ISBN 9780273754091.

96

[24] Bilall Shaini, “Some applications of SVD in economics” , 5th INTERNATIONAL CONFERENCE “Information Systems and Technology Innovation: projecting trends in New Economy”(whith proceeding)-Tirana. Accepted: May 30th, 2014. [25] D.W. Marquardt, Generalized Inverses, Ridge Regression, and Nonlinear Estimation, Technometrics 12 (1970), 591–612. [26] Bilall I. Shaini, Computing outer inverses using complete orthogonal factorizations, Journal of Mathematics Research (JMR), published by the Canadian Center of Science and Education. Accepted June 6, 2014. [27] B. de Moor, Generalizations of the singular value and QR decompositions, Signal Processing 25 (1991), 135–146 [28] C.R. Rao, S.K. Mitra, Generalized Inverse of Matrices and its Applications, John Wiley & Sons, Inc., New York, London, Sydney, Toronto, 1971. [29] S. Sakallioglu, F. Akdeniz, Generalized inverse estimator and comparison with least squares estimator, Tr. J. of Mathematics 22 (1998), 77–84. [30] K. Schmidt, An Application of the Moore-Penrose Inverse of a Matrix to Linear Regression, Fourth International Derive TI-89/92 Conference Liverpool John Moores University, July 12–15, 2000. [31] B. I. Shaini, F. Hoxha, Computing generalized inverses using matrix factorizations, Facta universitatis, Ser. Math. Inform. 28(3) (2013), 335–353. [32] A. Smoktunowicz, I. Wrobel, Numerical aspects of computing the Moore-Penrose inverse of full column rank matrices, BIT Numer. Math. 52 (2012), 503–524 [33] C.F. Van Loan, Generalizing the singular value decomposition, SIAM J. Numer. Anal. 13 (1976), 76–83. [34] D.K. Wang, Some topics on weighted MoorePenrose inverse, weighted least squares and weighted regularized Tikhonov problems, Appl. Math. Comput. 157(2004), 243-267. [35] G. Wang, Y. Wei, S. Qiao, Generalized Inverses: Theory and Computations, Science Press, Beijing/New York, 2004. [36] D. Watkins, Fundamentals of Matrix Computations, Wiley-Interscience New York 2002. [37] A. Bjerhammar, A generalized matrix algebra, Trans. Roy. Inst. Tech. Stockholm 1958 (1958), no. 124, 32 pp. [38] N. S. Urquhart, Computation of generalized inverse matrices which satisfy specified conditions, SIAM Rev. 10 (1968), 216–218. [39] G. W. Stewart, Projectors and generalized inverses, Technical Report TNN-97, University of Texas at Austin Computation Center, October 1969. [40] I. Erdelyi, On the matrix equation Ax = λBx, J. Math.Anal.Appl.17(1967),119-132. [41] R. E. Cline, Inverses of rank invariant powers of a matrix, SIAM J. Numer. Anal. 5 (1968), 182–197. [42] S.L. Campbell,C.D.Meyer,Jr., Generalized Inverses of Linear Transformations, Pitman (Advanced Publishing Program), Boston, MA, 1979, (reprinted by Dover, 1991; SIAM, Philadelphia, 2008). [43] Y. Chen, The generalized Bott–Duffin inverse and its application, Linear Algebra Appl. 134 (1990), 71–91. [44] C.R. Goodall, Computation Using the QR Decomposition, C.R. Rao, ed., Handbook of Statistics, Vol. 9, 1993, 467–508. [45] A.J. Getson, F.C. Hsuan, {2}-Inverses and their Statistical Applications, Lecture Notes in Statistics 47, Springer, Berlin, 1988. [46] F. Husen, P. Langenberg, A. Getson, The {2}-inverse with applications to satistics, Linear Algebra Appl. 70 (1985), 241-248. [47] S. B. Malik, N. Thome, On a new generalized inverse for matrices of an arbitrary index, Appl. Math. Comput. 226 (2014), 575–580. [48] M.Z. Nashed, Generalized Inverse and Applications, Academic Press, New York, 1976.

97

[49] M. Z. Nashed, X. Chen, Convergence of Newton-like methods for singular operator equations using outer inverses, Numer. Math. 66 (1993), 235-257. [50] V.N. Katsikis, D. Pappas, A. Petralias, An improved method for the computation of the Moore-Penrose inverse matrix, Appl. Math. Comput. 217 (2011), 9828–9834. [51] B. deMoor, Generalizations of the singular value and QR decompositions, Signal Processing 25 (1991), 135–146. [52] X. Sheng, G. Chen, Full-rank representation of generalized inverse ,T SA(2) and its applications, Comput. Math. Appl. 54 (2007), 1422–1430. [53] I.P. Stanimirovic, M.B. Tasic, Computation of generalized inverses by using the LDL* decomposition, Appl. Math. Lett. 25 (2012), 526–531. [54] P.S. Stanimirovic, D. Pappas, V.N. Katsikis, I.P. Stanimirovic, Computation of (2)

,T SA -inverses using QDR factorization, Linear Algebra Appl. 437 (2012), 1317–1331. [55] P.S. Stanimirovic, D.Pappas, V.N. Katsikis, I.P. Stanimirovic, Full-rank representations of outer inverses based on the QR decomposition, Appl. Math. Comput. 218 (2012), 10321–10333. [56] D.K.Wang, Some topics on weighted MoorePenrose inverse, weighted least squares and weighted regularized Tikhonov problems, Appl. Math. Comput. 157(2004), 243-267. [57] G. Wang, Z. Xu, Solving a kind of restricted matrix equations and Cramer rule, Appl.Math. Comput. 162 (2005), 329–338. [58] Y. Wei, Index splitting for the Drazin inverse and the singular linear system, Appl. Math. Comput. 95 (1998), 115–124. [59] Y.Wei,H.Wu, The representation and approximation for the generalized inverse ,T SA(2) , Appl. Math. Comput. 135 (2003), 263–276. [60] H. Xu, An SVD-like matrix decomposition and its applications, Linear Algebra Appl. 368 (2003), 1–24. [61] B. Zheng, R.B. Bapat, Generalized inverse ,T SA(2)

and a rank equation, Appl. Math. Comput.

155(2) (2004), 407-415. [62] Y.L. Chen, X. Chen, Representation and approximation of the outer inverse- ,T SA(2) of a mat- rix A, Linear Algebra Appl. 308 (2000), 85–107. [63] D.S. Cvetkovic-Ilic, P.S. Stanimirovic, M. Miladinovic, Comments on some recent results concerning {2,3} and {2,4}-generalized inverses, Appl. Math. Comput. 218 (2011), 1512–1514. [64] D.S. Djordjevic, P.S. Stanimirovic, General representations of pseudoinverses, Mat. Vesnik 51 (1999), 69-76. [65] C. Guang Cao, X. Zhang, The generalized inverse- ,T SA(2) and its applications, J. Appl. Math. Comput. 11 (2003), 155 –164. [66] C. Meyer, Matrix Analysis and Applied Linear Algebra, SIAM, Philadelphia, 2000. [67] R. Piziak , P. L. Odell, Full Rank Factorization of Matrices, Mathematics Magazine, Vol. 72, No. 3 (Jun., 1999), pp. 193-201 [68] P.S. Stanimirovic, Block representations of {2}, {1,2} inverses and the Drazin inverse, Indian J. Pure Appl. Math. 29 (1998), 1159–1176. [69] P.S.Stanimirovic, D.S.Djordjevic, Full-rank and determinantal representation of the Drazin inverse, Linear Algebra Appl. 311 (2000),31–51. [70] P.S. Stanimirovic, D.S. Cvetkovic-Ilic, Successive matrix squaring algorithm for computing outer inverses, Appl. Math. Comput. 203(2008), 19–29. [71] P.S. Stanimirovic, D. Cvetkovic-Ilic, S. Miljkovic, M. Miladinovic, Full-rank representat-ions of {2,4}, {2,3}-inverses and successive matrix squaring algorithm, Appl. Math. Comput. 217 (2011), 9358–9367.

98

[72] H. Yang, D. Liu, The representations of the generalized inverses ,T SA(2,3) and its applications, J. Comput. Appl. Math. 224 (2009), 204–209. [73] H. Yang, D. Liu, J. Xu, Matrix left symmetry factor and its applications in generalized inverses- ,T SA(2,4) , Appl. Math. Comput. 197 (2008),836–843. [74] B. Zheng, L. Ye, D.S. Cvetkovic-Ilic, Generalized inverses of a normal matrix, Appl. Math. Comput. 206 (2008), 788–795. [75] G. Zielke, Report on test matrices for generalized inverses, Computing, 36 (1986), 105–162. [76] E.D. Dolan, J.J. Morè, Benchmarking optimization software with performance profiles, Math. Program. 91 (2002), 201–213. [77] N.J. Higham The Matrix Computation Toolbox, http://www.ma.man. ac.uk/ higham/Mctool box [78] A.J. Getson, F.C. Hsuan, {2}-Inverses and their Statistical Applications, Lecture Notes in Statistics 47, Springer, Berlin, 1988. [79] A.S. Issa, O.M. Bdair, Some Bounds of the Zeros of Polynomials Based on the QR- Decomposition and the LU-Decomposition of the Frobenius Companion Matrix, Journal of Mathematics Research 6 (2014), 33–41. [80] S.B. Malik, N. Thome, On a new generalized inverse for matrices of an arbitrary index, Appl. Math. Comput. 226 (2014), 575–580. [81] R. Ralha, One-sided reduction to bidiagonal form,Linear Algebra Appl.358(2003),219-238. [82] B. Zheng, R. B. Bapat, Generalized inverse (2)

,T SA and a rank equation, Appl. Math. Comput. 155(2) (2004), 407-415.

99

Shtojca

Kodet në Mathematica dhe në Matlab

Referencat më poshtë merren punimet:

[1]* Bilall I. Shaini, Fatmir Hoxha, “Computing generalized inverses using matrix factorizations”, Facta Universitatis , Ser.Math.Inform. Vol. 28, No 3 (2013), 335–353. Received August 20, 2013.; Accepted November 12, 2013. Mathematics Subject Classification. Primary 15A09; Secondary 15A23. [2]* Bilall Shaini, “Computing {2,4} and {2,3}-inverses using SVD and SVD like factorizations”, FILOMAT-Faculty of Sciences and Mathematics, University of Nis. Accepted March, 2014. Mathematics Subject Classification. Primary 15A09. Received March 15, 2014. Accepted for publish June 9, 2014. [3]* Bilall I. Shaini, Computing outer inverses using complete orthogonal factorizations, Journal of Mathematics Research (JMR), published by the Canadian Center of Science and Education. Accepted June 6, 2014.

Programet

Procedurat e mëposhtme detektojnë matricën e tipit të veçantë. SquareMatrixQ[a ]:=Length[a]==Length[a[[1]]] /; MatrixQ[a] OrtogonalMatrixQ[a ]:= a.Transpose[a]==IdentityMatrix[Length[a]] && Transpose[a].a==IdentityMatrix[Length[a]] /; SquareMatrixQ[a] HermitianMatrixQ[a ]:= a== Conjugate[Transpose[a]] /; SquareMatrixQ[a] (* Indeksi i matricës katrore A është numri i parë jozero k që plotëson rang(Ak+1)= rang(Ak) *) Index[a]:= Block[{b=a,c=IdentityMatrix[Length[a]],d=a,k=0}, While[Rank[c]=!=Rank[d], d=d.b; c=c.b; k+=1 ]; k ] /; SquareMatrixQ[a] SVD in Mathematica SingularValueDecomposition[푚] gives the singular value decomposition for a numerical matrix m as a list of matrices {u,w,v}, where w is a diagonal matrix and m can be written as u.w.Conjugate[Transpose[v]]. SingularValueDecomposition[푚,푘] gives the singular value decomposition associated with the k largest singular values of m. QR Decomposition in Mathematica QRDecomposition[m,Pivoting->True] yields a list {q,r,p} where p is a permutation matrix such that m.p is equal to ConjugateTranspose[q].r.

100

Njehsimi i inverseve të jashtme sipas Lemës 3.1 nga [1]*: OuterSVD[A_,W_]:= Module[{s=MatrixRank[W],U,S,V}, {U,S,V}=SingularValueDecomposition[W,s]//N; X:=U.Inverse[S.Transpose[V].A.U].S.Transpose[V]; Return[X]; ]

Njehsimi i inverseve të jashtme me anë të dekompozimit QR: OuterQR[A_,W_]:= Module[{s=MatrixRank[W],U,S,V}, {Q,R,P}=QRDecomposition[W,Pivoting->True]//N; X:=Simplify[Q.Inverse[R.Transpose[P].A.Q].R.Transpose[P]]; Return[X]; ]

(* Merr sr rreshtat e para dhe sc shtyllat e para nga A*) TakePartRC[A_,sr_,sc_]:= Module[{As=Take[A,sr]}, As=Transpose[Take[Transpose[As],sc]]; Return[As]; ]

(* Merr s shtyllat e para nga A*)

TakePartC[A_,s_]:= Module[{As=Transpose[Take[Transpose[A],s]]}, Return[As]; ] Në [3]* kemi bërë krahasimin e algoritmeve për njehsimin e inverseve të jashtme të bazuara në tre faktorizime të ndryshme: - Algoritmi QRATS2 i bazuar në QR nga [55]; - Algoritmi QRSVDATS2 i bazuar në paraqitjen (3.16) and - Algoritmi SVDATS2 i bazuar në SVD nga[52]. Zbatohen kodet e mwposhtme nga paketa e programimit Mathematica : (* n=100 or n=200 or n=300 or n=400 or n=500 or n=600 or n=700 or n=800 *) Clear[S]; S[n_] := Module[{i, j, mat = Table[a, {i, n}, {j, n}]}, For[i = 1, i <= n, i++, If[OddQ[i], mat[[i, i]] = a + 1, mat[[i, i]] = a - 1 ]; ]; mat[[1, n]] = mat[[n, 1]] = a + 1; Return[mat]; ] a=1; LQR = {}; LQRSVD = {}; LSVD = {}; TQR = {}; TQRSVD = {}; TSVD = {}; For[k = 1, k <= 50, k++,

101

F = Table[RandomReal[], {i, n}, {j, 2}]; G = Table[RandomReal[], {i, 2}, {j, n}]; W = F.G; s = MatrixRank[W]; (* Algorithm QRATS2 *) {Q, R, P} = QRDecomposition[W, Pivoting -> True] // N; Q = Transpose[Q]; Q1 = Transpose[Take[Transpose[Q], s]]; R1 = Take[R, s]; XQR = Timing[Q1.Inverse[R1.Transpose[P].A.Q1].R1.Transpose[P]]; (* Algorithm QRSVDATS2 *) {U, S, V} = SingularValueDecomposition[R, s] // N; XQRSVD = Timing[Q.U.Inverse[S.Transpose[V].Transpose[P].A.Q.U].S.Transpose[V].Transpos e[P]]; (* Algorithm SVDATS2 *) {U, S, V} = SingularValueDecomposition[W, s] // N; XSVD = Timing[U.Inverse[S.Transpose[V].A.U].S.Transpose[V]]; qr = Norm[XQR[[2]].A.XQR[[2]] - XQR[[2]]]; qrsvd = Norm[XQRSVD[[2]].A.XQRSVD[[2]] - XQRSVD[[2]]]; svd = Norm[XSVD[[2]].A.XSVD[[2]] - XSVD[[2]]]; AppendTo[LQR, qr]; AppendTo[LQRSVD, qrsvd]; AppendTo[LSVD, svd]; AppendTo[TQR, XQR[[1]]]; AppendTo[TQRSVD, XQRSVD[[1]]]; AppendTo[TSVD, XSVD[[1]]]; ] Implementimi i DVS-së në Matlab

Matlab-i ka urdhërin [U,S,V] = svd(X) Shënim: Urdhëri kthen V e jo VT , prandaj mban që X = U*S*V’

Faktorizime të ndryshme QR në Matlab

Merret që 퐴 ∈ 푅 × , me rang r.

Urdhëri në Matlab [Q,R]=qr(A)

kthen faktorizimin e ‘plotë’ QR, me matricat katrore ortogonale 푄 ∈ 푅 × dhe 푅 ∈ 푅 × [Q,R]=qr(A); % compute full QR factorization Kur A-ja është e hollë (ose katrore), d.m.th. 푛 ≥ 푘, një variacion në këtë thirrje, [Q,R]=qr(A,0); % compute economy QR factorization Gjeneron faktorizimin QR me 푄 ∈ 푅 × , ku QTQ = Ik, dhe 푅 ∈ 푅 × trekëndëshe e sipërme, fundi i së cilës është matrica bllok zero (k-r)×k. Një mënyrë e faktorizimit QR është: r = rank(A); [Q,R]=qr(A); % compute full QR factorization Q = Q(:,1:r); R = R(1:r,:); Programi kthen 푄 ∈ 푅 × , me QTQ = Ir, dhe 푅 ∈ 푅 × dhe rang të plotë.

102

Matlab-i mund të përkëmbejë shtyllat e A-së në mënyrë që të renditen elementet diagonale të matricës R:

[Q,R,E]=qr(A); % compute full QR factorization such that A*E = Q*R

// Singular Value Decomposition routine // // Data file format: // First line is a comment line (a throwaway) // Second line has number of rows and number of columns // Successive lines have elements in row-major order // // // // Put whatever path you need for the NR3 source files #include "../code/nr3.h" #include "../code/svd.h" int main(int argc, char **argv) { const char *inname = "matrx.dat"; int numRows, numCols; string inLine; if (argc > 1) { inname = argv[1]; } ifstream inFile(inname); if (!inFile) { cout << "Can't open file " << inname << " for reading." << endl; exit(EXIT_FAILURE); } else { cout << "Opened file " << inname << " for reading." << endl; } // Read and discard first line getline(inFile, inLine); // Second line has number of rows and columns getline(inFile, inLine); // Will discard rest of line stringstream ss(inLine); ss >> numRows >> numCols; if (!inFile || !ss) { cout << "Invalid input: Can't read number of rows and columns." << endl; exit(EXIT_FAILURE); } cout << "Reading matrix with " << numRows

<< " rows and " << numCols << " columns."

103

<< endl; MatDoub a(numRows,numCols); // Read the matrix elements for (int i = 0; i < a.nrows(); i++) { for (int j = 0; j < a.ncols(); j++) { inFile >> a[i][j]; if (!inFile) { cout << "Problem reading a[" << i << "][" << j << "]" << endl; exit(EXIT_FAILURE); } } } // // Instantiation performs the svd decomposition SVD svd(a); // All we are really interested in are the svd values, // i.e. the vector that represents the diagonal of // the matrix "w," but I'll print out all of the // decomposition matrix elements for check purposes. // cout << "*********After decomposition***********" << endl; cout << "Matrix svd.u" << endl; cout << fixed << setprecision(6); for (int i=0; i < svd.u.nrows(); i++) { for (int j = 0; j < svd.u.ncols(); j++) { cout << setw(12) << svd.u[i][j]; } cout << endl; } // These are what we are really interested in: cout << "Diagonal of matrix w (svd.w)" << endl; for (int ii = 0; ii < svd.w.size(); ii++) { cout << setw(12) << svd.w[ii]; } cout << endl << "Matrix v-transpose (svd.v)" << endl; for (int i = 0; i < svd.v.nrows(); i++) { for (int j = 0; j < svd.v.ncols(); j++) { cout << setw(12) << svd.v[j][i]; } cout << endl; } cout << endl << "Check the product against the original matrix:" << endl; cout << "Original matrix:" << endl; for (int i = 0; i < a.nrows(); i++) { for (int j = 0; j < a.ncols(); j++) { cout << setw(12) << a[i][j];

104

} cout << endl; } // // A short-hand calculation, depending on our intimate // knowledge of the nature of the matrices and our // familiarity with matrix operations, namely the fact // that w is diagonal. // cout << "Product u*w*(v-transpose):" << endl; for (int i = 0; i < numRows; i++) { for (int j = 0; j < numCols; j++) { a[i][j] = 0.0; for (int k = 0; k < numCols; k++) { a[i][j] += svd.u[i][k] * svd.w[k] * svd.v[j][k]; } } } for (int i = 0; i < a.nrows(); i++) { for (int j = 0;j < numCols; j++) { cout << setw(12) << a[i][j]; } cout << endl; } inFile.close(); return 0;

}

Matrix algebra and QR Decomposition in C++ #include<iostream> #include<vector> #include<ostream> #include <algorithm> #include<iomanip> #include<math.h> using namespace std; class Vect_op; typedef vector<double>Vect; typedef vector<Vect>Matr; typedef vector<Vect_op>Matr_op;//a matrix which contain vectors Vect_op Matr EnterMatrix(); void PrintMatrix(Matr a); int fact(int a); Matr InvertMatrix(Matr a); class Vect_op// a class for overloading the operators so that I can add multiply etc.. these vectors { public: Vect_op() {

105

Vect a; for(int i = 0; i < 3; i++) a.push_back(0); itsVect = a; } Vect_op(Vect& a){ itsVect = a;}//copyctor ~Vect_op(){}; void setVect(const Vect& a){ itsVect = a;} Vect getVect(){ return itsVect;} Vect_op operator+(const Vect_op& a) { Vect b = a.itsVect; Vect c = a.itsVect; for(int i = 0; i < b.size(); i++) c[i] = itsVect[i] + b[i]; Vect_op z(c); return z; } Vect_op operator-(const Vect_op& a) { Vect b = a.itsVect; Vect c = a.itsVect; for(int i = 0; i < b.size(); i++) c[i] = itsVect[i] - b[i]; Vect_op z(c); return z; } double operator*(const Vect_op& a) { Vect b = a.itsVect; double res = 0; for(int i = 0; i < b.size(); i++) res += (itsVect[i] * b[i]); return res; } Vect_op operator*(const double& x) { Vect b = itsVect; for(int i = 0; i < b.size(); i++) b[i] *= x; Vect_op w(b); return w; } double operator[](int x) { Vect b = itsVect; return b[x]; } double sq_norm() { double res = 0; for(int i = 0; i < itsVect.size(); i++) res += (itsVect[i] * itsVect[i]); return res; } friend ostream& operator<<( ostream& xout, const Vect_op& v) { Vect a = v.itsVect; for(int i = 0; i < a.size(); i++) {

106

xout << " element [" << i << "] = " << a[i] << endl; } return xout; } Matr_op setMatr_op( Matr a)//a function for turning an ordinary matrix into a matrix filled with vectors Vect_op { Matr_op b; for(int i = 0; i < a.size(); i++) { Vect_op v(a[i]); b.push_back(v); } return b; } Matr getMatr( Matr_op a) { Matr b; Vect v; for(int i = 0; i < a.size(); i++) { v = a[i].getVect(); b.push_back(v); } return b; } private: Vect itsVect; }; int main() { Vect a1; Vect b; Vect c; double x; a1.push_back(3); a1.push_back(7); a1.push_back(-2); b.push_back(5); b.push_back(-4); b.push_back(10); Vect_op v(a1); Vect_op w(b); x = v * w; cout << x << endl; Vect_op y(a1); y = v * x; c = y.getVect(); for(int i = 0; i < c.size(); i++) { cout << " element " << i << " = " << c[i] << endl; } double z = w.sq_norm(); cout << " squared norm of w = " << z << endl; Vect_op u(a1); u = v + w; c = u.getVect(); for(int i = 0; i < c.size(); i++) { cout << " element " << i << " = " << c[i] << endl; }

107

cout << v[1] << endl; cout << w << endl; cout << u << endl; int i; int counter = 0; int nb = 0; cout << " number of rows or columns :\n"; cin >> nb; cout << " Enter the square matrix :\n"; Vect row(nb); Vect determinant; Matr a; int product = 1; int determ = 0; int ve1 = 0; for(i = 0; i < nb; i++) { for(int j = 0; j < nb; j++) { if(j<(nb-1)) cout << " enter element\n"; else cout << " enter last element of this row\n"; cin >> row[j]; } a.push_back(row); } for(i = 0; i < nb; i++) { cout << endl; for(int j = 0; j < nb; j++) { cout << a[i][j] << " "; } } cout << endl; vector<int>vec; for(i = 1; i <= nb; i++) vec.push_back(i); vector<int>::iterator iter1 = vec.begin(); vector<int>::iterator iter2 = vec.end(); for(i = 0; i < fact(nb); i++) { /* copy(vec.begin(), vec.end(), ostream_iterator<int>(cout, " "));;*/ vector<int>vec1(nb); copy(vec.begin(), vec.end(), vec1.begin()); for(int j = 0; j < (nb); j++) cout << vec1[j]; for(int i = 0; i < vec1.size(); i++) { for(int j = i; j < vec1.size(); j++) { if(vec1[j]<vec1[i]) counter++;

108

} } if(counter%2==0) cout << " even "; else cout << " odd "; for(int w = 0; w < nb; w++) { ve1 = (vec1[w])-1; product *= (a[w][ve1]); } if(counter%2!=0) product = (- product); determinant.push_back(product); counter = 0; product = 1; next_permutation(iter1, iter2); cout << endl; } for(int x = 0; x < determinant.size(); x++) { determ += determinant[x]; } for(i = 0; i < nb; i++)//print the matrix { cout << endl; for(int j = 0; j < nb; j++) { cout << a[i][j] << " "; } } cout << endl; cout << " The determinant is :\n"; cout << determ << endl; if(determ!=0) cout << " determinant is not zero \n"; else cout << " determinant equal zero : no QR decomposition possible\n"; Matr e; Vect d; for(int j = 0; j < (a[0].size()); j++) { for(int i = 0; i < a.size(); i++) { d.push_back(a[i][j]); } e.push_back(d); d.clear(); } Vect row1; Matr q,f; for(int i = 0; i < a.size(); i++) { for(int j = 0; j < a.size(); j++) {

109

row1.push_back(0); } q.push_back(row1); f.push_back(row1); } Matr_op qz, fz, ez; qz = v.setMatr_op(q); fz = v.setMatr_op(f); ez = v.setMatr_op(e); for(int i = 0; i < q.size(); i++) { for(int j =0; j < q.size(); j++) { if(i==0) qz[i] = ez[i]; if(i!=0) { if(j==0) fz[j].setVect(f[0]); if(j!=0) { fz[j] = fz[j-1] + ( qz[j-1] * ( ez[i] * qz[j-1] ))* ( 1 / qz[j-1].sq_norm() ); if(j==i) { qz[i] = ez[i] - fz[j]; j = q.size(); } } } } fz = v.setMatr_op(f); } Matr qw; qw = v.getMatr(qz); //turn the vectors of qw into an orthonormal basis ( they are only orthogonals...) for(int i = 0; i < qz.size(); i++) { double n = qz[i].sq_norm(); n = sqrt(n); Vect ort; double w; for(int j =0; j < (qz[0].getVect()).size(); j++) { w = (qz[i].getVect())[j] /= n; ort.push_back(w); } qz[i].setVect(ort); } qw = v.getMatr(qz); //finding r the upper triangular matrix: Matr r = f; Matr_op rz; rz = v.setMatr_op(r); for(int i = 0; i < ez.size(); i++) { Vect tria; double w; for(int j =0; j < ez.size(); j++) {

110

/*if(j<i) { w = ((rz[i]).getVect())[j] = 0; tria.push_back(w); } else if(j>=i) */ { w = ((rz[i]).getVect())[j] = ez[i] * qz[j]; tria.push_back(w); } } rz[i].setVect(tria); } r = v.getMatr(rz); // put the Q and R matrices upside down...( qw and r ): Matr Q, R; Q = InvertMatrix(qw); R = InvertMatrix(r); cout << " \n The Q matrix is :\n"; PrintMatrix(Q); cout << " \n The R matrix is :\n"; PrintMatrix(R); return 0; } Matr EnterMatrix() { int nb1 = 0; int nb2 = 0; Matr a; cout << " Number of rows\n"; cin >> nb1; cout << " Number of columns\n"; cin >> nb2; cout << " Enter the matrix :\n"; Vect row(nb2); for(int i = 0; i < nb1; i++) { for(int j = 0; j < nb2; j++) { if(j<(nb2-1)) cout << " enter element\n"; else cout << " enter last element of this row\n"; cin >> row[j]; } a.push_back(row); } return a; } void PrintMatrix(Matr a) { int nb = a.size(); int nb1 = (a[0].size()); for(int i = 0; i < nb; i++) { cout << endl;

111

cout.width(1); for(int j = 0; j < nb1; j++) { if((a[i][j])>0) cout << setw(1) ; //cout.width(5);<< " "<< " "; cout << setw(14) << a[i][j] ; //<< " " } } cout << endl; } int fact(int a) { if(a<=1) return a; return (a * fact(a - 1)); } Matr InvertMatrix(Matr a) { Matr e; Vect d; for(int j = 0; j < (a[0].size()); j++) { for(int i = 0; i < a.size(); i++) { d.push_back(a[i][j]); } e.push_back(d); d.clear(); } return e; }

Shtojca 1 Gjenerimi i shembullit 3.1 në [1] sipas Mathematica

Shprehja me anë të së cilës përcaktohet matrica hyrëse A:

퐴 = {{1,2,3,4,1}, {1,3,4,6,2}, {2,3,4,5,3}, {3,4,5,6,4}, {4,5,6,7,6}, {6,6,7,7,8}}

Shprehja me anë të së cilës përcaktohet matrica W :

푊 = {{−3,−2,0,0,−9,0}, {−7,6,0,0,−21,0}, {0,0,0,0,0,0}, {7,5,0,0,21,0}, {−4,0,0,0,−12,0}}

112

{푈, 푆,푉} = SingularValueDecomposition[푊]//푁

{{{0.2703441592342081,0.251279139495765,-0.5883484054145521,0.7194574229712072,0.}, {0.6316285892504162,-0.7368016685456719,-0.196116135138184,-0.1403819361895038,0.}, {0.,0.,0.,0.,1.}, {-0.6307772397432377,-0.6276654815537313,0.,0.4562412926158875,0.}, {0.3606652667382602,0.00425893748540388,0.7844645405527362,0.5044975831810294,0.}},

{{35.07147820705229,0.,0.,0.,0.,0.},{0.,8.061725396728443,0.,0.,0.,0.},{0.,0.,0.,0.,0.,0.},{0.,0.,0.,0.,0.,0.},{0.,0.,0.,0.,0.,0.}},

{{-0.3162266010612898,-0.0008583596122157992,0.,-0.9486832980505138,0.,0.}, {0.002714371426145063,-0.9999963160870949,0.,0.,0.,0.}, {0.,0.,0.,0.,0.,1.}, {0.,0.,0.,0.,1.,0.}, {-0.9486798031838692,-0.002575078836647758,0.,0.3162277660168379,0.,0.}, {0.,0.,1.,0.,0.,0.}}} Që këtej konstatojmë: U={{0.2703441592342081,0.251279139495765,-0.5883484054145521,0.7194574229712072,0.}, {0.6316285892504162,-0.7368016685456719,-0.196116135138184,-0.1403819361895038,0.}, {0.,0.,0.,0.,1.}, {-0.6307772397432377,-0.6276654815537313,0.,0.4562412926158875,0.}, {0.3606652667382602,0.00425893748540388,0.7844645405527362,0.5044975831810294,0.}} S=={{35.07147820705229,0.,0.,0.,0.,0.},

{0.,8.061725396728443,0.,0.,0.,0.}, {0.,0.,0.,0.,0.,0.}, {0.,0.,0.,0.,0.,0.}, {0.,0.,0.,0.,0.,0.}}

V={{-0.3162266010612898,-0.0008583596122157992,0.,-0.9486832980505138,0.,0.}, {0.002714371426145063,-0.9999963160870949,0.,0.,0.,0.}, {0.,0.,0.,0.,0.,1.}, {0.,0.,0.,0.,1.,0.},

113

{-0.9486798031838692,-0.002575078836647758,0.,0.3162277660168379,0.,0.}, {0.,0.,1.,0.,0.,0.}} Provohet që UVT është DVS-ja e matricësW :

Matrica VT AU është singulare:

Prandaj, në vend të DVS-së së W -së, patjetër të përdoret TSVD-ja e saj: {Us, Ss, Vs} = SingularValueDecomposition[푊, 2]//푁 { {{0.2703441592342081,0.251279139495765}, {0.6316285892504162,-0.7368016685456719}, {0.,0.}, {-0.6307772397432377,-0.6276654815537313},{0.3606652667382602,0.00425893748540388}},

{{35.07147820705229,0.},{0.,8.061725396728443}},

{{-0.3162266010612898,-0.0008583596122157992}, {0.002714371426145063,-0.9999963160870949}, {0.,0.}, {0.,0.}, {-0.9486798031838692,-0.002575078836647758}, {0.,0.}} } Kjo do të thotë se TSVD-ja e rendit 2 e matricës W gjeneron matricat në vijim: Us={{0.2703441592342081,0.251279139495765},{0.6316285892504162,-0.7368016685456719},{0.,0.},

114

{-0.6307772397432377,-0.6276654815537313},{0.3606652667382602,0.00425893748540388}}

s= {{35.07147820705229,0.},{0.,8.061725396728443}}

Vs={{-0.3162266010612898,-0.0008583596122157992}, {0.002714371426145063,-0.9999963160870949},{0.,0.},{0.,0.}, {-0.9486798031838692,-0.002575078836647758},{0.,0.}} Tani, matrica VT AU është josingulare:

Njehsimi i inversit 퐴 ,

( ) : 푋 = Us. Inverse[Ss. Transpose[Vs].퐴. Us]. Ss. Transpose[Vs] {{0.02497883149872988,−0.1526248941574939,0. ,0. ,0.07493649449618957,0. }, {0.08086367485182054,−0.222904318374259,0. ,0. ,0.24259102455546155,0. }, {0. ,0. ,0. ,0. ,0. ,0. }, {−0.057578323454699466,0.36028789161727354,0. ,0. ,−0.1727349703640983,0. }, {0.038950042337002576,−0.170194750211685,0. ,0. ,0.11685012701100768,0. }} Matrica X=퐴 ,

( ) në trajtën:

Provohen ekuacionet e Penrosit: A.X.A-A {{-0.3880186282811184,-0.06160033869602155,-0.4077053344623214,- 0.08128704487722471,0.2565622353937329}, {-5.551115123125783×10-16,-8.881784197001252×10-16,-8.881784197001252×10-16,-1.776356839400251×10-15, -6.661338147750939×10-16}, {-0.1035139712108393,0.01629974597798345,-0.1807790008467425,-0.06096528365791976,-0.05757832345470115}, {-0.1551651143099075,-0.0573666384419993,-0.09102455546147503,0.006773920406432765,0.228619813717188},

115

{0.1293395427603725,0.02053344623200637,0.135901778154107,0.02709568162573994,-0.08552074513124452}, {-0.02582557154953502,-0.03683319220999248,0.04487722269263195,0.03386960203217448,0.1430990685859435}} Mund të thuhet se ekuacioni (1) nuk është plotësuar.

푋.퐴.푋 − 푋 {{−6.938893903907228 × 10 ,−2.775557561562891

× 10 , 0. ,0. ,1.387778780781445 × 10 , 0. }, {1.387778780781445 × 10 ,−2.220446049250313 × 10 , 0. ,0. ,5.551115123125783

× 10 , 0. }, {0. ,0. ,0. ,0. ,0. ,0. }, {−1.387778780781445 × 10 , 5.551115123125783 ×10 , 0. ,0. ,−5.551115123125783 × 10 , 0. }, {6.938893903907228 × 10 ,−8.326672684688674 × 10 , 0. ,0. ,1.387778780781445

× 10 , 0. }} Ekuacioni matricor (2) është plotësuar.

Shtojca 2 Gjenerimi i shembullit 4.1 në [1] sipas Mathematica

Matricat A dhe W janë nga Shtojca 1. Por, në këtë rast ne përdorim TSVD-në e matricës W(1) në lidhje me vlerën më të madhe singular të W -së. {Ut, St, Vt} = SingularValueDecomposition[푊, 1]//푁

{{{0.2703441592342081}, {0.6316285892504162}, {0. }, {−0.6307772397432377},

{0.36066526673826016}}, {35.07147820705229} ,

{{−0.31622660106128975}, {0.0027143714261450625}, {0. }, {0. }, {−0.9486798031838692}, {0. }}} Që do të thotë se

Ut= {{{0.2703441592342081}, {0.6316285892504162}, {0. }, {−0.6307772397432377},

{0.36066526673826016}} St= {35.07147820705229} Vt= {{−0.31622660106128975}, {0.0027143714261450625}, {0. }, {0. }, {−0.9486798031838692} , {0. }}}

116

Njehsimi i X=퐴 ,( ) me rang 1:

푋 = Ut. Inverse[St. Transpose[Vt].퐴. Ut]. St. Transpose[Vt]

{{0.05059708130393693,-0.0004343065108274254,0.,0.,0.1517912439118108,0.},{0.1182143648848264,- 0.001014708102121579,0.,0.,0.3546430946544792,0.},{0.,0.,0.,0.,0.,0.}, {-0.1180550279849474,0.001013340413487193,0.,0.,-0.3541650839548422,0.}, {0.0675014021991593,-0.0005794069086509638,0.,0.,0.2025042065974779,0.}} Provohen ekuacionet e Penrosit:

A.X.A-A {{-2.528997450641299,-3.997748581249007,-5.467509943886942,-6.93626107449465,-3.234144610613315}, {-3.183690640341915,-5.853153794860856,-7.524059747226225,-10.19352290174517,-5.190770967813184}, {-1.115722044830314,-1.844625261063011,-2.572944221309171,-3.301847437541868,-1.707908357206286}, {-0.5793854606997484,-0.8372875575367695,-1.093590317279142,-1.351492414116163,-0.4630399317659815}, {0.8338899451112365,1.315835762649225,1.800975405298628,2.282921222836617,1.063196321641046}, {3.438195124753406,6.331701999973314,8.231444835245714,11.12495171046562,5.790927357688252}} Kjo do të thotë se ekuacioni (1) nuk është plotësuar. X.A.X-X

{{1.387778780781446×10-17,2.710505431213761×10-19,0.,0.,-2.775557561562891×10-17,0.}, {-5.551115123125783×10-17,4.336808689942018×10-19,0.,0.,-1.665334536937735×10-16,0.}, {0.,0.,0.,0.,0.,0.}, {0.,-4.336808689942018×10-19,0.,0.,5.551115123125783×10-17,0.}, {0.,4.336808689942018×10-19,0.,0.,-2.775557561562891×10-17,0.}} Ekuacioni matricor (2) është plotësuar: X.A.X-X {{1.387778780781446×10-17,2.710505431213761×10-19,0.,0.,-2.775557561562891×10-17,0.}, {-5.551115123125783×10-17,4.336808689942018×10-19,0.,0.,-1.665334536937735×10-16,0.}, {0.,0.,0.,0.,0.,0.}, {0.,-4.336808689942018×10-19,0.,0.,5.551115123125783×10-17,0.}, {0.,4.336808689942018×10-19,0.,0.,-2.775557561562891×10-17,0.}} MatrixForm[X]

117

Shtojca 3 Gjenerimi i shembullit 5.1 në [1] sipas Mathematica

Në këtë shembull merret W=AT: W =Transpose[A] {{1,1,2,3,4,6},{2,3,3,4,5,6},{3,4,4,5,6,7},{4,6,5,6,7,7},{1,2,3,4,6,8}} {Us,Ss,Vs}=SingularValueDecomposition[W]//N {{{0.3129199858912082,0.4934691388466823,-0.6196281672408204,-0.1569401981569475,0.5}, {0.3930645879620865,0.02405303507239815,0.009534351081221812,-0.7712527324706612,-0.5}, {0.4847632712333367,-0.1508384074054536,-0.4209492480033621,0.5612967809634619,-0.5}, {0.5649078733042148,-0.6202545111797375,0.2082132703186798,-0.0530157533502513,0.5}, {0.4398465387633564,0.5902895702299774,0.6288235008170785,0.2503482583038227,0.}},

{{25.31097670972388,0.,0.,0.,0.,0.}, {0.,4.123745110490162,0.,0.,0.,0.}, {0.,0.,0.5757264074348645,0.,0.,0.}, {0.,0.,0.,0.1331291377047175,0.,0.}, {0.,0.,0.,0.,0.,0.}},

{{0.2075311856882077,-0.4369010303596825,-0.6977804419056719,0.1707359116630723,0.3535533905932737,0.3535533905932737}, {0.3042279735141371,-0.6253231572476841,0.4031507232224572, -0.3223131761291818, 0.3535533905932737,-0.3535533905932737}, {0.311649996516441,-0.2121033353140601,0.05746927770888237,0.7775498292325561, -0.3535533905932737,-0.3535533905932737}, {0.3983911081824615,-0.1304496888005288,-0.2795072627482302,-0.4961281020905584, -0.7071067811865475,0.}, {0.5025099190106947,0.09434800624509355,0.4757424568663256,0.1106858154789204,0.,0.7071067811865475}, {0.5966730536790192,0.5892214746922488,-0.2069155291043633,-0.0631291104824729,0.3535533905932737, -0.3535533905932737}}} DVS-ja e matricës W përfton matricën singulare VT AU:

118

TSVD-ja e bazuar në tre vlerat më të mëdha singulare të AT , jep:

{Ut,St,Vt}=SingularValueDecomposition[W,3]//N {{{0.3129199858912082,0.4934691388466823,-0.6196281672408204}, {0.3930645879620865,0.02405303507239815,0.009534351081221812}, {0.4847632712333367,-0.1508384074054536,-0.4209492480033621}, {0.5649078733042148,-0.6202545111797375,0.2082132703186798}, {0.4398465387633564,0.5902895702299774,0.6288235008170785}}, {{25.31097670972388,0.,0.},{0.,4.123745110490162,0.},{0.,0.,0.5757264074348645}},{{0.2075311

856882077,-0.4369010303596825,-0.6977804419056719}, {0.3042279735141371,-0.6253231572476841,0.4031507232224572}, {0.311649996516441,-0.2121033353140601,0.05746927770888237}, {0.3983911081824615,-0.1304496888005288,-0.2795072627482302}, {0.5025099190106947,0.09434800624509355,0.4757424568663256}, {0.5966730536790192,0.5892214746922488,-0.2069155291043633}}} Kështu, fitojmë inversin e jshtëm në vijim:

X=Ut.Inverse[St.Transpose[Vt].A.Ut].St.Transpose[Vt]

{{0.7012732018766719,-0.5049611009462421,-0.08338004451497759,0.2901359800284754, -0.4945172663631757,0.3005798146115434}, {-0.01088115891593892,0.00775348968088497,0.004554305443024922,0.0007970945358759278, 0.01623255889483979,0.009276163749830724}, {0.5301461853985536,-0.2660687296368868,-0.02829221845441588,0.2167667720992003, -0.3416716317537703,0.141163869982318}, {-0.182008175394057,0.2466458609902402,0.0596421315035866,-0.07257211339339903, 0.1690781935042451,-0.1501397808793947}, {-0.8210674901956463,0.3561073005016069,0.03782388402034594,-

0.3170351480121312,0.5418562262038628, -0.1312862223098769}}

Shtojca 4 Gjenerimi i shembullit 5.2 në [1]* sipas Mathematica

Pëcaktimi i matricës A: A={{2,0.4,0,0,0,0,0,0,0,0,0,0},{-2,0.4,0,0,0,0,0,0,0,0,0,0}, {-1,-1,1,-1,0,0,0,0,-1,0,0,0},{-1,-1,-1,1,0,0,0,0,0,0,0,0},{0,0,0,0,1,1,-1,-1,0,0,-1,0}, {0,0,0,0,1,1,-1,-1,0,0,0,0},{0,0,0,-1,-2,0.4,0,0,0,0,0,0},{0,0,0,0,2,0.4,0,0,0,0,0,0}, {0,-1,0,0,0,0,0,0,1,-1,-1,-1},{0,0,0,0,0,0,0,0,-1,1,-1,-1},{0,0,0,0,0,0,0,0,0,0,0.4,-2},{0,0,0,0,0,0,0,0,0,0,0.4,2}} Index[A] 3 Provohet nëse indeksi i matricës A është 3:

{MatrixRank[A],MatrixRank[A.A],MatrixRank[A.A.A],MatrixRank[A.A.A.A]} {10,9,8,8}

119

Matrica W është e barabartë me 3A :

W = A.A.A

{{4.48,1.664,0.,0.,0.,0.,0.,0.,0.,0.,0.,0.}, {-8.32,-2.176,0.,0.,0.,0.,0.,0.,0.,0.,0.,0.}, {-0.3999999999999999,2.08,4.,-4.,0.,0.,0.,0.,-5.,3.,1.8,1.}, {1.6,-1.32,-4.,4.,0.,0.,0.,0.,3.,-1.,-1.,-1.}, {-1.,-1.,-1.,3.,3.2,1.6,-3.2,-3.2,0.,0.,-1.76,6.8}, {-1.,-1.,-1.,3.,3.2,1.6,-3.2,-3.2,0.,0.,-2.4,2.}, {0.,0.8,2.,-3.6,-3.2,-1.92,3.2,3.2,-1.,0.,2.4,-4.}, {0.,0.,0.,2.4,4.8,2.88,-4.8,-4.8,0.,0.,-3.2,4.}, {6.8,-1.76,0.,0.,0.,0.,0.,0.,4.,-4.,-0.3200000000000001,1.6}, {-2.,2.4,0.,0.,0.,0.,0.,0.,-4.,4.,-0.3200000000000001,1.6}, {0.,0.,0.,0.,0.,0.,0.,0.,0.,0.,-2.176,-8.32}, {0.,0.,0.,0.,0.,0.,0.,0.,0.,0.,1.664,4.48}} {Ut,St,Vt}=SingularValueDecomposition[W,8]//N {{{-0.01246102421011563,-0.1924415038170583,0.2746836772580296,-0.2476868862885409,0.189397648000162, -0.3056972224332165,0.1030606518415673,-0.3406497820312613},{0.01802943229248639,0.3666213162904779, -0.4911716794352976,0.4285636939565886, -0.3008922200742356,0.04016030140449725,0.1265066757249173,0.1011614815523255}, {-0.1499889312660969,0.4337991469078685,0.4131787487837735,-0.2775921936841053, -0.2196701128281693,0.256124211550975,-0.5017084635947955,0.2964219212782021},{0.118560069272054, -0.3533505956849818,-0.2704021155806578,0.09814167039656008,0.5112368914756605,0.08056088674229389,-0.4246516851596802,0.2836944323344174}, {0.5108902584087817,0.1204243038018607,0.081218962196552,0.1145095666411477,0.02426987674356897, 0.379869444725135,0.05876387131599341,-0.3918061767382666},{0.3727386413538236,0.04182044831132722, -0.1750972879517001,-0.191513814865029,-0.05140561006233477,0.2565139287468105,-0.366895008485834, -0.431278794499262},{-0.4609179571330694,0.02881506469182434,0.07365916720217011,0.0732362622520702,-0.1270141565588626,0.01778487185748251,0.02102851397315135, -0.494328984293625},{0.5271762110591767,0.07632007739887231,-0.002286667201664011,-0.3666922236233677, -0.2810899489390949,-0.4421681732964858,0.1782024019457853,0.2162493551537896},{0.09033958203824177, -0.5607512923597748,0.3119488472919944,0.118302188561481,-0.367944811964244,0.4677196572551104,0.2298230192080649,0.2275227325990992}, {0.008229942823022987,0.3893723900273111,0.1057372443588998, -0.1807137206522022,0.5533562908280728,0.3289485211280152,0.4717962728884503,0.1499014731449518}, {-0.2260338459676709,-0.1423033899179693,-0.4680829114264963,-0.570771638120486, -0.1355779045629319,0.1686937887492474,-0.03300285996976456,-0.01667045248100844}, {0.1155125523237045,0.07942030552554254,0.2630299113078946,0.3259529329155445,0.07503751511820902, -0.2673782015319072,-0.3075242438716975,-0.01490764172778878}},

120

{{18.53028689541914,0.,0.,0.,0.,0.,0.,0.},{0.,14.19075208435814,0.,0.,0.,0.,0.,0.},{0.,0.,11.1980711810737,0.,0.,0.,0.,0.}, {0.,0.,0.,8.626666180594624,0.,0.,0.,0.},{0.,0.,0.,0.,5.592429817560856,0.,0.,0.},{0.,0.,0.,0.,0.,1.196112226127353,0.,0.}, {0.,0.,0.,0.,0.,0.,1.157643253139082,0.},{0.,0.,0.,0.,0.,0.,0.,0.5212539328974155}}, {{-0.01305528676954745,-0.6627841966936898,0.600359852378917,-0.3668087991575526,0.1209081307973149,0.1747358809837753,-0.1228772423673331,0.07290953109675263}, {-0.1036169885196133,0.1432593327997561,0.2321605958875809,-0.2965196304665291,0.3110123966827114, -0.6901832524356109,0.4025225445157202,-0.3030046502030614}, {-0.1554029267022964,0.2145047936534044,0.2657171998197563,-0.1483143843531042, -0.5633545166934935,0.08480781925135523,0.0362469623192638,-0.2199753984343537}, {0.3588509066907826,-0.1819798377008935,-0.29349870926788,0.01486215279036612,0.4693587562198376,0.06827759536161895,-0.2282077684002883, -0.4250942960370661},{0.3687474346033673,0.05590340572134885,-0.0488562691900078,-0.2597634196111603,-0.1841097401537734,-0.1194637288505035,-0.170984760444178, -0.02690100274996216},{0.2059890506125783,0.02988344095934015,-0.02663106163150879,-0.1530016343609699, -0.1089131317748494,-0.2419320605408829,-0.01741611557935758,0.4891547528271737},{-0.3687474346033673,-0.05590340572134882,0.04885626919000785,0.2597634196111606,0.1841097401537737,0.1194637288505035,0.1709847604441781,0.02690100274996185}, {-0.3687474346033673, -0.05590340572134882,0.04885626919000785,0.2597634196111606,0.1841097401537737,0.1194637288505033, 0.1709847604441778,0.02690100274996202},{0.1022640064255588,-0.497391348525818, -0.189846341548866,0.3251793097689457,-0.1656040480176305, -0.4193910186013649,0.2122119514229394,0.3334031683107863}, {-0.04840537143291387,0.3844223853343201,0.06117946020538771, -0.2465589653959458,0.4497074193603382,0.1109655101779053,-0.0972499002589004,0.5661085222769405}, {-0.2332897730385581,0.08057740166762874,0.2498717779559563,0.3261778351734209,0.02310579190852699,-0.4289296005806731,-0.7649191447625044,-0.02528835029424932}, {0.5644363653831522,0.221641310223665,0.5646520158612918,0.5065016127499065,0.08508794626048163,0.08792958024865673,0.2046477881227767,0.007658291966249113}}} Inversi i jashtëm është i barabartë me matricën: X=Ut.Inverse[St.Transpose[Vt].A.Ut].St.Transpose[Vt] {{0.2499999999999997,-0.2500000000000003,-1.804112415015879×10-16,2.498001805406602×10-

16,6.852157730108388×10-17,-9.71445146547012×10-17,-1.257674520083185×10-16,-9.974659986866641×10-17,3.053113317719181×10-16,-2.706168622523819×10-16,4.02022165557625×10-

16,1.36804630124221×10-15}, {1.25,1.249999999999999,5.273559366969494×10-16,4.85722573273506×10-16,4.475586568020162×10-

16, -7.771561172376096×10-16,-6.852157730108388×10-17,-1.240327285323417×10-16,-6.106226635438361×10-16,-1.471045507628332×10-15,-1.412064909445121×10-15,-3.527993869267831×10-15}, {-1.664062499999991,-0.9921874999999953,0.2500000000000035,-0.2499999999999989,2.126770981547566×10-15,

121

-8.187894806610529×10-16,-2.46677678283902×10-15,-2.479787208908846×10-15,-0.06250000000000144,-0.06250000000000368,-4.621303340002214×10-15,0.15624999999999}, {-1.195312499999997,-0.6796874999999984,-0.2499999999999973,0.2500000000000017,1.969778506971665×10-15, -1.748601263784622×10-15,-1.844011054963346×10-15,-1.680947048221526×10-15, -0.06250000000000168,0.1874999999999961,0.6874999999999947,1.343749999999989}, {-2.763671874999995,-1.044921874999995,-1.874999999999993,-1.249999999999995,-1.249999999999996,1.249999999999994,1.249999999999996,1.249999999999997,1.484374999999996,2.578124999999994,3.320312499999994,6.640624999999984}, {-2.763671874999997,-1.044921874999998,-1.874999999999994,-1.249999999999995,-1.249999999999995,1.249999999999995,1.249999999999996,1.249999999999997,1.484374999999997,2.578124999999994,4.570312499999991,8.515624999999979}, {14.10937499999992,6.300781249999957,6.624999999999965,3.374999999999977,4.999999999999973, -2.999999999999981,-4.999999999999974,-4.999999999999977,-4.187499999999985,-8.499999999999963, -10.50781249999996,-22.46093749999989},{-19.32421874999992,-8.50781249999995,-9.749999999999956, -5.249999999999968,-7.499999999999966,4.499999999999973,7.49999999999997,7.499999999999973,6.374999999999983,12.56249999999995,15.97656249999995,33.78906249999987},{-0.6249999999999948,-0.3124999999999966,1.431282392952427×10-15,2.710505431213761×10-16,5.833041569289904×10-

16,1.479935965442714×10-17,-9.651195044969169×10-16, -1.124609032201324×10-15,0.2499999999999998,-0.2500000000000013,-0.8750000000000002,-1.625000000000002}, {-1.249999999999996,-0.9374999999999968,7.216449660063518×10-16,2.775557561562891×10-17, 5.377642775528102×10-16,5.828670879282072×10-16,-1.079865363795562×10-15,-1.187418219306125×10-15,-0.2499999999999996,0.2499999999999998,-0.8749999999999994,-1.624999999999998}, {4.942877704361415×10-15,1.926410420072244×10-15,3.567458828346304×10-

15,1.748601263784622×10-15,3.390191773144924×10-15,-1.56992474575901×10-15,-3.148197848246159×10-15,-2.832695016052877×10-15, -3.856290287096442×10-15,-3.656797087359109×10-15,1.249999999999994,1.249999999999986},{-4.939625097843958×10-16,6.505213034913027×10-18,-4.388850394221322×10-16,-3.903127820947816×10-18,-4.58942779613114×10-16, 1.066854937725736×10-16,4.636048489548017×10-16,3.678155870157074×10-16, 4.241398898763293×10-16,5.108760636751697×10-16,-0.249999999999999,0.2500000000000017}}