2. Matrixalgebra

Warum Beschaftigung mit Matrixalgebra?

• Matrizen spielen bei der Formulierung okonometrischer Mod-elle eine zentrale Rolle:

−→ kompakte, stringente Darstellung der Modelle

−→ bequeme mathematische Handhabbarkeit

15

Zu klarende Begriffe:

• Definition und Formen einer Matrix

• Rechnen mit Matrizen

• Rang einer Matrix

• Inversion einer Matrix

• Spur einer Matrix

• Definite und semidefinite Matrizen

• Blockmatrizen

• Rechnen mit Blockmatrizen

16

2.1 Definitionen, Notationen, Terminologie

Definition 2.1: (Matrix)

Eine Matrix A ist eine rechteckige Anordnung reeller Zahlen aij(i = 1, . . . , m; j = 1, . . . , n):

A =

a11 a12 · · · a1na21 a22 · · · a2n... ... . . . ...

am1 am2 · · · amn

.

A besteht also aus m Zeilen, n Spalten und somit aus m · n Ele-menten aij Zur Verdeutlichung der Große der Matrix bezeichnetman A auch als (m× n)-Matrix.

17

Bemerkungen: (I)

• Eine reelle Zahl ist eine (1× 1)-Matrix (Skalar)

• Eine (m× 1)-Matrix ist ein Spaltenvektor

• Eine (1× n)-Matrix ist ein Zeilenvektor

• Eine (n× n)-Matrix heißt quadratisch

• Die Hauptdiagonale einer quadratischen (n × n)-Matrix istgegeben durch die Elemente a11, a22, . . . , ann

18

Bemerkungen: (II)

• Eine (m × n)-Matrix mit lauter Nullen wird mit 0m×n beze-ichnet

• Eine quadratische (n × n)-Matrix mit lauter Einsen in derHauptdiagonalen und lauter Nullen sonst wird Einheitsmatrixgenannt und mit In bezeichnet, d.h.

In =

1 0 · · · 00 1 · · · 0... ... . . . ...0 0 · · · 1

19

Definition 2.2: (Transponierte, symmetrische Matrix)

Gegeben sei die (m×n)-Matrix A. Vertauscht man die Zeilen undSpalten von A, so ergibt sich die transponierte (n × m)-MatrixA′:

A′ =

a11 a21 · · · am1a12 a22 · · · am2... ... . . . ...

a1n a2n · · · amn

.

Gilt fur die quadratische (n× n)-Matrix A

A = A′,

so heißen die Matrizen A bzw. A′ symmetrisch.

20

Beispiele und Bemerkungen: (I)

• Die Transponierte der Matrix

A =

2 4 63 5 71 2 3

ist

A′ =

2 3 14 5 26 7 3

• Die Transponierte eines Zeilenvektors ist ein Spaltenvektor

• Die Transponierte eines Spaltenvektors ist ein Zeilenvektor

21

Beispiele und Bemerkungen: (II)

• So ist z.B.

a =[

2 3 1]

, a′ =

231

, (a′)′ =[

2 3 1]

• Die Transponierte der Transponierten einer beliebigen (m ×n)-Matrix A ist die Matrix A selbst, d.h.

(A′)′ = A

22

2.2 Rechnen mit Matrizen

Jetzt:

• Definition von

Matrizen-Addition

skalarer Multiplikation

Matrizen-Multiplikation

23

Definition 2.3: (Matrizen-Addition)

Gegeben seien zwei (m× n)-Matrizen A,B. Unter der Matrizen-Addition von A und B versteht man die elementweise Addition,d.h.

A + B =

a11 + b11 a12 + b12 · · · a1n + b1na21 + b21 a22 + b22 · · · a2n + b2n

... ... . . . ...am1 + bm1 am2 + bm2 · · · amn + bmn

.

Die Matrizen-Subtraktion ist entsprechend als elementweise Sub-traktion definiert.

24

Bemerkungen:

• Die Definition fuhrt zu einigen Rechenregeln

• Es gilt:

A + 0m×n = A

A + B = B + A

A′ + B′ = (A + B)′

(A + B) + C = A + (B + C)

25

Jetzt:

• Zwei Arten von Multiplikationen mit Matrizen

Definition 2.4: (Skalare Multiplikation)

Es seien λ ∈ R eine reelle Zahl und A eine (m×n)-Matrix. Unterder Skalar-Multiplikation von A mit λ versteht man die elemen-tweise Multiplikation von A mit λ, d.h.

λ ·A =

λa11 λa12 · · · λa1nλa21 λa22 · · · λa2n

... ... . . . ...λam1 λam2 · · · λamn

.

26

Jetzt:

• Formal komplizierteres Matrizen-Produkt

Definition 2.5: (Matrizen-Multiplikation)

Es seien A eine (m×n)- und B eine (n× q)-Matrix. Dann ist dasMatrizen-Produkt von A und B definiert als diejenige (m × q)-Matrix C, fur die gilt:

AB = C,

wobei sich das Element in der i-ten Zeile und j-ten Spalte derMatrix C berechnet als

cij =n

∑

k=1aikbkj.

27

Beispiele:

• Matrix-Produkt einer (2× 2)- mit einer (2× 3)-Matrix:

A =

[

a11 a12a21 a22

]

, B =

[

b11 b12 b13b21 b22 b23

]

Es folgt:

AB =

[

a11b11 + a12b21 a11b12 + a12b22 a11b13 + a12b23a21b11 + a22b21 a21b12 + a22b22 a21b13 + a22b23

]

• Produkt zweier (gleichlanger) Vektoren:

a =[

a1 a2 · · · an]

, b =[

b1 b2 · · · bn]

Es folgt:

ab′ = a1b1 + a2b2 + · · ·+ anbn =n

∑

i=1aibi

28

Bemerkungen: (I)

• Vorsicht:Matrizenprodukt ist nicht kommutativ, d.h. im allgemeinengilt AB 6= BA

Beispiel: A sei (2× 3)- und B sei (3× 2)-Matrix

−→ AB ist eine (2× 2)-, BA jedoch eine (3× 3)-Matrix

• Es sei A eine (m× n)-Matrix. Dann gilt:

AIn = A

ImA = A

A0n×p = 0m×p

0k×mA = 0k×n

29

Bemerkungen: (II)

• Es seien A,B,C,D Matrizen entsprechender Große, so dassdie jeweiligen Matrixoperationen zulassig sind. Dann gilt:

(AB)C = A(BC)

(A + B)C = AC + BC

A(B + C) = AB + AC

(A + B)(C + D) = AC + AD + BC + BD

(AB)′ = B′A′

(ABC)′ = C′B′A′

• Fur einen beliebigen Skalar λ ∈ R gilt:

λAB = AλB = ABλ30

Definition 2.6: (Idempotente Matrizen)

Eine quadratische (n× n)-Matrix A heißt idempotent, falls

AA = A

gilt.

Beispiel:

• Jede Einheitsmatrix In ist idempotent

31

2.3 Rang und Inversion einer Matrix

Definition 2.7: (Lineare Unabhangigkeit)

Es seien λ1, . . . , λn ∈ R Skalare sowie a1, . . . ,an verschiedene (m×1)-Spaltenvektoren. Unter einer Linearkombination der Vektorenversteht man einen Ausdruck der Form

λ1a1 + · · ·+ λnan.

a1, . . . ,an heißen linear unabhangig, falls sich der Nullvektor 0m×1nur als eine Linearkombination der Vektoren darstellen lasst, inder alle Skalare gleichzeitig null sind, d.h. falls gilt:

λ1a1 + · · ·+ λnan = 0m×1

ist nur erfullt fur λ1 = λ2 = · · · = λn = 0. Lasst sich derNullvektor 0m×1 dagegen als eine Linearkombination darstellen,bei der mindestens ein Skalar λi 6= 0 ist, so heißen die Vektorena1, . . . ,an linear abhangig.

32

Bemerkungen:

• Sind die Vektoren a1, . . . ,an linear abhangig, so lasst sichmindestens einer von ihnen als Linearkombination aller an-deren darstellen

• Begriff der linearen Unabhangigkeit fuhrt zum Begriff desRanges einer Matrix

Definition 2.8: (Spalten-, Zeilenrang)

Als Spaltenrang bzw. Zeilenrang einer (m×n)-Matrix A bezeich-net man die maximale Anzahl der linear unabhangigen Spalten-bzw. Zeilenvektoren dieser Matrix.

33

Bemerkungen:

• Es lasst sich zeigen, dass der Spalten- und der Zeilenrangeiner (m× n)-Matrix A stets ubereinstimmen

−→ Es genugt, vom Rang der Matrix A zu sprechenNotation: rang(A)

−→ Der Rang der Matrix A kann niemals großer sein als diekleinere der beiden Zahlen m und n:

rang(A) ≤ min(m, n)

• Weiterhin gilt:

rang(A′) = rang(A)rang(A′A) = rang(AA′) = rang(A)

rang(In) = n

34

Definition 2.9: (Regulare Matrizen, inverse Matrizen)

(a) Man sagt, eine (m × n)-Matrix A hat vollen Rang, fallsrang(A) = min(m, n) gilt.

(b) Eine quadratische (m ×m)-Matrix A mit vollem Rang (d.h.rang(A) = m) wird als regulare Matrix bezeichnet. Andern-falls ist die quadratische Matrix A eine singulare Matrix.

(c) Zu jeder regularen (m × m)-Matrix A existiert eine MatrixA−1 mit der folgenden Eigenschaft:

AA−1 = Im.

Die Matrix A−1 wird als die inverse Matrix von A bezeichnet.

35

Bemerkungen: (I)

• Ist die (m×m)-Matrix A singular, so besitzt sie keine Inverse

• Die Inverse A−1 einer regularen Matrix A ist ebenfalls regularund es gilt:

(

A−1)−1

= A

• Weiterhin gilt (λ ∈ R):(

A−1)′

=(

A′)−1

(λA)−1 = λ−1A−1[

(

A′A)−1

]′=

(

A′A)−1

36

Bemerkungen: (II)

• Fur die drei regularen (m×m)-Matrizen A,B,C gilt:

(AB)−1 = B−1A−1

(ABC)−1 = C−1B−1A−1

37

2.4 Die Spur einer Matrix

Definition 2.10: (Spur einer (quadratischen) Matrix)

Es sei A eine quadratische (m×m)-Matrix. Die Spur der MatrixA [in Zeichen: tr(A)], ist definiert als die Summe ihrer Hauptdi-agonalelemente:

tr(A) =m∑

i=1aii.

Bemerkungen: (I)

• Fur die Spur der Einheitsmatrix In gilt offensichtlich

tr(In) = n

38

Bemerkungen: (II)

• Weiterhin gelten fur den Skalar λ ∈ R und die quadratischen(m×m)-Matrizen A und B die folgenden Rechenregeln:

tr(λ) = λ

tr(A) = tr(A′)

tr(λA) = λ · tr(A)

tr(AB) = tr(BA)

tr(A + B) = tr(A) + tr(B)

39

2.5 Differentiation linearer Funktionen

Jetzt:

• Betrachte zwei (m× 1)-Vektoren a,b

• Fur ihr Produkt gilt:

a′b = a1b1 + · · ·+ ambm =m∑

i=1aibi

• Es seien a1, . . . , am fest gewahlte Konstanten und b1, . . . , bmunabhangige Veranderliche

−→ a′b ist eine lineare Funktion (in b1, . . . , bm)−→ a′b kann nach b1, . . . , bm partiell differenziert werden

40

Definition 2.11: (Gradient)

Es sei f : Rm −→ R mit (x1, · · · , xm) 7−→ f(x1, · · · , xm) eine par-tiell differenzierbare Funktion. Unter dem Gradienten von f (inZeichen: grad(f) oder ∂f/∂x) versteht man die in einem Spal-tenvektor zusammengefassten m partiellen Ableitungen

grad(f) =∂f∂x

=

∂f/∂x1∂f/∂x2

...∂f/∂xm

.

41

Bemerkungen:

• Fur den Gradienten der linearen Funktion

f(b1, · · · , bm) =m∑

i=1aibi = a′b

gilt:

grad(f) =∂a′b∂b

=

∂(a′b)/∂b1∂(a′b)/∂b2

...∂(a′b)/∂bm

=

a1a2...

am

= a

• Ferner gilt:

a′b =m∑

i=1aibi =

m∑

i=1biai = b′a und somit

∂b′a∂b

= a

42

2.6 Quadratische Formen, definite und semidefi-nite Matrizen

Jetzt:

• Weitere wichtige Klasse funktionaler Matrixformen

Definition 2.12: (Quadratische Form)

Es sei b ein (m × 1)-Vektor und A eine quadratische (m × m)-Matrix. Als quadratische Form bezeichnet man den Multiplika-tionsausdruck b′Ab.

43

Bemerkungen: (I)

• Ausgeschrieben lautet die quadratische Form

b′Ab = b′(Ab)

=[

b1 b2 · · · bm]

a11b1 + a12b2 + · · ·+ a1mbma21b1 + a22b2 + · · ·+ a2mbm

...am1b1 + am2b2 + · · ·+ ammbm

= b1(a11b1 + a12b2 + · · ·+ a1mbm)

+ b2(a21b1 + a22b2 + · · ·+ a2mbm)...

+ bm(am1b1 + am2b2 + · · ·+ ammbm)

44

Bemerkungen: (II)

• Fur die partiellen Ableitungen nach (b1, · · · , bm) gilt:

∂(b′Ab)∂b1

= (a11b1 + a12b2 + · · ·+ a1mbm) + b1a11

+ b2a21 + · · ·+ bmam1

∂(b′Ab)∂b2

= b1a12 + (a21b1 + a22b2 + · · ·+ a2mbm) + b2a22

+ b3a32 + · · ·+ bmam2

...

∂(b′Ab)∂bm

= b1a1m + b2a2m + · · ·

+ (am1b1 + am2b2 + · · ·+ ammbm) + bmamm

45

Bemerkungen: (III)

• Ist die Matrix A zusatzlich symmetrisch (d.h. aij = aji), soergibt sich der Gradient als

∂(b′Ab)∂b

= 2

a11 a12 · · · a1ma21 a22 · · · a2m... ... . . . ...

am1 am2 · · · amm

b1b2...

bm

= 2Ab

(Beweis: Ubungsaufgabe)

Weitere Matrixeigenschaften:

• Definitheit, Semidefinitheit

46

Definition 2.13: (Definitheit, Semidefinitheit)

Es sei A eine quadratische (m×m)-Matrix. Die Matrix A heißt

(a) positiv definit bzw. negativ definit, falls fur jeden (m × 1)-Vektor b mit b 6= 0m×1 gilt

b′Ab > 0 bzw. b′Ab < 0,

(b) positiv semidefinit bzw. negativ semidefinit, falls fur jeden(m× 1)-Vektor b mit b 6= 0m×1 gilt

b′Ab ≥ 0 bzw. b′Ab ≤ 0,

(c) indefinit, falls A weder positiv noch negativ semidefinit ist.

47

Rechenregeln fur definite Matrizen: (I)

• Es sei A eine beliebige (m×n)-Matrix mit rang(A) = n. Danngilt:

AA′ ist immer positiv definit

• Es sei A eine positiv definite Matrix. Dann ist A−1 ebenfallspositiv definit

• Es sei A eine positiv definite (m × m)-Matrix und B eine(m × n)-Matrix mit rang(B) = n. Fur die (n × n)-MatrixB′AB gilt dann:

B′AB ist positiv definit

48

Rechenregeln fur definite Matrizen: (II)

• Fur jede positiv definite (m×m)-Matrix C gilt:

rang(C) = m

• Es seien A und B zwei regulare Matrizen gleicher Ordnung.Dann gilt:

A−B ist positiv definit

⇐⇒ B−1 −A−1 ist positiv definit

• Es sei A eine positiv definite Matrix. Dann existiert min-destens eine regulare Matrix B, so dass

B′B = A−1

49

2.7 Blockmatrizen

Haufig:

• Zerlegung einer (m× n)-Matrix A in Teilmatrizen

Beispiel:

A =

a11 a12 a13 a14 a15 a16a21 a22 a23 a24 a25 a26a31 a32 a33 a34 a35 a36a41 a42 a43 a44 a45 a46a51 a52 a53 a54 a55 a56

=

[

A11 A12A21 A22

]

50

Definition 2.14: (Blockmatrix)

Eine in Teilmatrizen zerlegte (m×n)-Matrix A wird Blockmatrixgenannt.

Bemerkung:

• Fur die Transponierte einer Blockmatrix gilt:

A′ =

[

A′11 A′21A′12 A′22

]

51

2.8 Rechnen mit Blockmatrizen

Jetzt:

• Rechenregeln fur

Addition

Multiplikation

Inversion

von Blockmatrizen

52

Vorbemerkungen:

• Alle folgenden Teilmatrizen haben Ordnungen, so dass diedargestellten Rechenoperationen zulassig sind

• Gegeben seien die beiden Blockmatrizen

A =

[

A11 A12A21 A22

]

und B =

[

B11 B12B21 B22

]

53

Bemerkungen: (I)

• Fur die Summe der Blockmatrizen gilt:

A + B =

[

A11 + B11 A12 + B12A21 + B21 A22 + B22

]

• Fur das Produkt der Blockmatrizen gilt:

AB =

[

A11B11 + A12B21 A11B12 + A12B22A21B11 + A22B21 A21B12 + A22B22

]

54

Bemerkungen: (II)

• Fur eine quadratische, regulare (m×m)-Blockmatrix A ergibtsich die inverse Blockmatrix als

A−1 =

[

C−11 −C−1

1 A12A−122

−C−12 A21A

−111 C−1

2

]

mit

C1 = A11 −A12A−122A21

C2 = A22 −A21A−111A12

(vgl. von Auer, 2007, S. 274-277)

55