‘‘Relatively enduring neural alterations induced by the interaction of an organism with its environment’’

Memory

Memory and Learning are closely interrelated

When a particular activity pattern is learned, it is stored in the brain where it can be recalled later when required

‘‘Short-term’’ / ‘‘Long-term’’ - Memory

Associative Memory : it correlates patterns of neural activity

Associative Memory

characteristics- The memory is distributed

- Both the stimulus (key) pattern and the response (stored) pattern of an associative memory consist of data vectors

- Information is stored across a large number of neurons

- Information contained in a stimulus not only determines its storage location in memory but also an address for its retrieval

- Resistance to noise vs. interactions between stored patterns

Για κάθε ερέθισµα ανακαλείται ένα πρότυπο που είναι αποθηκευµένο στη µνήµη.

Μνήµη προσπελάσιµη µε βάση το περιεχόµενο (content addressable memory)

-Μνήµη υπολογιστή: προσπελάσιµη µε βάση διεύθυνση.

Φάση εκπαίδευσης, φάση ανάκλησης

Το πρότυπο εισόδου µπορεί να είναι ελλιπές η θορυβώδες

Αποθηκευµένες φωτογραφίες, είσοδος ενθόρυβεςφωτογραφίες

Τα αποθηκευµένα πρότυπα δεν είναι τοποθετηµένα σε αποµονωµένες θέσεις µνήµης, υπάρχει επικάλυψη

Αποθήκευση σε όλους τους νευρώνες

Μη εντοπισµένη, κατανεµηµένη µνήµηΑυτοσυσχέτιση: το πρότυπο εισόδου συσχετίζεται µε τον

εαυτό του

Τα διανύσµατα εισόδου & εξόδου ίδιας διάστασης

Ετεροσυσχέτιση: το πρότυπο εισόδου συσχετίζεται µε άλλο πρότυπο

Αντιστοίχηση-Συσχέτιση προτύπων

αυτοσυσχέτιση

ετεροσυσχέτιση

ανάκληση-αποκατάσταση

Γραµµική µνήµη

y = M x, M µήτρα µνήµης (βάρη συνδέσεων)

x1

x2

xn

y1

y2

yn

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

n

2

1

nnn2n1

2n2221

1n1211

n

2

1

x

xx

www

wwwwww

y

yy

M

L

MMMM

L

L

M

Input-dimensionality ≠ Output-dimensionality

x1

x2

xn

y1

y2

ym⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

n

2

1

mnm2m1

2n2221

1n1211

m

2

1

x

xx

www

wwwwww

y

yy

M

L

MMMM

L

L

M

n≠m

Μη γραµµική µνήµη

y=h(M;x)x

Εκπαίδευση – ∆όµηση Μήτρας Μνήµης

Στη γραµµική µνήµη, ο κανόνας ‘εξωτερικού γινοµένου’ είναι ένας απλός τρόπος για να συσχετιστεί ένα ζεύγος διανυσµάτων x = [ x1 x2 …xn ]T & y = [y1 y2 …ym ]T

M [m x n] = y ⊗ x = y.xT ( [m x 1] . [1 x n] )

Κατά την ανάκληση,

Μ x =(y.xT) x = y (xT.x)= y (x•x)= y ||x||2

δηλ. αν x είναι ‘νορµαλισµένο’ σε µοναδιαία ενέργεια, η αντιστοίχιση x→y –µέσω της µήτρας Μ- είναι τέλεια

Γενίκευση του κανόνα στην περίπτωση που πρέπει να ‘αποθηκευτούν’ περισσότερες συσχετίσεις στη µήτρα Μ

Αν {xi}i=1:K & {yi}i=1:K τα δοθέντα διανύσµατα

M = y1 . x1T + y2 . x2

T + ….+ yK . xKT = Y.XT

M[ m x n ] = [ y1 | y2 | …. | yK ][ m x K ] . [ x1 ; x2 ; …. ; xK ][ K x n ]

Με τα πρότυπα εισόδου xi κανονικοποιηµένα : xiT xi = 1

Κατά την ανάκληση,

( ) kjjk

Tkjj

Tjkj

1

Tkj

1

Tkkj y )x(xy xxy )x(x xxy xMy ∑∑∑

≠==

+==⎟⎠

⎞⎜⎝

⎛==

KK

k

K

k

kjjk

Tkjjjj y )x(x v, v y xMy ∑

≠

=+==K

επιθυµητή απόκριση + ‘θόρυβος’

kjjk

Tkj y )x(x v ∑

≠

=K

‘Cross-talk’ phenomenon

-ελαχιστοποιείται όταν τα πρότυπα (διανύσµατα ) εισόδου είναι γραµµικώς ανεξάρτητα.

-Για τέλεια ανάκληση θα πρέπει επίσης τα διανύσµατα εισόδου να είναι ‘’κανονικοποιηµένα’’

- ∆ηλαδή η µήτρα Μ που υπολογίζεται µε τον κανόνα εξωτερικού είναι αποδοτική ως µνήµη όταν τα διανύσµατα εισόδου είναι ορθοκανονικά

-Ο µέγιστος αριθµός των συσχετίσεων που µπορούν να αποθηκευτούν σε µια µήτρα Μ ισούται µε την τάξη (rank)της µήτρας.

Ορθοκανονικοποίηση Gram-Schmidt

Αν τα διανύσµατα εισόδου xk είναι γραµµικώς ανεξάρτητα αλλά όχι ορθοκανόνικα µπορούν να γίνουν πριν να τροφοδοτηθούν στη µνήµη x1…xm σε c1…cm

1

1

k

k k ii

−

=

=

⎛ ⎞= − ⎜ ⎟

⎝ ⎠∑

1 1

Ti kTi

c x

c xc x cc c

∆ιόρθωση λαθών σε µνήµη πίνακα συσχέτισης

Hebbian-type of learning : Το αξίωµα µάθησης του Hebb δεν προβλέπει ανάδραση

από την έξοδο στην είσοδο.Η µνήµη πίνακα συσχέτισης µπορεί να κάνει αρκετά λάθη και δεν υπάρχει µηχανισµός διόρθωσής τους.

Το διάνυσµα εξόδου y που παράγεται από είσοδο xk µπορεί να απέχει αρκετά από το σωστό yk

Εισαγωγή µηχανισµού διόρθωσης λαθών

x1 =100

y1 =32

>> M=y1*x1'M =

3 0 02 0 0

>> M*x1ans =

32

x2 =001

y2 =43

>> M=y2*x2'M =

0 0 40 0 3

>> M*x2ans =

43

>> M*x1ans =

00

x1 =100

y1 =32

>> M*x1ans =

32

x2 =001

y2 =43

>> M*x2ans =

43

M=[(y1*x1')+(y2*x2‘)]

M =3 0 42 0 3

>> M*x3ans =

00

>> x3= 0 1 0

>> M_2=Y*X'

M_2 =3 0 42 0 3

>> Y=[y1,y2]

Y =3 42 3

>>X=[x1,x2]

X =1 00 00 1

X=randn(2,10)X =

0.3899 -0.6355 0.4437 0.7812 -0.8217 -1.1878 0.9863 0.3274 0.0215 -0.94710.0880 -0.5596 -0.9499 0.5690 -0.2656 -2.2023 -0.5186 0.2341 -1.0039 -0.374

Xn=orth(X)Xn =

-0.5608 -0.8279-0.8279 0.5608

M=X*X’ans =

5.4265 3.14523.1452 7.9395

>> rank(X*X')ans = 2

What's So Funny and Why:Laughter and the Brain

Laughter...it's fun...it's funny... but why do we do it? Why can't you tickle yourself? What part of the brain is responsible for laughter and humor?

There are not many answers to these questions because there have notbeen very many experiments on the topic of laughter. Part of the reason for this is that laughter is not a big clinicalproblem.

People do not go to the doctor because they are laughingand feel good.

On the other hand, there are a some people with brain damage thatMAY cause uncontrollable, abnormal laughter.

Also, there is a type of epilepsy with gelasticseizures...these seizures cause people to laugh.

A paper published in the journal Nature (vol. 391, page 650, 1998)

called "Electric Current Stimulates Laughter" has provided a bit more information about how the brain is involved with laughter.The paper discussed the case of a 16 yr. old girl named "A.K." who was having surgery to control seizures due to epilepsy. During surgery, the doctors electrically stimulated A.K.'s cerebral cortex to map her brain. Mapping of the brain is done to determine the function of different brain areas and to make sure that brain tissue that will be removed does not have an important function.

The doctors found that A.K. always laughed when theystimulated a small. 2 cm by 2 cm area on her left superiorfrontal gyrus (part of the frontal lobe of the brain).

This brain area is part of the supplementary motor area. Unlike laughter that happens after brain damage, thelaughter that was produced by electrical stimulation in A.K. also had a sense of "merriment or mirth". Also, A.K. didNOT have the type of epilepsy with gelastic seizures. Eachtime her brain was stimulated, A.K. laughed and said thatsomething was funny. The thing that she said caused her tolaugh was different each time. A.K. laughed first, then madeup a story that was funny to her. Most people first knowwhat is funny, then they laugh. The authors of the paperbelieve that the area of the brain that caused laughter inA.K. is part of a larger circuit involving several differentbrain areas.

So, we know about what part of the brain is responsible forhumor.

This does not explain why we laugh or why we don't laughwhen we tickle ourselves.

In fact, researchers at the University of California in SanDiego have even constructed a "Tickle Machine".

For these scientists, tickling is no laughing matter!

Some scientists believe that laughing caused by tickling is a built-inreflex because even babies do it.

If this is true, then we should be able to tickle ourselves...but we can't.

Even if you try to tickle yourself in exactly the same way thatanother person tickles you, you don't laugh. Why is this? The information sent to your spinal cord and brain should beexactly the same.

For tickling to work, the brain needs tension andsurprise.

Everyone smiles and laughs. Even monkeys and apeshave some facial expressions that are similar to humansmiles. It is possible that smiling, laughing and tickling are usedto create bonds between babies and parents.When a parent tickles a baby and the baby responds witha smile or laugh, the parent laughs and smiles too.In this way, the baby and parent get to know one anotherand the baby learns all about laughter by watching andresponding to a parent.What a happy way to learn!