Skolresultat och utsatta barns uteckling Bollnäs 4 okt 2011

71
Skolresultat och utsatta barns uteckling Bollnäs 4 okt 2011 Bo Vinnerljung, professor Socialt arbete, Stockholms Universitet Socialstyrelsen [email protected]

description

Skolresultat och utsatta barns uteckling Bollnäs 4 okt 2011. Bo Vinnerljung, professor Socialt arbete, Stockholms Universitet Socialstyrelsen [email protected]. Meny. Sabbkurs i epidemiologisk analys Resultat från ett registerforskningsprojekt Något om hälsa och placerade barn - PowerPoint PPT Presentation

Transcript of Skolresultat och utsatta barns uteckling Bollnäs 4 okt 2011

Skolresultat

och utsatta barns uteckling

Bollnäs 4 okt 2011

Bo Vinnerljung, professor Socialt arbete, Stockholms Universitet

[email protected]

Meny

• Sabbkurs i epidemiologisk analys

• Resultat från ett registerforskningsprojekt

• Något om hälsa och placerade barn

• Genomförbara vägar till förbättringar

Vad är risk?• Ökad/minskad sannolikhet

– för något specifikt För vad?– ett relativt begrepp Jämfört med

vad/vem?– ett kvantitativt begrepp Hur mycket?

• Jämförelsegruppen alltid Relativ risk (RR) =1• RR = 2 är 100% fler• RR >2-3 anses som “höga överrisker”

• 3% av alla flickor blir mamma före 20-årsdagen• 0,75% av alla pojkat blir pappa före 20-årsdagen

• Risken att bli förälder under tonåren är 4 gånger större för flickor än för pojkar (RR = 4)

• Säger ingenting om “hur många”

Att justera för bakgrundsfaktorer..

• “om fördelningen av dessa bakgrundsfaktorer var de samma i grupperna som jämförs – hur är det då med överrisker?”

• Exempel: kön, ålder, föräldrars utbildning

• Justeringar görs i multivariatanalyser

Tvärvetenskaplig forskning

Bo Vinnerljung, socialt arbete

Anders Hjern, barnmedicin

Marie Berlin, sociologi

Underlag• Analyser av dataset med alla födda 1972-1981.

Samkörning av ca 10 nationella register.

• Uppföljning från 16 års ålder till 2005 (24-33 år).

– ca 930.000 personer, varav bl a

– 7.000 barn som vuxit upp i samhällets vård, i genomsnitt 12 år i vård före 18-årsdagen

– 9 000 barn i familjer med socialbidrag tre år i sträck

= exempel på socialt utsatta barn

Betyg från åk 9

• Låga/ofullständiga betyg = sämsta sjättedelen i riket (< (M-1SE))

• Låg/Medel = 1/3 (-1SE – M)• Medel/Hög = 1/3 (M +1SE) • Höga betyg = bästa sjättedelen i riket (>(M+ 1SE))

• Stort bortfall bland fosterbarn och andra socialt utsatta grupper = vi har underskattat förekomst av dåliga skolresultat för dem

Låga betyg har samband med mycket, t ex

• svag kognitiv förmåga• andra individuella egenskaper

• beteendeproblem• hälsoproblem

• svagt stöd från hemmiljön, svår uppväxt etc

• skolrelaterade faktorer

• dålig kamratstatus i klassen

0

10

20

30

40

50

60

70

80

90

100

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0

Flickor PojkarMedelbetyg åk

Procent

Gräns för låga betyg

0 10 20 30 40 50 60

Socioekonomisk gruppÖvrigt

Arbetare, ej facklärdArbetare, facklärd

Tjänstemän, låg/mellan*Tjänstemän, hög

FamiljetypEnsamstående

Kärnfamilj*Ombildad familj

AnnatUtländsk bakgrund

Nej*Ja

Ekonomiskt biståndNej*

JaUppväxtregion

StorstadStörre städer*

LandsbygdBostadens

Äger*Hyr

Pojkar

Procent0102030405060

Socioekonomisk gruppÖvrigtArbetare, ej facklärdArbetare, facklärdTjänstemän, låg/mellan*Tjänstemän, högFamiljetypEnsamståendeKärnfamilj*Ombildad familjAnnatUtländsk bakgrundNej*JaEkonomiskt biståndNej*JaUppväxtregionStorstadStörre städer*LandsbygdBostadensÄger*Hyr

Flickor

Procent

Socioekonomisk grupp

Familjetyp

Utländsk bakgrund

Ekonomiskt bistånd

Bostadens upplåtelseform

Uppväxtregion

Bra skolresultat, bra utbildning

• Vi visste att bra skola och utbildning var..– den starkast skyddande faktorn för utsatta barns

långsiktiga utveckling som vi känner till– “Escape from disadvantage...” (Doria Pilling, 1990)

• Men betyg från åk 9 är en stark prediktor för framtida utfall för alla barn

Självmordsförsök efter socioekonomisk bakgrund och betyg i årskurs 9

0

2

4

6

8

10

12

14

Låg Låg/medel

Procent

Betyg åk 9:

Kvinnor

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

0

2

4

6

8

10

12

14

Medel/hög Hög

Procent Män

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

Narkotikamissbruk från 20 års ålder efter soc ekon bakgrund och betyg i årskurs 9

0

2

4

6

8

10

12

14

Låg Låg/medel

Procent

Betyg åk 9:

Kvinnor

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

0

2

4

6

8

10

12

14

Medel/hög Hög

Procent Män

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

Allvarlig kriminalitet från 20 års ålder efter soc ekon bakgrund och betyg i årskurs 9

0

2

4

6

8

10

12

14

Låg Låg/medel

Procent

Betyg åk 9:

Kvinnor

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

0

2

4

6

8

10

12

14

Medel/hög Hög

Procent Män

Övriga Arb, Arb, Tjm, Tjm, ej facklärda låg/ högre

facklärda mellan(ref)

Vad betyder det här för socialt utsatta barn?

Inga/ofullst/låga betyg Över medel

PojkarNormalgrupp 22% 41%

Kontaktfam före tonåren 55% 15%

Växt upp i fosterhem 60% 11%

Flickor

Normalgrupp 11% 60%

Kontaktfam före tonåren 37% 27%

Växt upp i fosterhem 43% 23%

Växt upp i f-hem: mer än fem år i vård, lämnade vård efter 17-årsdagen (M = 11 år i vård)

Vilka faktorer ökar risken för låga betyg bland fosterbarn?

• Kön ***

• Födelseår --

• Ålder vid placering --

• Antal år i vård --

• Mor psyk vård --

• Mor missbruk --

• Far psyk vård --

• Far missbruk --

Vilka faktorer ökar risken för låga betyg bland barn i familjer med soc bidrag? • Kön ***• Födelseår *• Mor grundskola/gymn vs högskola *• Uppväxtregion --• Familjen hyr bostad (vs äger) --• Mor psyk vård --• Mor missbruk --• Far psyk vård --• Far missbruk --

Pessimistiska förväntningar...

• Helsingborg och Norrköping: fosterföräldrar, lärare och socialarbetare – underskattar fosterbarns begåvning– har pessimistiska förväntningar på skolresultat

• Samma i danska och brittiska studier

Barn som växer upp i fosterhem.....

• Har mycket dåliga skolprestationer

• Får sämre skolbetyg i åk 9 - jämfört med andra barn med samma begåvning

• Blir lågutbildade – fler max grundskola, färre högskola– jämfört med andra barn med samma begåvning– jämfört med andra barn med samma betyg

• Rejält färre f-barn med låga betyg har gymnasieutbildning vid 26 år, jämfört med ”normalbarn” med låga betyg

• Situationen är samma för socialt utsatta barn som växer upp hemma

• Vi har sannolikt underskattat problemen

Förekomst av problem: exempel

F-barn ”Normalgr”

Bara grundskola vid 25 år, pojkar 27% 6%

Självmordsförsök efter 20 år, flickor 14% 2%

Allvarlig krim efter 20 år, pojkar 37% 5%

Nark missbruk efter 20 år, pojkar 22% 4%

Lever på socialbidrag vid 25 år, pojkar 14% 1%

Växt upp i f-hem: >5år i vård, lämnade vård efter 17-årsdagen (M = 11 år i vård)

Barn som växer upp i fosterhem har höga överrisker

för framtida.....

• självmord RR = 6.4• självmordsförsök RR = 6.2• allvarlig psykisk ohälsa RR = 5.0• narkotikamissbruk RR = 6.8• alkoholmissbruk RR = 4.9• allvarlig kriminalitet RR = 7.5• att bli tonårsförälder RR = 3.8• bidragsberoende RR = 9.8

(justerat för f-år och kön)

Barn födda 1974-1978 från familjer med återkommande socialbidrag

(justerat efter kön och f-år)

• Självmord efter åk 9 3,6• Självmordsförsök efter åk 9 3,6• Nark missbruk efter 20-årsdagen 4,6• Allvarlig krim efter 20-årsdagen 5,1• Tonårsförälder 5,5• Lever på soc bidrag vid 25 år 7,4• Max grundskola 3,8• Eftergymn utbildning 0,3

Samband “skolmisslyckande” – framtida psykosociala problem

• Hur mycket av överriskerna för socialt utsatta/placerade barn kan statistiskt förklaras av ofullständiga/låga betyg (“skolmisslyckande”)?

• Svar: 40-60%

.

Långvarig f-hemsvård: Suicidförsök efter ÅK 9

1

2

3

4

5

6

7

Normal Kön/föd år Även förmissl

skolgång

RR

Långvarig f-hemsvård: Nark missbruk 20 år+

1

2

3

4

5

6

7

Normal Kön/föd år Även förmissl

skolgång

RR

Långvarig f-hemsvård: Allvarlig kriminalitet 20 år+

1

2

3

4

5

6

7

8

Normal Kön/föd år Även förmissl

skolgång

RR

Långvarig f-hemsvård: Tonårsförälder

1

2

3

4

5

6

7

Normal Kön/föd år Även förmissl

skolgång

RR

Lever på socialbidrag vid 25 års ålder

1

2

3

4

5

6

7

8

9

10

Normal Sv adopt KF/KP F-barn

RR

Lever på socialbidrag vid 25 års ålder, justerat för skolmisslyckanden

1

2

3

4

5

6

7

8

9

10

Normal Sv adopt KF/KP F-barn

RR

Vilka faktorer ökar risker för ogynnsamma utfall bland fosterbarn? • Kön ***• Födelseår (*) • Ålder vid placering --• Antal år i vård -- • Mor psyk vård --• Mor missbruk --• Far psyk vård --

• Far missbruk -- • “Skolmisslyckande” ***

Vilka faktorer ökar risken för ogynnsamma utfall bland barn i familjer med soc bidrag?

• Kön ***• Födelseår --• Mor grundskola/gymn vs högskola --• Uppväxtregion --• Familjen hyr bostad (vs äger) --• Mor psyk vård (*)• Mor missbruk (*)• Far psyk vård (*)• Far missbruk *

• “Skolmisslyckande” ***

• Svenskfödda adopterade klarar sig rejält bättre än barn som växer upp i fosterhem

• - även efter justeringar för psyk sjukdom, missbruk och utbildning hos de biologiska föräldrarna - samt ålder vid placering

Hur många “klarar sig”?

“Inga allvarliga problem”• ej självmord/död efter åk 9• och ej sjm-försök efter åk 9 • och ej psyk vård efter åk 9 • och ej nark missbruk 20 år• och ej alk missbruk 20 år • och ej allvarlig krim 20 år• och lever inte på socialbidrag vid 25 år

Hur många “klarar sig”?

“Har klarat sig bra”• “Inga allvarliga problem” • och inte tonårsförälder• och inget socialbidrag vid 25 års ålder• och mer än grundskola vid 26 års ålder

Pojkar Flickor

”Inga allvarl problem” Ej låga betyg Låga betyg Ej låga betyg Låga betyg

Normalgrupp 94 80 96 86

Utlandsfödda adopt 88 63 91 74

Svenskfödda adopt 88 74 92 81

Återk ek bistånd i fam 79 57 87 74

KF/KP före tonåren 79 57 88 76

Långvarigt fhemsplac 72 47 79 61

”Har klarat sig bra” Ej låga betyg Låga betyg Ej låga betyg Låga betyg

Normalgrupp 88 56 88 45

Utlandsfödda adopt 80 43 82 45Svenskfödda adopt 79 46 80 47

Återk ek bistånd i fam 61 29 62 23

KF/KP före tonåren 62 30 66 28

Långvarigt fhemsplac 59 26 60 23

Vilka faktorer ökar chansen för gynnsamma utfall bland f-barn?

• Kön **• Födelseår --• Ålder vid placering --• Antal år i vård -- • Mor psyk vård --• Mor missbruk --• Far psyk vård --

• Far missbruk -- • Ej “skolmisslyckande “ ***

Vilka faktorer ökar chansen för gynnsamma utfall bland barn

från socialbidragsfamiljer ?

• I stort bara frånvaron av skolmisslyckande– plus kön, chansen större för flickor

• Ingen/liten betydelse: – stad/land – boendeform – mors utbildning– föräldrar psykisk sjukdom/missbruk

Slutsatser

• Barn som misslyckas i skolan är en högriskgrupp för framtida psykosociala problem – oavsett socioekonomisk bakgrund

• Skolmisslyckande verkar vara den starkaste riskmekanismen för socialt utsatta barns utveckling efter skolåren.

• Skolprestationer är en variabel riskfaktor, d v s den kan påverkas (i motsats till kön, erfarenheter från tidig barndom mm).

• Vill man förbättra socialt utsatta barns dystra framtidsutsikter måste man hjälpa dem att klara sig bättre i skolan.

• Enligt lagens intentioner gäller detta särskilt placerade barn

Hälsa hos socialtjänstens barn

Somatiska hälsoproblem

• Eget forskningsfält i USA. Få europeiska studier.

•I vård en viss dag: 2/3 av 108 fosterbarn rapporterade olika slags hälsoproblem (Socialstyrelsen, 2000).

– Problemen oftast okända för socialtjänsten– Majoriteten hade varit i vård 3 år eller mer

• Litet Helsingborgsförsök (n=25, 7-12 år): - 1/4 fick glasögon pga oupptäckta synfel

• Norska och danska studier pekar starkt i samma riktning

Pågående forskningsprojekt i MalmöPlacerade barns hälsa

• Steg 1: aktstudie av medicinskt omhändertagande, hälsokontroller inkl tandhälsa

• En förfärande mängd BVC- och skolhälsovårdsjournaler är borta – viktig hälsoinformation kan inte överföras till

f-hemmet, nya skolan etc

• Somatisk hälsa frånvarande i Soc’ journaler

Steg 2

• Läkarundersökning av 110 barn som aktualiserats för utredning/behandling/placering i kommunalt vårdbolag i Skåne

• Barnen undersökta av en skolöverläkare med mycket lång erfarenhet

Bild från Stefan Kling

Antal remisser

• Vårdcentral 21

• Ögon 7

• Öron-näsa-hals 9

• Logoped 1

• Kirurg 1

• Ortoped 3

• Barnmedicin 15

• BUP 10

• Hudklinik 5

• Tandhälsovård 4

• Skolhälsovård 1 ____ Summa 77

45% av barnen fick minst en remiss (50/110 barn)

Psykisk ohälsa

• UK (McCann, 1996):– 60% av fosterhemsplacerade tonåringar

uppfyllde krav på minst en DSM-diagnos– 96% av institutionsplacerade tonåringar– 15% i normalgrupp från samma geogr område

• Inga liknande svenska studier

RRJust för kön/ålder

Barn som växer upp i fosterhem 6.4

Barn som växer upp i familjer med återkommande socialbidrag 3.6

Barn med psykiskt sjuka föräldrar 3.0

Barn med låga el ofullständiga betyg i åk 9 2.5 - 3.0

Barn som får insatser av socialtjänsten före tonåren men som växer upp hemma

2.5

Svenskfödda adopterade 2.6

Utlandsfödda adopterade 1,9

Barn som växer upp i familjer med kortvarigt socialbidrag 2.2

Barn från ensamförälderfamiljer 2.0

Barn från familjer med mycket låg inkomst men utan ek bistånd i.s.

Självmord i tonåren och i ung vuxen ålder - summering av registerstudier från EpC

1

2

3

4

5

6

7

8

9

10

11

Normal Utlf adopt Svf adopt KP/KF före 13 Fhem >5 år Tonårsplac

RR

Suicid efter ÅK 9

1

2

3

4

5

6

7

8

9

10

11

Normal Utlf adopt Svf adopt KP/KF före 13 Fhem >5 år Tonårsplac

RR

Suicidförsök efter ÅK 9

Mycket tyder på

• ...att det medicinska omhändertagandet är bristfälligt för placerade barn

• ...att placerade barn är en högriskgrupp för somatisk och psykisk ohälsa före, under och efter placeringen samt i vuxen ålder

• England: obligatorisk årlig hälsoundersökning för alla placerade barn

• USA: nästan alla placerade barn får en rejäl somatisk och psykiatrisk hälsoundersökning vid placering

• Sverige: ingenting utöver ordinära hälsokontroller i skola och BVC

Vägar till förbättringar för placerade/socialt utsatta barn

- Börja med skola (och hälsa)

Placerade och f d placerade säger..

• Samma drömmar och ambitioner om utbildning som andra barn (amerikanska och brittiska studier)

• “Det värsta var att jag inte fick nån utbildning” (brittiska och amerikanska studier)

• “Vi måste få hjälp med skola och utbildning” (norsk repr för plac barns egen organisation, samma från brittiska ungdomar)

Epidemiologisk forskning-hur många, utveckling över tid?

-vilka? -samband?

Longitudinella studier- riskfaktorer, skyddsfaktorer mm

Kliniska försök där man prövar en metod

Systematisk kunskapsöversikt om utvärderade interventioner som försökt

förbättra fosterbarns skolprestationer (2011)

• Vad finns?• Vad verkar fungera?

Hilma Forsman, socialt arbete, Sthlms Universitet

Inklusionskriterier

• Vänder sig till barn i grundskoleåldern

• Utvärderade med– RCT, för och eftermätning– Kvasiexperimentell design, för- och eftermätning– För- och eftermätning med åldersnormerade

instrument, ingen jämförelsegrupp

– Publ på engelska eller ett skandinaviskt språk

Sökningar på olika sätt gav..

• Drygt 400 studier

• 10 studier var relevanta

• 4 från UK, 3 från USA, 2 från Kanada, 1 från Sverige - Skolfam i Helsingborg

• Finns mycket lite forskning om vad som fungerar

Resultat• Positiva förbättringar (8 av 10 studier):

– 3 av 4 tutoring projekt, bl a Paired Reading

– 1 strukturerat inlärningsprogram på särskilt center två gånger i veckan

– 2 st som distribuerade inlärningsmaterial (Letterbox Club i UK och dator/böcker i UK)

– ”skolsamordnare” (USA)

– SkolFam i Helsingborg

• Inga förbättringar

– Ett tutoringprojekt i USA, var inte anpassat till vad barnen höll på med i sina skolor

– beteendeträning på institution

Mer resultat….

• Alla 8 framgångsrika projekt förbättrade läsförmågan hos barnen

• Bland de 8 framgångsrika projekten försökte 6 förbättra mattekunskaperna: – 3 lyckades, 1 blandat resultat, 2 misslyckades

Helsingborgsförsöket

• 25 fosterbarn 7-12 år testades med åldersnormerade psykologiska och pedagogiska instrument

• Resultaten underlag för handledning/stöd till skola, fosterhem och barn - från projektets skolpsykolog och specialpedagog

• Återtest efter 24 månader för att utvärdera projektet

Specialpedagogen och skolpsykologen

• Arbetade bara i projektet

• Hade sin lojalitet mot barnen

• Kortsiktiga och konkreta planer som utvärderades/reviderades efter hand

• Arbetade tillsammans med socialarbetaren

• Entusiastiska över arbetet

Resultat efter första mätningen• Normalbegåvade (något lägre genomsnitt än jämnåriga, som t ex

utlandsfödda adopterade)• Emotionellt hyggligt välfungerande

• 75% var rejält underpresterande i skolan• Stora kunskapsluckor var vanliga

• Fosterföräldrar, socialarbetare och lärare hade låga/negativa förväntningar på barnen.

• Såg inte problemen med stora kunskapsluckor.

Resultat efter 2 år

“Klinisk kunskap” säger att det bör ha blivit värre – d v s större skillnader jämfört med jämnåriga

• Wisc IK Total *** (p<0,001)

• Wisc IK Performance ** (p<0,01)

• Wisc IK Verbal * (p< 0,05)

• Rättstavning (DLS) *

• Läshastighet/läsförståelse *

• Ordkedjor *

• Magnes Matematikdiagnos i.s.

Norrköpings SkolFam

Rikard Tordön och Ulla Axelsson Mo• Försöksprojektet pågick 2008-2011• 21 barn fullföljde, två år mellan testerna

• WISC/kognitiv förmåga - samma resultat som i Hbg• Läsning m m, resultat i samma riktning som i Hbg• Men matematiken….

Bild från Rikard Tordön

Fallbeskrivning – Jens, åk 5 (från SkolFam, Norrköping)

Vid projektstarten:• assistent i skolan, svåra koncentrationssvårigheter• IK 70 vid utredande kartläggning, arbetsminne 62• Matematik stanine 1

• Arbetsminnesträning med RoboMemo • Handlingsplan följdes på andra sätt Efter två år: • IK 86 (+23%) , arbetsminne 99 (+60 %)• Matematik stanine 5• Koncentrationen stadigt förbättrats• Gillar skolan!

Skola/utbildning

• Replikera eller lära av SkolFamförsöken

• Skolpsykologisk och pedagogisk utredning av alla barn vid placering eller något år efter skolstarten

• Systematiskt stöd till alla placerades barns skolarbete

Också bra • Systematiskt arbete för att öka läs- och sifferfärdigheter

hos alla fosterbarn - börja innan skolstarten• Placering på förskola med starka pedagogiska inslag

• Systematisk policy med t ex krav på alla fosterföräldrar

Inga ”amatördiagnoser”!

Använd standardiserade bedömningsinstrument

Placerade barns hälsa

• Hälsoundersökning av alla barn vid placering

• Screening av psykisk ohälsa vid placering och i tonåren, alla över cut-off till specialist

• Rutiner för bevakning av alla placerade barns somatiska och psykiska hälsa under tid i vård

• Inga färdiga nordiska modeller, lär av USA/UK

Stort behov av...• Kunskapsöversikter om verkningsfulla

pedagogiska insatser för socialt utsatta barn (inte bara fosterbarn)

• Metodutveckling som innefattar försök/utvärdering, t ex av metoder som visat goda resultat i andra länder

• Bra exempel är Morningside programmet för matematikträning

Att läsa…• Social Rapport 2006 och 2010, kapitel 7. www.socialstyrelsen.se

• Skolprojekt inom Familjehemsvården www.helsingborg.se/skolfam

• Tideman E, Vinnerljung B, Hintze K & Isaksson A A (2011). Improving foster children’s school achievements: Promising results from a Swedish intensive study. Adoption & Fostering, 35, 44-56.

• Berlin M, Vinnerljung B & Hjern A (2011) School performance in primary school and psychosocial problems in young adulthood among care leavers from long term foster care. Children and Youth Services Review. doi: 10.1016/j.childyouth.2011.0

• Vinnerljung, B. & Hjern, A. (2011), Cognitive, educational and self-support outcomes of long-term foster care versus adoption. A Swedish national cohort study, Children and Youth Services Review, 33, 1902-1910.

Att läsa om skola• Social Rapport 2010, kapitel 7. www.socialstyrelsen.se

• Skolprojekt inom Familjehemsvården www.helsingborg.se/skolfam

• Tideman E, Vinnerljung B, Hintze K & Isaksson A A (2011). Improving foster children’s school achievements: Promising results from a Swedish intensive study. Adoption & Fostering, 35, 44-56.

• Berlin M, Vinnerljung B & Hjern A (2011). School performance in primary school and psychosocial problems in young adulthood among care leavers from long term foster care. Children and Youth Services Review, doi: 10.1016/j.childyouth.2011.08.024

• Vinnerljung, B. & Hjern, A. (2011), Cognitive, educational and self-support outcomes of long-term foster care versus adoption. A Swedish national cohort study, Children and Youth Services Review, 33, 1902-1910.