1100 Olive Way, Suite 1500 | Seattle, WA 98101 | Tel: 206.728.0474 | Fax: 206.728.8984 ors@organizationalresearch.com | www.organizationalresearch.com

SUMMARY OF YEAR‐END KALEIDOSCOPE PLAY & LEARN PARTICIPANT RESULTS  Prepared for Child Care Resources (CCR) Prepared by Organizational Research Services (ORS) 

January 2013 

KEY FINDINGS 

This  summary  presents  findings  from  surveys  administered  to  caregivers  who  participated  in Kaleidoscope Play & Learn groups hosted by King County affiliates. The groups typically meet weekly for 90 minutes,  during  which  time  trained  facilitators  lead  young  children  and  their  caregivers  in  age‐appropriate play activities and provide  caregivers with  information and  resources,  including  ideas  for activities they can do at home to support children’s  learning and healthy development. Caregivers are also  given opportunities  at  the  groups  to  interact with one  another  and  the  facilitator  to build  their social networks.  

In  2012,  416  parents  and  family,  friend  and  neighbor  caregivers  (FFN)  who  were  participating  in Kaleidoscope Play & Learn groups hosted by 18 King County affiliate organizations completed caregiver feedback  forms.  The  caregiver  respondents  comprised  48%  of  the  caregivers who  attended  in May 20121, and affiliates that administered the survey comprised 82% of the affiliates hosting Kaleidoscope Play & Learn groups in 2012. Seven key findings from the analysis of the survey data are as follows: 

1. Kaleidoscope Play & Learn is serving a wide diversity of caregivers, including 17% who identified as FFN. 

2. A wide degree of variation exists among participants in their retrospective estimates of their caregiver‐child behaviors and caregiver social networks prior to attending Kaleidoscope Play & Learn groups. 

3. Kaleidoscope Play & Learn is particularly effective for enhancing caregiver social networks and building understanding of the role of play and what to expect from children at different ages. 

4. Extended participation in Kaleidoscope Play & Learn groups is associated with more frequent positive caregiver‐child behavior, particularly among caregivers who predominantly speak a language other than English. 

5. FFN caregivers were more likely to read, look at books or tell stories with the child in their care and reported greater increases in understanding the role of play and what to expect from children at different ages.  

 

1 One affiliate administered the survey in August 2012.   

2

6. Kaleidoscope Play & Learn has a powerful impact on caregiver‐child behavior outcomes, though less so among caregivers who predominantly speak a language other than English or live in low‐income households. 

7. Evidence of child outcomes, consistent with the results of the more rigorous outcomes study released earlier in 2012, supports the potential of Kaleidoscope Play & Learn to increase school readiness among a population of young children that is less likely to be reached by more formal enrichment opportunities. 

   

3

INTRODUCTION 

Child  Care  Resources  contracted  with  Organizational  Research  Services,  an  independent  evaluation consulting company,  to evaluate  the  impacts of Kaleidoscope Play & Learn participation as part of an overall evaluation of its Family, Friend & Neighbor Care Initiative.  This report, primarily based on survey data collected from Kaleidoscope Play & Learn groups in May of 2012, includes the following: 

Who is participating in Kaleidoscope Play & Learn groups; 

How often do people participate; 

Caregiver outcomes; and 

A brief discussion of the results. 

BACKGROUND 

When  parents  with  young  children  are  at  work  or  school,  their  children  are  often  cared  for  by grandparents, aunts, uncles, older siblings and other extended family. Across the country, these family members, along with FFN, provide the majority of care for infants and toddlers. Though families from all cultural and economic backgrounds choose FFN care,  it  is especially common and frequently a cultural norm in immigrant communities. Many of these caregivers do not have easy access to culturally relevant information  on  early  child  development.    CCR’s  Family,  Friend &  Neighbor  Program  is  dedicated  to building a system of resources to provide these caregivers with such information. 

Kaleidoscope Play & Learn was developed within the Family, Friend & Neighbor Program as a strategy to reach out and provide support, information and resources to FFN caregivers. In 2006, CCR launched the King  County  Play  &  Learn  Network2  in  partnership  with  local  early  learning  and  family  support stakeholders. CCR provides training, technical assistance, consultation, evaluation support and access to resources to the organizations hosting Kaleidoscope Play & Learn groups. At regular meetings, Network members have opportunities  to participate  in  the continued development of  the Kaleidoscope Play & Learn model and quality assurance processes. In 2012, the collective comprised 24 Kaleidoscope Play & Learn affiliates that hosted 65 groups designed to help families, friends and neighbors get the necessary support and information to prepare the children in their care to thrive as learners.   

The purpose of Kaleidoscope Play & Learn is for participating caregivers and parents to learn what they can do at home  to  support healthy child development. Each group  is  led by a  trained  facilitator who plans  and  leads  activities  for  the  children  and  adults  to do  together. Caregivers  learn  through direct instruction and modeling by the facilitator and observation of and interaction with other caregivers, as well  as  from  hands‐on  experiences  during  the  group.  Expected  caregiver  outcomes  are  increased confidence in the ability to support children’s early learning at home and improved understanding of the role  caregivers  play  in  their  children’s  development.  Caregivers  are  also  expected  to  build  social networks  with  each  other  and  make  more  connections  with  supportive  organizations  in  their communities.   Kaleidoscope Play & Learn groups typically meet once a week for at  least 90 minutes  in neighborhood facilities, such as community centers, elementary schools and public  libraries, as well as places housing early intervention programs and community‐based organizations serving immigrants and families with low incomes or in transitional housing.  Most groups are offered free of charge.  

2 Play & Learn was officially renamed Kaleidoscope Play & Learn in the spring of 2010, though it is still sometimes referred to as “Play & Learn” without the “Kaleidoscope.” 

4

Year‐End 2012 versus Year‐End 2011 Report 

In May of 2011, Kaleidoscope Play & Learn  facilitators administered  for the  first time a new Caregiver Feedback  Form  to participating parents and  caregivers. As before,  the new  form was a point‐in‐time survey;  however,  it  was  longer  than  its  predecessor,  collected  caregiver  demographic  information (specified as optional), asked an open‐ended question about perceived child outcomes and changes  in activities/practices at home, and measured changes on all key outcomes using a retrospective pre‐post design.    In 2012,  the new  form was  revised  slightly  so  the “increased understanding” outcomes were measured by single post‐only  items asking caregivers  if they understood aspects of supporting positive child development  “about  the  same,”  “a  little more” or  “a  lot more”  rather  than by  asking  for  their levels of agreement with statements about supporting positive child development “now” and prior  to participating in Kaleidoscope Play & Learn. (See APPENDIX for a copy of the revised form.) 

METHODOLOGY 

Completion  of  the  form  was  encouraged,  though  not  required.  Participating  caregivers  who  spoke languages other than the six covered by the translations or who did not read were given the option to complete the form as  it was translated and/or read aloud by affiliate organization staff.3   In 2012, CCR asked all affiliates  to survey participants once during a  two‐week window of  their choice,  rather  than twice during windows specified by CCR as was done in prior years. All but one affiliate administered the survey in May; one administered it in August. 

The  revised  form asks  respondents  to  first  indicate  their  relationship  to  the children  in  their care and how many times they have attended a Kaleidoscope Play & Learn group. If they have attended only one or two groups, they are directed to skip the questions measuring outcomes and to respond to the open‐ended items and the optional demographic items.   

ORS examined  the  frequency distribution of  the  results overall, by attendance  level and by  caregiver characteristics, and carried out chi‐square  tests  to validate statistical significance among subgroups of respondents. 

   

3 In 2013 the survey will be translated into two additional languages based on affiliate requests: Arabic and Khmer. 

5

KALEIDOSCOPE PLAY & LEARN PARTICIPANTS AND PARTICIPATION 

In 2012, 18 King County affiliates submitted 416 Kaleidoscope Play & Learn caregiver  feedback  forms, representing  an  82%  affiliate  response  rate  and  a  48%  participant  response  rate.4  Sponsoring organizations submitted a median of 18 surveys (range 2 to 105).5 

Who Participates? 

One in five Kaleidoscope Play & Learn participants are FFN caregivers. 

See TABLE 1 for caregiver characteristics for all respondents and by caregiver type. 

82% (342) of responding participants brought only their own child. 

Of these parents, 13% (40) reported they regularly care for additional children who are not their own.6 

18%  (73) of all participants said  they brought a child other  than  their own  to Kaleidoscope Play & Learn.   

Of these FFN caregivers, most were grandparents (48%; n=35). 

12% (8) of the FFN caregivers were parents who brought their own child as well as another child to Kaleidoscope Play & Learn.   

This  ratio  of  parents  to  FFN  is  less  than  that  of  2011, when  86%  parents  and  16%  FFN submitted forms. 

It  is  important to note that estimates of the number of FFN participants based on affiliate attendance records differ  from  estimates based on  completed  survey.   According  to  attendance  records  sent by affiliates  to CCR, 25% of Kaleidoscope Play & Learn participants were FFN  in 2012, a rate close  to  the 24% at year‐end 2011, 23% at year‐end 2010 and 27% at mid‐year 2010.  

Caregivers bring a wide age range of children to Kaleidoscope Play & Learn. 

Caregivers primarily bring children ages one  through  three  to Kaleidoscope Play & Learn groups, with two‐years‐old being the most common age for child participants (see FIGURE 1). 

   

4 Response rates are based on estimates of 866 unduplicated participants and 22 affiliates at the time of the May 2012 survey. The number of respondents and participating affiliates is lower than last year.  5 This is higher than the median of 11 last year but on par with previous years.  6 Three hundred fourteen respondents who indicated they brought only their own child to Kaleidoscope Play & Learn responded to the question asking if they regularly cared for children other than their own.  

FIGURE 1:  Ages of Child Participants (N=472 children; N=372 respondents) 

11%

29%

51%

26%18%

6%1%

0%

20%

40%

60%

80%

100%

< 1 year 1 year 2 years 3 years 4 years 5 years 6 years or older

Child Age Group

 

Over half of Kaleidoscope Play & Learn participants are people of color. 

63%  (243) of all responding participants  (386; 93%)  indicated they  identify themselves as a race  or  ethnicity  other  than White  or  as  one  or more  races  or  ethnicities  in  addition  to White.7   

Of  these participants of  color, most  identified as Asian  (58%; n=141),  followed by Hispanic or Latino (30%; n=72).8 

Just under half of Kaleidoscope Play & Learn participants  live  in homes where adults predominantly speak a language other than English. 

44% (156) of all responding participants (359; 86%)  indicated a  language other than English as being predominantly spoken by the adults in their home, down slightly from 49% in 2011.  

Of these participants, 35% reported their predominant language was Cantonese or Mandarin (n=55)  and  one‐third  selected  Spanish  (32%;  n=50).9  Fourteen  percent  of  responding participants (n=21) said they spoke two or more languages equally but did not specify those languages. 

Just  under  one‐third  (30%;  n=123)  of  participants  completed  surveys  in  a  language  other than English: Chinese  (16%; n=68), Spanish  (12%; n=50), Korean  (1%; n=4) and Vietnamese (<1%; n=1). 

No surveys were marked as completed via oral translation or being read aloud. 

   

7 This is roughly the same as 2011, with 61% identifying as non‐White.  Six percent of respondents did not supply an answer and are thus excluded from any race/ethnicity comparisons. 8 In 2011, fewer identified as Asian (46%) and more as Hispanic or Latino (43%).  9 See Table 1 for full list of languages spoken in the home. 

6

7

Just over four  in ten Kaleidoscope Play & Learn participants  live  in poverty, as defined by having an annual household  income that  is under 200% of the national poverty  level  for a  family of  four, and just over one‐third have household incomes over $70,000. 

44% (153) of all responding participants (348; 84%) reported their annual income is less than $44,000 (200% of the poverty level for a family of four), a figure typically considered living in poverty.  

36% (125) reported an annual household income of more than $70,000.10 

FFN  caregivers  are more  likely  than  parents  to  be White  and  have  household  incomes  below  the poverty  level,  but  they  are  no more  likely  to  speak  a  language  other  than  English  at  home  than parents who brought only their own child. 

FFN caregivers were significantly more  likely to have household  incomes below the poverty level compared to parents who brought only their own children: 31% vs. 19% (p < .05). 

FFN caregivers were more likely to be White than parents who brought only their own child: 46% vs. 37% (p < .10). 

Statistical tests revealed no association between FFN status and  language spoken at home; that  is,  caregivers were  no more  likely  to  speak  a  language  other  than  English  at  home whether they were FFN caregivers or parents. 

Consistent with 2011 results, caregivers of color and caregivers in households where a language other than  English  is  predominantly  spoken  by  adults were  significantly more  likely  to  have  household incomes below 200% of the poverty level than their counterparts. 

Caregivers of color were significantly more likely to have household incomes below 200% of the poverty level than their counterparts: 57% vs. 27% (p < .001). 

Caregivers  in households where a  language other  than English  is predominantly spoken by adults were significantly more likely to have household incomes below 200% of the poverty level than their counterparts: 64% vs. 29% (p < .001). 

What are participants’ baseline levels of caregiver‐child behavior and social networks? 

As described above, participants were asked to provide ratings about their caregiver‐child behaviors and social networks corresponding to the period of time before they began attending Kaleidoscope Play & Learn (see TABLE 2).  

26% to 61% of participants indicated the highest possible baseline levels, with social network outcomes least likely to be rated the highest at baseline. 

Among survey questions, playing with the child in their care and describing things done and seen to the child were most frequently ranked highest at baseline. 

61% indicated they played with the child in their care “everyday” prior to attending Kaleidoscope Play & Learn, and 

10 Both percentages are similar to 2011 (42% reported incomes less than $44,000 and 35% reported incomes greater than $70,000). 

8

53%  indicated  they  described  things  done  and  seen  to  the  child  in  their  care “everyday” prior to attending Kaleidoscope Play & Learn.  

Using community activities or services and  talking about caregiving with other adults were rated highest at baseline among the fewest participants: 

26%  indicated  that  prior  to  attending  Kaleidoscope  Play  &  Learn  they  used community activities or services to help the child in their care learn and be healthy “more than once a week,” and 

27% indicated they talked to or shared ideas about caring for children with another adult “more than once a week” prior to attending Kaleidoscope Play & Learn. 

How often do people participate? 

At  the  time  they completed  the  survey, 39% of caregivers had attended Kaleidoscope Play & Learn groups more than 12 times (roughly the equivalent of at least three months). 

21%  (86)  attended  only  one  or  two  groups  prior  to  survey  administration  and  did  not complete additional survey items. 

Among the 79% (324) attending more than two times:11 

35% (144) participated 3‐12 times, 

27% (111) participated 13‐36 times, and 

17% (69) participated more than 36 times. 

Caregivers  living  in  low‐income households were  less  likely  to be  longer‐term Kaleidoscope Play & Learn participants. 

Caregivers in low‐income households tended to be less likely than those living in households above 200% of the poverty level to be longer‐term Kaleidoscope Play & Learn participants (17% compared to 25% for higher‐income households; p<.10).   

Statistical  tests  indicated no  association between  FFN  status or household  language  and  attendance, meaning caregivers were no more likely to be long‐term Kaleidoscope Play & Learn attendees than their counterparts whether they were FFN caregivers or  lived  in a household where the dominant  language was not English. 

 

11 The three participants who did not provide attendance information completed some of the subsequent survey items. It is therefore assumed they attended more than two times, but they are not included in the analyses comparing outcomes by attendance rates. 

9

KALEIDOSCOPE PLAY & LEARN CAREGIVER FEEDBACK FORM YEAR‐END RESULTS 

Participants rated six outcome‐related statements about their behavior “NOW” and “BEFORE attending Play & Learn” on two different 4‐point scales and four statements related to “understanding” outcomes on a 3‐point improvement scale. (See TABLE 2 for response scales and frequencies of each response.)  

Results reported and explained include the following:  

Percentage  of  participants  who  rated  their  behavior  “NOW”  to  be  the  highest  possible (current levels after attending Kaleidoscope Play & Learn groups); 

Percentage of participants whose behavior ratings increased from “BEFORE attending Play & Learn” to “NOW” (improved); 

Percentage of participants whose behavior ratings increased from “BEFORE attending Play & Learn”  to  “NOW”  or who maintained  the  highest  rating  from  “BEFORE  attending  Play & Learn” to “NOW” (improved or maintained highest); 

Percentage of participants who understood aspects of supporting positive child development “a lot more”; 

Percentages  “improved” and percentages understood  “a  lot more” by higher versus  lower attendance levels;  

Percentages “improved or maintained highest” and percentages understood “a lot more” by various participant characteristics; and 

Percentages  “improved”  or  understood  “a  lot  more”  in  at  least  one  of  the  types  of knowledge or behavior in the three outcome groups: behavior (four types), social networks (two types) and knowledge (four types). 

See TABLES 2 through 4 for additional results.  

Participating caregivers experienced improved social networks. 

Consistent with 2011 results, some of the strongest improvement outcomes since beginning Kaleidoscope  Play  &  Learn  were  the  social  network  outcomes  (i.e.,  using  community activities or services and talking about caregiving with other adults). 

54% reported they now talk to or share ideas about caring for children with another adult more  than  they  did  before  attending  Kaleidoscope  Play &  Learn,  and  53% indicated  they now use  community activities or  services  to help  the  child  in  their care learn and be healthy more than they did before attending Kaleidoscope Play & Learn. 

65%  improved on at  least one of the two social network outcomes, partly because these outcomes were  least strong at baseline. These were also the outcomes with the fewest number of participants rating themselves highest “NOW.” 

 

10

Participating caregivers increasingly know that play helps child social and cognitive development. 

About half of respondents said they understand “a lot more” about the relationship between play and various aspects of development, including the following: 

Children  develop  new  skills  and  abilities  through  play  (50%;  an  additional  25% understood this “a little more”); 

Playing with children in their care helps build a good relationship between caregiver and child (48%; an additional 23% understood this “a little more”); 

What to expect from children at different ages (49%; an additional 34% understood this “a little more”); and  

Playing with children helps them get ready for kindergarten (48%; an additional 23% understood this “a little more”). 

Participating caregivers increasingly interact positively with the children in their care as a result of Kaleidoscope Play & Learn participation. 

As a result of Kaleidoscope Play & Learn participation, caregivers reported an increase in the frequency with which they did the following things with the children in their care: 

Described things they did and saw (34%);  

Talked about the child’s feelings (33%); 

Read, looked at books or told stories (27%); and  

Played (27%). 

Extended  participation  in  Kaleidoscope  Play  &  Learn  groups  was  associated  with  more  frequent positive caregiver‐child behavior.  

Compared  to  caregivers who  attended  fewer  than 37  sessions,  caregivers who  attended 37 or more sessions were more likely to report increased frequency of the following (see TABLE 3): 

Describing what they saw or did to the child in their care (95% compared to 81%; p<.01), and 

Talking to the child in their care about his/her feelings (88% compared to 73%; p<.01). 

FFN caregivers were more likely to report increases in reading, looking at books or telling stories with the child in their care and more likely to report increases in all knowledge areas compared to parents.  

FFN caregivers were more likely than their parent counterparts to increase the frequency or maintain the highest frequency of reading, looking at books or telling stories with the child in their care: 79% vs. 69% (p<.10; see TABLE 4).  

   

11

FFN  caregivers,  especially  those  from  non‐English  speaking  households, were more  likely than their parent counterparts to report increased understanding of the following: 

Playing with children helps them get ready for kindergarten (85% vs. 68% (p<.01); 

Playing with  children helps build a good  relationship between  child and  caregiver (87% vs. 74%; p<.05); 

Children learn through play (83% vs. 73%; p<.10); and  

Knowing what to expect from children at different ages (90% vs. 81%; p < .10). 

More  caregivers  in  predominately  non‐English  speaking  households  reported  big  increases  in knowledge  than  their  English‐speaking  counterparts;  however,  they  tended  to  report  less improvement in caregiver‐child behavior outcomes.  

Significantly  more  caregivers  living  in  predominantly  non‐English  speaking  households reported big  increases  in all areas of knowledge than their counterparts  in English‐speaking households (p<.001 for all comparisons; see TABLE 4). 

However,  caregivers  living  in non‐English  speaking households  reported  significantly  lower improvements in three caregiver‐child behavioral aspects: 

Reading, looking at books or telling stories (63% vs. 77%; p < .05);  

Describing things done and seen to the child (80% vs. 88%; p < .10); and  

Talking to the child in their care about the child’s feelings (72% vs. 82%; p<.10). 

Caregivers  in  low‐income households reported greater  increases  in knowledge than did their higher‐income counterparts; however,  they  tended  to  report  less  improvement  in caregiver‐child behavior outcomes.  

Caregivers living in households below 200% of the federal poverty level reported significantly higher  increases  in  all  areas  of  knowledge  compared  to  their  higher‐income  counterparts (p<.001 for all comparisons; see TABLE 4). 

In  contrast,  caregivers  living  in  low‐income  households  reported  significantly  less improvement in reading, looking at books or telling stories (62% vs. 75%; p < .05). 

Caregivers  saw  positive  behavioral  and  socio‐emotional  changes  in  children  since  they  began participating in Kaleidoscope Play & Learn. 

The Caregiver Feedback Form  included  two open‐ended questions asking participants  to  share 1) any child changes they had seen since coming to Kaleidoscope Play & Learn, and 2) things they do differently at home with the children in their care.  

Just under half of participants (43%; n=180) shared they had seen changes in the child since they started coming to Kaleidoscope Play & Learn.  Of those participants: 

   

12

Three‐quarters  (77%;  n=139)  observed  positive  social‐emotional  changes  in  the  child  in their  care—for  example, being more  social or  less  shy,  learning  to  share, playing better with others or being more comfortable participating in group activities. 

He is more talkative during play time, more sociable with other children. 

Ever since my daughter has been attending the group she has become more confident and has learned to share with the other children and wait her turn. She likes counting down the days until we return to the group. 

Nearly one in five (19%; n=35) saw increased or new skills in the child, such as learning new songs or dances, taking directions and cleaning up. 

I think my son knows when he has to clean up. 

They have learned important skills like using scissors, gluing, and other crafty small motor skills they may not get as much practice or opportunity [with] at home. 

[My son] (2 years old) has learned to sit still and listen to stories.  My daughter (4 years old) started painting more specific things. 

Nearly one in five (18%; n=33) mentioned seeing an increase in cognitive abilities, such as exhibiting better language skills and recognizing shapes, numbers and/or letters. 

My child … plays more with other children and his vocabulary has improved. And that makes me very happy and I'm grateful that these programs exist for the community. 

[She can now] identify the colors of the toys we play with. 

A  few  (8%; n=15)  caregivers mentioned  changes  in non‐social behaviors  (e.g., being more active or attentive). 

Caregivers are  incorporating Kaleidoscope Play & Learn activities at home and are trying to be more intentional about those activities. 

Participants were asked to share one or two things they do differently at home with the children in their care.  Just over a third (38%; n=159) shared their thoughts.  Of those who did,  

52%  (n=82)  said  they  incorporated Kaleidoscope Play &  Learn  activities—reading books, singing, playing games or painting, for example—into their home activities. 

I now link [Kaleidoscope Play & Learn] activities with home activities (ex. make popcorn, connect to [Kaleidoscope Play & Learn] popcorn song). 

We sing songs we learned in the group. We count and practice recognizing numbers and write them down. 

We sing songs that we learn here and talk about the special craft we get to do each week. 

   

13

33% (n=53) said they are trying to be more intentional or regular with activities. 

I have a goal to explore with him all the toys, books, etc. Play & Learn [has] to check out. 

Read more books, especially when my son tells us to with body language. We encourage more playtime. 

16% (n=25) encourage more play or play more with their child. 

I think I allow more exploration and play with "messy" stuff. 

Play more with her. 

14% (n=22) said they use more words or talk to the child more. 

I never had any kids under my care so it was a little difficult to talk to my baby but now I have learned how to talk to him, how to play with him & how to be silly. 

Repeating words so he understands the meaning better. 

9%  (n=14) mentioned  changes  in  their  parenting  behaviors/attitudes,  such  as  changing discipline practices and being more patient or flexible. 

Let them do things on their own more. Let them figure more things out on their own. 

Disciplining techniques are different now, more focus on positive reinforcement.  

IMPLICATIONS AND LOOKING AHEAD 

Survey results again provided evidence of the effectiveness of Kaleidoscope Play & Learn for supporting caregiver  knowledge,  caregiver‐child  behavior  and  caregiver  social  networks,  and  for  providing  rich information  about  the diversity of  the population  served by  the program.  It  also provided  anecdotal evidence of child outcomes as observed by caregivers. Based on survey results, evaluators would like to note possible implications for the administration of Kaleidoscope Play & Learn:  

Consistent  with  last  year’s  results,  caregivers  in  non‐English  households  and  low‐income households  reported  less  frequent  gains  in  behavioral  outcome  areas.    Supplemental analyses showed that relationships between attendance and the behavioral outcomes were stronger for caregivers who speak a language other than English at home compared to their counterparts.  This  finding,  combined  with  results  showing  knowledge  outcomes  were stronger  for all caregivers who  speak a  language other  than English at home  regardless of attendance,  supports  the  hypothesis  that  immigrant  caregivers  may  take  longer  to experience behavioral outcomes  than  knowledge outcomes because of  the  larger  cultural leap required to achieve the desired behavioral outcomes. This suggests two things:  

1. A continued opportunity to provide affiliates and/or facilitators with more guidance on how to model positive caregiver‐child behaviors, particularly to immigrant caregivers around reading/books and language development. 

2. An intentional effort to make sure Kaleidoscope Play & Learn groups serving immigrants have the necessary resources and funding to offer the program over an extended period of time and the facilitators of these groups encourage immigrant caregivers to continue attending Kaleidoscope Play & Learn for as many months as possible. 

   

14

Also consistent with  last year’s results and the results of the more rigorous outcomes study released earlier in 2012, caregivers provided evidence of changes in the children in their care since  they  began  attending  Kaleidoscope  Play  &  Learn,  particularly  in  social‐emotional behaviors  that  research shows are so essential  for kindergarten  success.   The evidence  for child outcomes  in this evaluation study are not based on results of standardized measures, but rather on how consistent the anecdotes are with the program’s theory of change. That is, changes  in  caregiver  behaviors  lead  to  changes  in  child  behaviors  both within  and, more importantly, outside of Kaleidoscope Play & Learn groups.   This suggests the  importance of continued research on  the relationship between participation  in Kaleidoscope Play & Learn and school readiness, possibly by comparing WaKIDS scores among those who participated in the program and a matched comparison group. 

 

15

TABLE 1:  Survey Response Rates and Percent of Caregivers with Different Characteristics 

  Overall(n=416) 

Parent only (n=342) 

FFN(n=65) 

Caregiver Type12 Parent  83% 100%  NAFFN13  18% NA  100%       Parent  NA NA  11%

Sibling  0% NA  0%Grandparent  8% NA  48%

Friend or neighbor  1% NA  6%Aunt or uncle  2% NA  12%Nanny  6% NA  36%

Caregiver Gender Female  92% 92%  91%Male  8% 8%  9%Caregiver Ethnicity White only   37% 36%  44%Of color14  63% 64%  56%

African‐American or Black  6% 6%  5%Asian  58% 57%  65%Hispanic or Latino  30% 30%  24%Other15  15% 16%  9%

Caregiver Predominant Home Language English  57% 56%  61%Non‐English  44% 44%  39%

Cantonese or Mandarin  35% 31%  58%

Spanish  32% 34%  17%Two or more languages spoken at home 14% 13%  17%Other16  20% 22%  8%

Caregiver Annual Household Income Less than $22,00017  20% 18%  29%$22,001‐$44,000  24% 24%  24%$44,001‐$70,000  20% 21%  16%More than $70,000  36% 37%  31%Military Family 

Yes  11% 11%  10%

12 One caregiver did not provide the information needed to determine caregiver type; eight participants identified as more than one caregiver type. 13 Percentages of FFN types below total more than 100% because respondents check all that apply. 14 Percentages of races/ethnicities below total more than 100% because respondents may check all that apply. 15 Less than 5% of participants of color specified an ethnic group. Of those who did, the following were specified: White (4%); Native American or Alaska Native (3%); other (3%); African (3%); Arab, Iranian or Middle Eastern (1%); and Pacific Islander (1%). 16 Less than 5% of participants reported predominantly speaking each of the following languages at home: Korean (3%),  Vietnamese (2%) and Amharic (1%); under 1% each reported predominantly speaking Russian at home; 12% said other and listed Toisanese, Tigrigna, Thai, Teo Chew, Telugu, Tamil, Saurashtra, Punjabi, Pashto, Oromo, Japanese,  Hindi, Gujarati, French, Bosnian and Arabic.  17An annual income of $23,000 is approximately the federal poverty line for a family of four in 2012.  

16

TABLE 2:  Percent of Participants Retrospectively Estimating Levels of Knowledge, Caregiver‐Child Behavior and Caregiver Social Networks Prior to Attending Kaleidoscope Play & Learn and Estimating Current Levels (n=324)   BEFORE Attending Kaleidoscope Play & Learn  NOW 

 Less than once a 

week  Once a week Every few 

days  Everyday Less than once 

a week  Once a week  Every few days Everyday  CAREGIVER‐CHILD BEHAVIOR 5a. I describe things we do and see to the child in my care.18  9%  14%  24%  53%  3%  10%  16%  71% 

5b. I play with the child in my care.   6%  7%  26%  61%  2%  3%  17%  78% 

5c. I read, look at books or tell stories with the child in my care.   9%  15%  29%  48%  3%  7%  31%  58% 

5d. I talk to the child in my care about his/her feelings.  13%  12%  28%  47%  4%  9%  26%  61% 

 Less than once 

a month  Once a month  Every week More than once a week

Less than once a month  Once a month Every week 

More than once a week 

SOCIAL NETWORKS 6a. I talk to or share ideas about caring for children with another adult.19  17%  23%  32%  27%  2%  10%  40%  48% 

6b. I use community activities or services to help the child in my care learn and be healthy.  25%  23%  26%  26%  5%  14%  37%  44% 

         About the Same 

A little more  

A lot more    

KNOWLEDGE 7a. Playing with the child in my care helps him/her get ready for kindergarten.20          24%  35%  42%  ‐ 

7b. Playing with the child in my care helps build a good relationship between us.          30%  23%  48%  ‐ 

7c. Through play, the child in my care develops new skills and abilities.           25%  25%  50%  ‐ 

7d. I know what to expect from children at different ages.          18%  34%  49%  ‐ 

18 Response options for #5: Less than once a week (1), Once a week (2), Once every few days (3) and Everyday (4). 19 Response options for #6: Less than once a month (1), Once a month (2), Every week (3) and More than once a week (4). 20 Response options for #7: About the same (1), A little more (2) and A lot more (3). 

17

TABLE 3:  Percent of Participants Reporting Highest Outcome Measure Levels at Baseline and Follow‐up, Outcome Measure Improvement, and Improvement or Maintained Highest Levels by Outcome Measure and Attendance 

  Attendance 

 Highest at baseline

(307)21 Highest at follow‐up

(317) 

Improved from baseline to follow‐

up (303) 

Improved or maintained highest from baseline to 

follow‐up (303) 

Improved and attended 3‐36 times, 

excluding maintained highest

(255) 

Improved and attended 37+ times, 

excluding maintained highest 

(69) CAREGIVER‐CHILD BEHAVIOR 5a. I describe things we do and see to the child in my care.22  53%  71%  34%  84%  81%  95%** 

5b. I play with the child in my care.   61%  78%  27%  87%  87%  89% 

5c. I read, look at books or tell stories with the child in my care.   48%  58%  27%  71%  69%  75% 

5d. I talk to the child in my care about his/her feelings.  47%  61%  33%  77%  73%  88%** SOCIAL NETWORKS 6a. I talk to or share ideas about caring for children with another adult.23  27%  48%  54%  76%  75%  81% 

6b. I use community activities or services to help the child in my care learn and be healthy.  26%  44%  53%  72%  73%  71% 

KNOWLEDGE 7a. Playing with the child in my care helps him/her get ready for kindergarten.24  ‐  42%  77%  ‐  76%  78% 

7b. Playing with the child in my care helps build a good relationship between us.  ‐  48%  71%  ‐  70%  72% 

7c. Through play, the child in my care develops new skills and abilities.   ‐  50%  75%  ‐  76%  73% 

7d. I know what to expect from children at different ages.  ‐  49%  82%  ‐  81%  85% 

** Significant between‐group difference at p<.01 

*Significant between‐group difference at p < .05 

+Significant between‐group difference at p < .10 

21 Ns in parentheses represent the maximum number of respondents in each group.  Total Ns vary by item because respondents did not always answer every question. 22 Response options for #5: Less than once a week (1), Once a week (2), Once every few days (3) and Everyday (4). 23 Response options for #6: Less than once a month (1), Once a month (2), Every week (3) and More than once a week (4). 24 Response options for #7: About the same (1), A little more (2) and A lot more (3); those selecting (2) or (3) are counted as “Improved from baseline to follow‐up.” 

18

TABLE 4:  Percent of Participants Reporting Improved or Maintained Highest Levels by Caregiver Characteristics 

  Caregiver type Predominant language in 

household  Household income 

FFN only Predominant language in 

household 

 All 

(303)25 Parent (267) 

FFN  (56) 

English (155) 

Other than English (123) 

Above 200% poverty level

(158) 

Below 200% poverty level

(114) English (27) 

Other than English (21) 

CAREGIVER‐CHILD BEHAVIOR 5a. I describe things we do and see to the child in my care.26  84%  85%  77%  88%+  80%  87%  80%  84%  76% 

5b. I play with the child in my care.   87%  87%  90%  90%  85%  99%  85%  88%  95% 

5c. I read, look at books or tell stories with the child in my care.   71%  69%  79%+  77%*  63%  75%*  62%  68%  91%+ 

5d. I talk to the child in my care about his/her feelings.  77%  77%  76%  82%+  72%  79%  74%  71%  83% 

SOCIAL NETWORKS 6a. I talk to or share ideas about caring for children with another adult.27  76%  76%  80%  77%  76%  74%  77%  80%  86% 

6b. I use community activities or services to help the child in my care learn and be healthy.  72%  72%  72%  74%  67%  71%  73%  71%  81% 

KNOWLEDGE 7a. Playing with the child in my care helps him/her get ready for kindergarten.28  77%  74%  87%*  67%  90%***  69%  93%***  73%  100%** 

7b. Playing with the child in my care helps build a good relationship between us.  71%  68%  85%**  57%  85%***  61%  92%***  76%  91%+ 

7c. Through play, the child in my care develops new skills and abilities.   75%  73%  83%+  63%  91%***  67%  92%***  69%  95%* 

7d. I know what to expect from children at different ages.  82%  81%  90%+  74%  93%***  77%  93%**  79%  100%* 

 

*** Significant between‐group difference at p<.001 ** Significant between‐group difference at p<.01 

*Significant between‐group difference at p < .05+Significant at trend level p< .10 

 

25 Ns in parentheses represent the maximum number of respondents in each group.  Total Ns vary by item because respondents did not always answer every question. 26 Response options for #6: Less than once a week (1), Once a week (2), Once every few days (3) and Everyday (4). 27 Response options for #7: Less than once a month (1), Once a month (2), Every week (3) and More than once a week (4). 28 Response options for #5: About the same (1), A little more (2) and A lot more (3); for the purpose of this analysis, those who responded (2) or (3) are considered as having achieved the outcome of interest. 

APPENDIX: Kaleidoscope Play & Learn Network Caregiver Feedback Form

Kaleidoscope Play & Learn Network Caregiver Feedback Form Please take a moment to fill out this short feedback form. The information will help us learn about the benefits of this program and help us make it better. No one will know who completed this form, so please give your honest opinions.

FOR OFFICE USE ONLY ID#: _____________________________ 2012 b Circle here if oral translation was provided Kaleidoscope Play & Learn Caregiver Feedback Form Chinese © Child Care Resources, 2012. All Rights Reserved.

1. Who do you bring to the Play & Learn Group? Please check all that apply:

My own child Niece or Nephew Other (please specify): ___________________________

Grandchild Brother or Sister

Friend’s or Neighbor’s child Child I nanny for

2. Please list the ages of the children you bring to Play & Learn (in whole years): ______________________________

3. In addition to the child you bring to Play & Learn, do you regularly care for any children who are not your own?

Yes No

4. How many times have you attended a Play & Learn Group? Please check one. Best guess is fine.

1-2 times (skip to #8) 5-7 times 13-24 times 37-52 times

3-4 times 8-12 times 25-36 times Over 52 times

5. How often do you do the following NOW compared to BEFORE you came to Play & Learn?

For each row, please check one box in the NOW section and one box in the BEFORE section.

NOW I do it…

BEFORE attending Play & Learn I did it…

Less than

once a week

Once every few days

About once every day

Several times each day

Less than

once a week

Once every few days

About once every day

Several times each day

a. I describe things we do and see to the child in my care.

b. I play with the child in my care.

c. I read, look at books, or tell stories with the child in my care.

d. I talk to the child in my care about his/her feelings.

6. How often do you do the following NOW compared to BEFORE you came to Play & Learn?

For each row, please check one box in the NOW section and one box in the BEFORE section.

NOW I do it…

BEFORE attending Play & Learn I did it…

Less than

once a month

Once a month

Every week

More than

once a week

Less than

once a month

Once a month

Every week

More than

once a week

a. I talk to or share ideas about caring for children with another adult.

b. I use community activities or services to help the child in my care learn and be healthy.

7. Please check the columns that best describe how your understanding about the following has changed as a result of your coming to Play & Learn.

Since coming to Play & Learn, I understand… About

the same

A little more

A lot more

a. …that playing with the child in my care helps him/her get ready for kindergarten.

b. …that playing with the child in my care helps build a good relationship between us.

c. …that children learn through play.

d. …what to expect from children at different ages.

8. If you want to, please tell us about changes you have seen in the child since he/she started coming to Play & Learn.

9. Please tell us about one or two things you do differently at home with the children in your care as a result of participating in Play & Learn.

These last questions will help us understand more about the adults who come to Play & Learn. You may choose to answer all, some or none of them.

10. I am: Female Male

11. I prefer to be identified as: (Please check all that apply)

African Asian Native American or Alaska Native

African American or Black Caucasian or White Pacific Islander

Arab, Iranian or Middle Eastern Hispanic or Latino Other: ______________________

12. Which language is used most often by the adults in your home? (Please check one)

English Cantonese or Mandarin

Korean Somali 2 or more languages spoken equally at home

Spanish Vietnamese Russian Amharic Other: _________________

13. What is your family income per year? (Please check one)

Less than $22,000 $22,001 to $44,000 $44,001 to $70,000 More than $70,000

14. Are you or is a parent/guardian of a child you bring to Play & Learn a veteran or active member of the United States armed forces?

Yes No

Thank you for completing the survey!