Diagnostic Center, Southern California -...

40
Scott Gutentag, Ph.D. Licensed Educational Psychologist Nationally Certified School Psychologist Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California 1

Transcript of Diagnostic Center, Southern California -...

Page 1: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Scott Gutentag, Ph.D.

Licensed Educational Psychologist

Nationally Certified School Psychologist

Diagnostic Center, Southern California

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

1

Page 2: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Diagnostic Centers

Department of Education

Special Schools Division

Northern, Central, Southern California

Center‐based Transdiscipinary

Assessment

Field‐based Assessment

Training, Consultation, 

Projects

Identified special education students – or those for whom eligibility is an issue

Ages 3 through 22 years

Referral applications accepted from local education agencies

School district

County office

SELPA

No cost to family or LEA

Who’s Eligible?  Who Refers?  Who Pays?

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

2

Page 3: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

1. Review the Larry P Ruling.

2. Review the basic tenets of the scientific method, psychological terminology, and psychometrics, which many times are misunderstood, misinterpreted, and misused when assessing African‐American students in the context of Larry P and its extrapolations.

3. Emphasize best practice assessment that is theoretically sound, scientifically validated, and consistent with IDEA and CA Ed Code.

4. Review different approaches to conducting non‐discriminatory assessments.

Purpose

The Problem 

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

3

Page 4: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

African American students are overrepresented as ID, ED, and SLD compared to the other ethnic groups

African American and American Indian/Alaska Native students drop out of school at a much higher rate compared to the state average

American Indian/Alaska Native, Hispanic, and African American students continue in special education longer than the state average

American Indian/Alaska Native complete GED at a higher rate than the state average.  The other race/ethnic groups complete GED at a similar rate to each other and the state average.

Facts Based on CA Reported Data (CDE, Data as of 2015)

One Solution to the Racial Divide and 

Overrepresentation in Special Education Specific 

to African American Students=

Banning IQ tests

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

4

Page 5: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

The Larry P. v. Riles case was filed against the state of California on behalf of African‐American parents who argued that the administration of culturally biased standardized IQ tests resulted in disproportionate numbers of African‐American children identified and inappropriately placed in special education classes for the Educable Mentally Retarded (EMR). An additional concern was that, once placed in such classrooms, the children did not have access to the core curriculum taught in regular classes. 

Larry P: 1979

Judge Peckham prohibited the use of IQtests for placing African‐American students in classes for EMR or “their substantial equivalent” after concluding that IQ tests were racially and culturally biased, and were responsible for the disproportionate placement of African‐American students in “dead‐end” classes. 

Larry P Ruling in 1979

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

5

Page 6: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Even with parental consent, IQ tests may not be given to African‐American students.

Instead of IQ tests, districts should use alternative means (e.g., pupil’s personal history and development, adaptive behavior, classroom performance, academic achievement, etc.). 

Prohibits any use of an IQ test as part of an assessment, which could lead to special education placement or services, even if the test is only part of a comprehensive assessment plan. 

IQ tests are inherently biased against African‐American children

Any standardized assessment that generates cognitive, mental ability or aptitude scores are prohibited. 

Subsequent Rulings and CDE Guidance

36 Years Have Passed Since The Ban On IQ Testing With African American Students, 

Yet. . .Disability Overrepresentation 

Continues

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

6

Page 7: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

13

14

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

7

Page 8: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

15

Certain crucial standards were met (despite overrepresentation of minority students in special education) including:

A) Rigorous implementation of procedural safeguards in the referral, classification and placement process

B) Implementation of a multifactored assessment designed to identify specific educational needs by a group of professionals, 

C) Classification, placement, and programming decisions made by a team that included professionals and parents 

Source: Reschly & Grimes, 2002

Three Other Trials in the U.S. Determined Intelligence Testing was Not Biased for African American Students If. . .

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

8

Page 9: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

If misuse and misinterpretation were not problematic, there would be no need for task forces and standards to hold educators accountable (see works by Association of Black Psychologists, and the joint testing standards of APA, American Educational Research Association, and National Council in Measurement in Education, 1999).

Reference: AERA, APA, NCME (1999).  Standards for educational and psychological testing. Washington, DC: AERA 

Misuse and Misinterpretation Was/Is the Problem…Not the Particular Measure

SITUATIONFAULT LIE WITH TOOL OR TECHNICIAN?

1. An effective drug intended for ER use to sedate patients for several seconds undergoing painful procedure…given by Drs trained in critical care:  TOOL OR TECHNICIAN problem?

2. Child has no U.S. experience and is being given a U.S. culturally loaded test, despite it’s excellent psychometric properties:  TOOL OR TECHNICIAN problem? 

Where Does the Fault Lie?With the TOOL or TECHNICIAN?

18

2.    Giving IQ test to child arriving from China to U.S. for first time

1. Michael Jackson died from Propofolfollowing injection of sedative drugs

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

9

Page 10: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Court Ruling and CDE 

1979 Larry P Case: Judge Peckhamprohibited the use of IQ tests for placing African‐American studentsin classes for EMR or “their substantial equivalent” after concluding that IQ tests were racially and culturally biased

1986 CDE Directive: IQ tests shall not be used to determine whether an African‐American student is learning disabled, because it is possible that the resulting score could subsequently result in the pupil being identified as mentally retarded

Intended Use of IQ Scores 

“…test score calculation is only the first step in the interpretive process.”

‐ Goodenough, 1949

“…intelligence tests are completely relative and, moreover, do not assess absolute quantities.”

‐Wechsler, 1958

“IQ tests measure only a portion  of the competencies involved with human intelligence.”

‐ Reschly, 1979

Therefore…It’s About Understanding What We’re Doing and Correct Implementation

Kaufman, 1979: Argued that intelligence tests’ lack of theoretical clarity and support constituted a critical issue of validity.  

Kamphaus, 2001: Address intelligence test validity through the development of contemporary instruments founded in theory, and through integration of information—hypothesis validation as well as testing rival hypotheses

Live in the PastOr

Live in the Present

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

10

Page 11: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Live in the Medical Past or Present?

21

What We New Then: 1982 NY Times

Thomas Deerinck/Visuals Unlimited, Inc.

A push toward a more neuropsychological and alternative methodology of “intelligence” occurring in the late 1990’s with a focus on profile analysis of student with comparative sample

Cognitive measures (quantitative and qualitative) continue to be researched and improved

Education is placing an increased emphasis on providing students the intensive and evidence‐based interventions they need as soon as they need them (The Consortium for Evidence‐Based Early Intervention  Practices, 2010)

Shall we live by what was happening in the 1970’s or move with the times in the 2000’s?  

What Research, Learning, and Living in the Present Offers Us

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

11

Page 12: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Assessment is a way of gaining some understanding of the child in order to make informed decisions. 

‐ Sattler, 2001

A general term that includes an array of procedures to gather information about student learning and making judgments about learning progress. 

‐ Sattler, 2001

A test is a component of an assessment.  Consists of a set of questions administered during a set period of time under reasonably comparable conditions for all students  

‐ Linn & Gronlund, 2000

Best Practice Assessment Involves a Scientific Approach and Understanding What it is

1.  A set of interrelated constructs, definitions, and propositions that present a systematic view of phenomena by specifying relations among variables, with the purpose of explaining or predicting phenomena  

‐ Kerlinger, 1986

2.    A set of related ideas that has the potential to explain or predict  human experience in an orderly fashion, and it is based on data

‐ DePoy & Gitlin, 2015

3.    Failure to put theory first is unacceptable because such practice runs counter to all notions of good science and the scientific method (referring intellectual assessment but applies to all).  

‐ Flanagan & Ortiz, 2002

Best Practice Assessment Includes Measures that are Theory Based

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

12

Page 13: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

All assessment measures and approaches must be based on some theory, otherwise the assessment is based on nothing but supposition, assumption, and intuition

?? Question to Ask When Choosing a Measure ??

Are the measures you are using based on some theory or are they pieced together with borrowed terms from the literature because it “feels” right, “sounds” right, appears to makes sense?

Best Practice Assessment Includes Measures that are Theory Based

No one procedure, assessment, approach is better than another as long as it satisfies the criteria related to theory, principles of assessment, reliability, and validity

Never use a test as a sole indicator of the test taker’s functioning ‐AERA, APA, NCME (1999).  Standards for  educational and psychological testing. Washington, DC: AERA 

Data collected from a variety of sources should be analyzed and evaluated within the context of the examinee’s complete learning evaluation (Flanagan & Mascolo, 2005)

Take Home Points It is up to the professional to determine the procedures and approaches based on the above knowledge and individual student

If the measure (test, observation, components of informal interaction, rating scale, questions in an interview, etc.) isn’t appropriate for the student, DON’T use it

Best Practice Assessment Involves Multiple Sources of Information 

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

13

Page 14: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Reliability‐ Consistency of measurements so that results are dependable, reproducible, and stable (Sattler, 2001)

‐ Degree of consistency range from .00 (no reliability) to 1.00 (perfect reliability)

Validity‐ The extent to which a test measures what it is supposed to measure  (Sattler, 2001)

‐ Reliability of measurements is needed to obtain valid results

‐ We can have consistent measures that provide wrong information or are interpreted inappropriately (Linn and Gronlund, 2000)

Best Practice AssessmentInvolves All Measures Having Established Reliability and Validity

Example: Get the same weight  on a scale when step on it 3x in a row

FMS

Just use “clinical judgment” in interpreting intelligence

V’s and C’sClinical judgment is very important in interpretation but the danger occurs when. . . .

Like was practiced prior to the 1990’s, clinicians sometimes applied relatively subjective clinical acumen in the absence of empirically supported theoretical bases to interpret scores for their consumers (Kamphaus et al., 2005)

Clinical judgment is subjective, based on personal experience and training, and can vary among individuals; thus, it must be supported by other sources of information

Confirmatory bias exists

Verification and Clarification Checks of Frequently Made Statements

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

14

Page 15: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Make sure you have the evidence to support the “how’s” and “why’s” of whatever assessment process you use to measure the components of an SLD

In Review…It must include:

Multiple sources of information

Sound theoretical orientation

Established reliability and validity

Individualized to the student and NOT the group to which the student belongs

Culture fairness (involving acculturation)

Best Practice Assessment Involves  Evidence Supporting Your Decision

Must not require the use of a severe discrepancy between intellectual ability and achievement for determining whether a child has a specific learning disability, as defined in 34 CFR 300.8(c)(10);

Must permit the use of a process based on the child’s response to scientific, research‐based intervention; and

May permit the use of other alternative research‐based procedures for determining whether a child has a specific learning disability, as defined in 34 CFR 300.8(c)(10).

IDEA Regulations for Identifying Specific Learning Disability

A State must adopt, consistent with 34 CFR 300.309, criteria for determining whether a child has a specific learning disability as defined in 34 CFR 300.8(c)(10). In addition, the criteria adopted by the State:

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

15

Page 16: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

The report shall contain information considered by the team which shall include, but not be limited to:

(i)  Data obtained from standardized assessment instruments;

(ii)  Information provided by the parent;

(iii) Information provided by the pupilʹs present teacher;

(iv) Evidence of the pupilʹs performance in the regular and/or special education classroom obtained from observations, work samples, and group test scores;

(v) Consideration of the pupilʹs age, particularly for young children; and

(vi) Any additional relevant information.

Application of Best Practice Assessment to CA Education Code Legal Criteria for SLD Assessment

1.  Maintain the SLD definition and strengthen statutory requirements in SLD identification procedures;

2.  Neither ability‐achievement discrepancy analyses nor failure to respond to intervention (RTI) alone is insufficient for SLD identification;

3.  To meet SLD statutory and regulatory requirements, a “third method” approach that identifies a pattern of psychological processing strengths and deficits, and achievement deficits consistent with this pattern of processing deficits, makes the most empirical and clinical sense;

4.  An empirically‐validated RTI model could be used to prevent learning problems in children, but comprehensive evaluations should occur whenever necessary for SLD identification purposes, and children with SLD need individualized interventions based on specific learning needs, not merely more intense interventions designed for children in general education; and

5. Assessment of cognitive and neuropsychological processes should be used not only for identification, but for intervention purposes as well, and these assessment‐intervention relationships need further empirical investigation.

The Learning Disabilities Association of America’sPosition on Evaluation, Identification, and Eligibility Criteria for Students with Specific Learning Disabilities (2010)

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

16

Page 17: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

1. RtI is a service delivery model best conceptualized as a multi‐tier system of services and supports (MTSS). SLD eligibility for some students is a part of MTSS, but is secondary to the primary focus on prevention and promotion of positive outcomes for all students and early intervention for students who need it through evidence‐based practices. 

2. There is no such thing as a “standalone” RtI model of identification; to suggest such is a straw person argument. Identification of SLD, requires attention to multiple criteria and a comprehensive evaluation that attends to (a) inclusionary and exclusionary components, and (b) determinant factors. 

3. A “comprehensive assessment” does not mean, nor has ever been equated with, cognitive assessment in general or PSW in particular. IDEA‐2004 regulations (IDEA §300.304(c)(4)) are clear in this regard. 

4. There is no requirement to adhere to the statutory definition of SLD. IDEA defines SLD according to ʺmanifestationsʺ of the disorder of psychological processes. The Regulations require an identification model to identify the manifestations (i.e., the eight domains in which SLD can occur) and there is no route to compliance other than the Regulations. 

5. The LDA position statement argues that PSW improves treatment outcomes because this knowledge helps teachers match specific interventions to specific patterns of student test results. More than 30 years of research has failed to support this argument. Moreover, there are no data that teachers successfully use any type of cognitive assessment data to develop interventions or evidence that they should attempt to do so. In contrast, there are proven interventions that can be provided that work regardless of students’ pattern of cognitive strengths and weaknesses. 

The Consortium for Evidence‐Based Early Intervention Practices: A Response to the Learning Disabilities Assocof America Position on SLD Identification (2010)

Venturing Down the Rabbit Hole of Confusion, Illusion, & Contradiction

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

17

Page 18: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Cognition=

Intelligence

No Standardized Intelligence  

Tests

Can use standardized tests  measuring child’s acquired knowledge, making plans, solving 

problems  

Cognition=acquiring knowledge, making plans, and solving 

problem

Thus, standardized intelligence testing 

is being performed

Circular Reasoning Fallacy

Ability

The quality or state of being able; natural aptitude or acquired proficiency 

‐Merriam‐Webster Dictionary, 2015

Mental

Of or relating to the mind 

‐Merriam‐Webster Dictionary, 2015 

Intelligence

the ability to learn or understand things or to deal with new or difficult situations 

‐Merriam‐Webster Dictionary, 2015 

Cognitive

Mental processes, including perception, memory, and reasoning, by which children acquire knowledge, make plans, and solve problems 

‐ Sattler, 2001

Clearing Up the Confusion: What’s in a Name?

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

18

Page 19: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

FMS

Cognition=IQ, therefore, no standardized “cognitive” measures may be given

V & COrigin: Middle English cognicion, from Anglo‐French, from Latin cognition‐, cognitio, from cognoscere to become acquainted with, know, from co‐ + gnoscere to come to know

Definition: conscious mental activities : the activities of thinking, understanding, learning, and remembering

Reference: Merriam‐Webster Dictionary, 2015 Definition

Verification and Clarification Checks on Frequently Made Statement

FMS

We can’t measure “intelligence” using standardized tests

V & COrigin: From Latin Intelligere‐”understand”

Merriam‐Webster, 2015 Definition: 

“the ability to learn or understand things or to deal with new or difficult situations”

Anne Anastasi, 1992:

ʺIntelligence is not a single, unitary ability, but rather a composite of several functions. The term denotes that combination of abilities required for survival and advancement within a particular culture”

Verification and Clarification Checks on Frequently Made Statement

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

19

Page 20: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

FMS

We can use parts of standardized tests that are notIQ/cognitive tests such as the NEPSY or TAPS

V & C

Those tests measure activities of thinking, understanding, learning, and remembering DEFINITION = 

Those tests measure one’s understanding of things or dealing with new or difficult situations; the ability to learn or understand things DEFINITION = 

Verification and Clarification Checks on a Frequently Made Statement

The cognitive processes related to academic skill acquisition need to be clearly understood if the connect between a child’s cognitive processing competenceand academic performance can be understood 

‐ Peverly, 1994

The Reality: The Need to Understand Cognitive Processes Objectively

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

20

Page 21: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

FMS

Districts should use alternative means of assessment (CDE, 1986):

• pupil’s personal history and development

• adaptive behavior

• classroom performance

• academic achievement

• personality characteristics

C & V

Adaptive behavior

• Performance of daily activities required for personal and social sufficiency

• Is modifiable, cognition is not

• Defined by typical performance, and NOT ability ‐ (Sparrow, Cicchetti, Balla, 2005)

Personality 

• The set of emotional qualities, ways of behaving ‐ (Merriam‐Webster Dictionary, 2015)

Academics (reading, writing, and math)

Personal History and Development

• Based on perception and reporting.  Important part of an assessment, but does not replace scientific‐based cognitive assessment

Verification and Clarification Checks on a Frequently Made Statement

Adaptive Behavior               Intelligence, cognition, or mental ability

‐ They describe different things and are different constructs

Personality Characteristics                Intelligence, cognition, or mental ability

‐ They describe different things and are different constructs

We need to know how a child uses his/her mind to acquire knowledge, make plans, and solve problems for diagnostic and programming planning purposes, which is determining “cognition”

We need to objectively know how the child uses his/her mind to be able to do something, which is “mental ability”

And Therein Lies the Confusion, Illusion, and Contradiction

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

21

Page 22: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Emotional Disturbance

An inability to learn that cannot be explained by intellectual, sensory, or health factors

Intellectual Disability

Significantly subaverage general intellectual functioning

Specific learning Disability

Adisorder in one or more of the basic psychological processes (attention, visual processing, auditory processing, sensory‐motor skills, cognitive abilitiesincluding association, conceptualization and expression) do not  include learning problems that are primarily the result of visual, hearing, or motor disabilities, of intellectual disability

The Confusion and Contradictions for Ca Ed Code 

When Eliminating Anything that Looks like Intelligence

FMS

IQ tests show group differences among race

V’s & C’s

Less of a difference with more current tests

Cautious and knowledgeable consumer MUST determine how much of the difference is actually due to ethnicity. . . You may be surprised.

Verification and Clarification Check on a Frequently Made Statement

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

22

Page 23: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

On the KABC‐2, mother’s educational Level explains score differences more than ethnicity alone, BUT, the differences are due to 86.8% to 90.6% of something else  

This Means

We must consider variables other than ethnicity and race when analyzing differences in scores

Clearing Up the Confusion on How Much a Group Difference is Actually Due to Culture/Race

KABC‐2 scores across the different ethnic groups reveal minimal score differences, and ALL groups scored in the average range after controlling for certain variables

Ethnicity explains only 3.7% to 5.0% of the differences in scores.  This means the score differences across ethnic groups are due to 95% to 96.3% of something else 

Clearing Up the Confusion by Being Consumers of Scientific Research and Data, Rather than Assumptions

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

23

Page 24: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

FMS

Can’t give tests that correlate with IQ tests

V & C

Correlations= Relationships between variables (Gay & Airasian, 2000 )

Just because variables are related (correlated) to each other does not mean they measure the exact same thing

Many factors that make up a human being correlate with each other, so nothing is truly independent of each other

No correlation is perfect, as the variables can be related to other variables as well

Squaring the correlation provides information on how much of a difference/change in one variable is accounted for by another variable

Examples to follow. . .

Verification and Clarification Check on a Frequently Made Statement

Rabbit Hole Logic

If standardized cognitive/mental ability/IQ measures = IQ Test; then we can’t use other tests that correlate well with the “IQ” tests…maybe use parts of it.

Using this logic, many language and achievement tests cannot be used with African American students

Reality Check

These tests do not measure the exact same thing despite correlations

Remember the definition and nature of “correlations”

A correlation is a statistic and was never intended to  be used as the “end all be all” in decision making

Dissecting a test based solely on race and correlations is not suggested best practice or psychometrically sound

Clearing Up the Confusion with the Correlational Argument

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

24

Page 25: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Clearing Up the Confusion on the Correlational Argument. . .Let’s Look at a Medical Example

The Brain has Individual Specializations

They Interact and Correlate with Each Other

FMS

The student of one race received a lower score than a student of another race; therefore, the test is biased and unfair

V & C

That is not the definition of bias; and in determining bias one must use statistics adequately, which means. . .

To use statistics adequately, one must understand the principles involved and be able to judge whether obtained results are statistically significant and whether they are meaningful in the particular research context. (Kerlinger, 1979)

Verification and Clarification Checks on a Frequently Made Statement

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

25

Page 26: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Test data have no inherent meaning as scores don’t think or decide….people do

If the individual’s whose experiential backgrounds (not race, ethnicity, or even culture per se) differ from the mainstream, then bias may be involved

Bias in traditional testing occurs primarily when a student’s backgrounds and experiences differ significantly from those on whom the test was normed

Tests fall along a continuum of culture influence (e.g., reduced, culture specific, culture loaded)

It’s about predictive and item biases

Resource: Ortiz, 2002

Clearing Up the Confusion about Bias and Fairness

FMSDetermine child’s cognitive functioning based on his/her relative strengths and weaknesses (AKA, ipsative analysis)

Verification and Clarification Poor reliability of the difference score 

between two subtests (Kamphaus, 2005)

Standard error of the difference between two scores is larger than the standard error of measurement of the two scores being compared (Anastasi, 1985)

Correlations among subtests are positive and high, suggesting little differential information about a child’s cognitive skills (Anastasi, 1985)

Relative strengths in some abilities may actually be much lower compared to same‐age peers, suggesting child will have great difficulties compared to same‐age peers

Verification and Clarification Checks on a Frequently Made Statement

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

26

Page 27: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

FMS

Don’t use national norms, but we can rely on local norms  (district‐wide or classroom based) only

V & CAny norms involve comparisons to others

When there is no matched group, may be comparing apples to oranges

Students may leave the classroom/school  so the comparative sample is always changing, which means assessment results have low reliability and thus low validity ANDtarget child’s functioning may NOWby higher or lower because comparative sample is always changing. 

Verification and Clarification Checks on A Frequently Made Statement

FMS

Standardized measures don’t adequately represent all minority groups

V’s & C’s

Standardization sample is a proportional representation across states, gender, parent education level, and ethnicity based on national census.  

Numbers for EACH ethnic group in the sample is the same proportion as those in the U.S. population

This is how research is conducted in ALL professional fields including medicine

Think about the normal value ranges in blood tests:  Does it represent every single iota of ethnicity in its sample?

Verification and Clarification Checks on Frequently Made Statement

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

27

Page 28: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Nondiscriminatory assessment is not defined as a single procedure or test. . .

Nondiscriminatory assessment should be applicable to everyone, not just those from a particular group

Reference:  Ortiz (2005)

Best Practices in Nondiscriminatory Assessment

Don’t “Profile” The Student

Remember The “I” In The IEP

Remember FAPE and that Services are Based on Individual Needs and not Group Needs

Thus, no single approach, tool, procedure, or method can be recommended as best practice

Best Practice in Nondiscriminatory Assessment 

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

28

Page 29: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

No entire race, culture, gender, religion, height range, weight range respond in the exact same manner…otherwise, one procedure or assessment approach may be assigned based on their particular group assignment.  

Best Practices for Nondiscriminatory Assessment

Same Race, Different Cultures = Different Experiences

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

29

Page 30: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Take Home Tools for Best Practice in Assessing ANYONE Including 

African American Students

1) Assess and evaluate the learning ecology

2) Assess and evaluate language proficiency

3) Assess and evaluate opportunity for learning

4) Assess and evaluate educationally relevant cultural and linguistic factors

5) Evaluate, revise, and re‐test hypotheses

6) Determine the need for and language of assessment

7) EVALUATOR reduces bias in traditional testing practices

8) Utilize authentic and alternative assessment procedures

9) Evaluate and interpret all data within the context of learning ecology

10) Link assessment to intervention

Reference:  Ortiz, 2002

Conducting Nondiscriminatory Assessment

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

30

Page 31: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

1. What’s going on in child’s environments that could be affecting learning

2. Problems may not only be due to intrinsic factors of child

Examples

‐ Newly arrived to U.S.

‐ Lack of teaching materials in school

Assess And Evaluate the Learning Ecology

Determine student’s level of understanding and expression of English

Assess And Evaluate Language Proficiency

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

31

Page 32: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Some important issues to look at:

‐ Regularity of school attendance

‐ Experience with the school environment and setting

‐ Match between student’s native language and language of instruction

‐ Parent’s ability to support language of instruction

‐ Years of instruction in the native language and English

‐ Quality of native language and English instruction in ESL, or bilingual programs

‐ Cultural relevance of the curriculum

‐ Number of school changes

Assess And Evaluate Opportunity For Learning

Look at how specific cultural and linguistic experiences outside of school influence school‐based learning, language development, and educational progress

Examples

‐ Current language in the home

‐ Fluency in native language and English

‐ Individual’s and parent’s level of acculturation

‐ Parent’s level of education

Assess And Evaluate Educationally 

Relevant Cultural And Linguistic Factors

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

32

Page 33: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

When external factors that could influence learning problems have been ruled out, learning problems due to intrinsic factors of child can be considered

Evaluate, Revise, And Re‐test Hypotheses

1. Assess in child’s native language or native mode of communication

2. Individuals proficient in English is assessed in their native language/communication in addition to English testing as appropriate

3. Individuals with histories or backgrounds different from U.S. mainstream should be evaluated by assessor who is knowledgeable of individual’s unique experiences and their effects on learning and development

Determine The Need For And Language Of Assessment

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

33

Page 34: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Options:1. Maintain standardization using existing or local 

norms (that may provide more appropriate comparison groups)…Refer to CLIM

2. Modify and adapt tests to accommodate for acculturative and linguistic issues

Violates standardization, so interpret qualitatively

EVALUATOR Reduces Bias In Traditional Testing Practices

These procedures are geared toward instructional needs and intervention

Examples:

‐ Informal analysis of work

‐ Portfolio assessment

‐ Curriculum based measurement

Utilize Authentic And Alternative Assessment Procedures

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

34

Page 35: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

All information should be evaluated in an integrated manner and related to how the child is functioning in the real‐world

Don’t rely on one source of information, data, score

Evaluate And Interpret All Data Within The Context Of Learning Ecology

Information from evaluation should connect, relate, contribute to interventions

Example

‐ From the PSW model, determining those specific areas of reading deficits can inform what reading intervention should focus on  (morphological, lexical, fluency, speed, etc.)

Link Assessment To Intervention

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

35

Page 36: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Choosing Tests Based On The Degree Of Linguistic Demand And Cultural Loading…introducing Culture‐

language Interpretive Matrix (CLIM) CLIM

Reference, Flanagan et al., 2013

It is not diagnostic

It provides information on the culture/linguistic influence of tests if scores follow a predicted pattern

CLIM results must be corroborated by other sources of data

Examples follow. . .

A Few Words about the C‐LIM

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

36

Page 37: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Developing Your Cognitive Assessment Plan

1. Better to use as few measures as possible in order to assess the areas of cognition that you hypothesize to be strengths and weaknesses

2. Select a comprehensive measure and determine the cognitive domains that it measures 

3. Identify the areas of cognition that are not included on that comprehensive test 

4. Identify additional measures to assess those areas 

5. Be flexible, no standard/fixed batteries

Records Review

Standardized & Non‐Standardized 

Assessment

Observation & Interview (including 

Developmental History)

Triangulating Assessment Results

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

37

Page 38: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Ensure that entire assessment process is theoretically sound and grounded in science and NOT based solely on what seems/feels right

Ensure that the entire assessment process is consistent with IDEA and Ca Ed Code

Don’t be misled by misuse of statistics

Test the definition of “bias”

Humans make analyses and decisions, tests DO NOT

The right decision is that which can be backed by sound best practice and scientific‐based evidence.

Take Home Messages

Anastasi, A. (1992). What counselors should know about the use and interpretation of psychological tests. Journal of Counseling and Development, 70 (5), 610‐615. 

Anastasi, A. (1982). Psychological Testing. New York: Macmillan Publishing Company

Brown, R. T., Reynolds, C. R., and Whitaker, J. S (1999). Bias in Mental Testing, School Psychology Quarterly, Vol 14 (3), 208‐238.

California Department of Education.  Sacramento, CA.

Centers for Disease Control and Prevention. Atlanta, GA.

The Consortium for Evidence‐Based Early Intervention Practices (2010).  

A Response to the Learning Disabilities Association of America (LDA) White  Paper    on Specific Learning Disabilities (SLD) Identification 

DePoy, E. & Gitlin, L., N. (2015).  Introduction to Research: Understanding and Applying Multiple Strategies, 5th Edition, Elsevier: Missouri

References

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

38

Page 39: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Flanagan, D. P., Ortiz, S. O., & Alfonso, V. C. (2013).  Essentials of Cross‐Battery Assessment: Third Edition. New Jersey: John Wiley and Sons, Inc.

Flanagan, D.P., & Ortiz, S.O. (2002). Best practices in intellectual assessment: future directions.  In A. Thomas, & J. Grimes (Eds.) Best Practices in School Psychology:IV, Bethesda: NASP (p. 1337‐1350.

Flanagan, D.P., & Mascolo, J. T. (2005). Psychoeducational assessment and learning disability diagnosis, In  D.P. Flanagan & P. L. Harrison (Eds.), Contemporary Intellectual Assessment: Theories, Tests, and Issues, (pp.521‐544) New York: Guilford.

Gay, L.R., & Airasian, P. (2000), Educational Research: Competencies for analysis and application‐6th Edition, Prentice‐Hall: New Jersey

Goodenough, F.L. (1949). Mental Testing: Its history, principles, and applications. New York:Rinehart

Hopkins, W. G. (2002).  A scale of magnitudes for effect statistics. In A new view of statistics.Available at http://www.sportsci.org/resource/stats/effectmag.html

Kamphaus, R. W., Winsor Pierce, A., Rowe, E.W., & Kim, S. (2005).  A history of intelligence test interpretation.  In D. P. Flanagan & P.L. Harrison (Eds.) Contemporary Intellectual Assessment: Theories, Tests, and Issues‐2nd Edition (pp. 23‐38). New York: Guilford

Kamphaus, R. W. (2001).  Clinical assessment of child and adolescent  intelligence.  Needham Heights, M.A.:  Allyn and Bacon.

Kaufman, A. S. (1979).  Intelligent testing with the WISC‐R.  New York: Wiley‐Interscience.

Kerlinger, (1986) Foundations of Behavioral Research‐3rd Edition, Holt, Rinehart and Winston.

Learning Disabilities Association of America (2010). The Learning Disabilities Association of America’s White Paper on Evaluation, Identification, and Eligibility Criteria for Students with Specific Learning Disabilities. Pittsburgh, PA: Author.

Linn, R.L.,  & Gronlund, N. E. (2000).  Measurement and Assessment in Teaching: Eighth Edition.  New Jersey: Prentice Hall.

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

39

Page 40: Diagnostic Center, Southern California - Schedschd.ws/hosted_files/2016everychildcountssymposium/6c/Gutentag... · Diagnostic Center, Southern California Scott Gutentag, Ph.D., LEP,

Merriam‐Webster.com (2015).  http://www.merriam‐webster.com 

Naglieri, J. A. (2010). The discrepancy/consistency approach to SLD identification using the PASS theory, In D.P. Flanagan, & V. C. Alfonso (Eds.), Essentials of Specific Learning Disability Identification, New Jersey: Wiley  (pp. 145‐172).

Ortiz, S. O. (2002).  Best practices in nondiscriminatory assessment. In A. Thomas & J. Grimes (Eds.), Best Practices in School Psychology IV (pp. 1321‐1336). Washington, DC: NASP 

Ortiz, S. O. Reschly, D. J., Grimes, J. P. (2002).  Best practices in intellectual assessment.  In A. Thomas & J. Grimes (Eds.), Best Practices in School Psychology IV(pp. 1337‐1350). Washington, DC: NASP

Peverly, S. T., 1994,  An overview of the potential impact of cognitive psychology on school psychology.  School Psychology Review, 23, 292‐309.

Reschly, D. J., & Grimes, J. P. (2002).  Best practices in intellectual assessment, In A. Thomas , & J. Grimes (Eds), Best Practices in School Psychology IV: Volume 2 (pp. 1337‐1350). Bethesda MD:NASP

Reschly, D. (1979).  Nonbiased assessment.  In G. Phye & D. Reschly(Eds.), School Psychology: Perspectives and Issues (pp. 215‐253).  New York: Academic.

Sattler, J. (2001).  Assessment of Children: Cognitive Approaches Fourth Edition. San Diego: Jerome M.

Sparrow, S. S., Cicchetti, D. V., & Balla, D. A. (2005).  Vineland‐II: Vineland Adaptive Behavior Scales: Second Edition. MN: AGS.

Ventura County Office of Education.  www.vcoe.org

Wechsler, D. (1958). The measurement and appraisal of adult intelligence (4th ed.). Baltimore: Williams & Wilkins.

Scott Gutentag, Ph.D., LEP, NCSP, School Psychologist Diagnostic Center, Southern California

40