CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS - unc.edu · seguintes, o conceito D, aos 40%...

ESTUDO DE CRITÉRIOS PARA ATRIBUIÇÃO DOS CONCEITOS AOS CURSOS 1

CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS:

UM ESTUDO

EUGÊNIA MARIA REGINATO CHARNET Ph.D. em Estatística Aplicada pela Universidade da Califórnia

Brasília, dezembro de 2000

Texto elaborado com a colaboração da equipe técnica da Diretoria de Avaliação do Ensino Superior – INEP/MEC.


Assessor especial Jocimar Archangelo Coordenadores-gerais Orlando Pilati Sheyla Carvalho Lira Equipe técnica Adriana dos Santos Oliveira Ana Maria de Gois Rodrigues Andréa Oliveira de Souza Silva Cláudio Medeiros Leopoldino Giovanni Silva Paiva José Ailton Alencar Andrade Lúcia Helena Pulcherio de Medeiros Margareth das Graças Reis Dantas Maria das Graças Moreira Costa Maria Terezinha Filgueira Galvão Neyara Kelna Bezerra de Aguiar Equipe de apoio César Ramos Pimentel Marlene Salgado de Souza Vera Lúcia Maria da Silva Consultores Antônio César Perri de Carvalho Eugênia Maria Reginato Charnet Luiz José de Macêdo Maria Mitsuko Okuda


INTRODUÇÃO

O ENC, implantado gradualmente desde 1996, ao atingir em 2001 a quase

maioria dos graduandos e vinte áreas, já se encontra consolidado. Dentro de uma

política de avaliação dos cursos de graduação do País, o ENC tem se constituído um

instrumento de extrema importância para o diagnóstico das condições dos

graduandos.

Dentro da concepção em que foi criado, além de fornecer subsídios para

diversas análises específicas a cada curso, através do desempenho dos graduandos,

o ENC busca discriminar os cursos de diferentes níveis de desempenho em cada ano

de sua aplicação.

O critério adotado para a classificação dos cursos nos conceitos tem sido

questionado em eventos variados e nos Seminários “Para melhorar, não basta

avaliar”, já efetivados em oito áreas. Nestas oportunidades, algumas IES têm

encaminhado propostas sobre a revisão dos critérios adotados.

O propósito deste estudo é apresentar simulações com base em novos critérios

para atribuição dos conceitos aos cursos no Exame.


ATRIBUIÇÃO DOS CONCEITOS

Desde o primeiro Exame, uma grande preocupação, que tem sido constante, diz

respeito à utilização dos resultados e às interpretações que podem ser feitas a partir

destes. A idéia de simplesmente apresentar os resultados dos desempenhos de cada

um dos cursos foi evitada para que não fossem estimuladas as comparações

individuais, mas sim evidenciada a diferença entre grupos de instituições. Desta forma,

a opção por atribuição de conceitos pareceu, em princípio, a mais adequada,

separando os cursos em grupos distintos segundo seus desempenhos. Para alcançar

o objetivo de identificar grupos distintos quanto ao desempenho, estes grupos foram

constituídos abrangendo, respectivamente, os 30% de melhor desempenho, os 40%

de desempenho médio e os 30% de desempenho mais fraco. Essa distribuição tomou

como base o princípio, já bastante conhecido na análise de itens, que, no estudo da

discriminação de um item, considera o desempenho dos grupos superior e inferior –

usualmente os 27% com melhores desempenhos e os 27% com desempenhos mais

fracos, respectivamente. A partir deste princípio, com os desempenhos das instituições

já ordenados, foram constituídos três grandes grupos, determinados pelos percentis

30 e 70. Dada a heterogeneidade ainda encontrada nos dois grupos extremos, foram

estabelecidas, então, cinco faixas para atribuição dos conceitos, dividindo-se cada um

dos grupos extremos em dois. A atribuição dos conceitos no ENC ficou estabelecida a

partir dos grupos determinados pelos percentis 12, 30, 70 e 88. Desta forma, aos 12%

das instituições com desempenhos mais fracos atribui-se o conceito E, aos 18%

seguintes, o conceito D, aos 40% com desempenho médio, o conceito C, e os

conceitos B e A são atribuídos aos 18% e 12% com desempenhos mais altos,

respectivamente. Este critério, embora tenha se mostrado instrumento adequado para

a discriminação de diferentes cursos, tem sido apontado recorrentemente, por setores

da Comunidade Acadêmica, nos diversos seminários promovidos pelo Inep/MEC,

como insatisfatório para detectar a desejável evolução da qualidade do Sistema, uma

vez que estabelece percentis fixos para a atribuição dos conceitos; deveria ser ele,

então, aplicado durante um certo período, para que, a partir de constantes estudos,

pudesse ser estabelecida alguma forma alternativa que se mostrasse mais apropriada.


ANÁLISE DO CRITÉRIO ATUAL PARA ATRIBUIÇÃO DE CONCEITOS

Visando ao aperfeiçoamento do Sistema, a equipe de Estatística do Inep vem

examinando as diversas sugestões apresentadas por diferentes interessados no

processo e analisando o impacto de diferentes critérios na atribuição dos conceitos.

Na maioria das vezes, as mudanças eram praticamente inexistentes para alguns

critérios e, em alguns casos, as alterações provocavam mudanças absolutamente

inadequadas, como um percentual muito alto de conceito C e percentuais muito baixos

(quase nulos) de conceito E ou A – invalidando, assim, a idéia de discriminar os

diferentes desempenhos das instituições.

Neste ponto, faz-se necessária uma análise mais detalhada de como ocorre a

atribuição dos conceitos segundo o comportamento do desempenho dos cursos em

cada Exame, ou seja, a partir das distribuições das notas obtidas pelas IES.

O desempenho do curso é expresso pela média das notas de seus alunos. E,

portanto, os percentis desta distribuição determinam os grupos que deverão receber

os conceitos de A a E.

Para melhor compreensão das implicações dos diferentes critérios, é necessário

analisar as diferentes formas desta distribuição e as implicações do critério de

atribuição dos conceitos, dependendo da forma desta distribuição.

a) Distribuições em forma de sino – aproximadamente normais

As análises das distribuições das notas dos cursos ao longo destes anos têm

demonstrado que um grande número delas apresenta forma de sino, ou seja, podem

ser consideradas como distribuições aproximadamente normais. Essa forma de

distribuição é bastante conhecida (também chamada de Gaussiana ou curva de

Gauss) e apresenta certas características e propriedades, como a própria forma (de

sino), a simetria em torno da média – onde ocorre o pico da distribuição –, uma

maior proporção de observações concentradas em torno da média e proporções

menores e iguais de observações muito abaixo ou muito acima da média, como

mostra a Figura 1.


Figura 1: Distribuição Normal

A curva (ou função densidade de probabilidade), como é mostrada acima, possibilita determinar probabilidades de a variável com tal distribuição assumir valores em intervalos de interesse. Por exemplo, nessa ilustração, a área entre os pontos a e b representa a probabilidade P[a < X < b]. Usualmente, o histograma correspondente a um conjunto de observações a partir das freqüências, ou freqüências relativas das observações, dá uma idéia aproximada da forma da distribuição, sendo a área do histograma igual a 1, ou seja, representando 100% das observações.

Nos casos em que a distribuição das notas dos cursos (médias dos graduandos) tem

aproximadamente esta forma, o critério atual, fixando percentis, é equivalente ao critério que

fixa os intervalos a partir da média e do desvio-padrão da distribuição – como podemos

observar no Quadro 1 as áreas sob a curva normal nos intervalos correspondentes.

Quadro 1: Áreas sob a curva Normal para alguns intervalos

Conforme se verifica no quadro acima, fixar os percentis 12, 30, 70 e 88, nesta situação, é equivalente a determinar as faixas de conceitos a partir de intervalos em torno da média e de um certo número de desvios-padrão. Ou seja, o percentil 12

INTERVALO ÁREA

(< (µ – 1,17499σ) )

(p12)

0,12

(12%)

( µ – 1,17499σ ; µ – 0,52440σ )

(p30)

0,18

(18%)

( µ – 0,52440σ ; µ + 0,5244σ )

(p70)

0,40

(40%)

( µ + 0,5244σ ; µ + 1,17499σ )

0,18

(18%)

( > µ + 1,17499σ ) (p88)

0,12

(12%)


corresponde, em uma distribuição Normal, ao ponto •-1,17499•; o percentil 30, ao ponto •-0,52440•; o percentil 70, ao ponto •+0,52440•; e, finalmente, o percentil 88 corresponde ao ponto •+1,17499•. O Quadro 2 apresenta outros valores para diferentes intervalos da curva Normal.

Quadro 2: Áreas sob a curva Normal para intervalos ( µ ± kσ ), para diferentes

valores de k

Outro resultado importante, válido para distribuições aproximadamente normais

ou em forma de sino, estabelece o seguinte:

Quadro 3: Lei Empírica

Ou seja: espera-se que, nas distribuições em forma de sino, aproximadamente

68% das observações se encontrem no intervalo entre 1 desvio-padrão (d.p.) abaixo e

acima da média, 95% delas, em torno de 2 d.p. da média e, praticamente, todas as

observações se encontrem no intervalo de 3 d.p. da média.

Assim, verifica-se que, no caso de distribuições aproximadamente normais, a

atribuição dos conceitos, da forma como é feita, é equivalente à determinação dos

intervalos a partir dos d.p. em torno da média, e que os percentuais são perfeitamente

razoáveis, uma vez que, pela simetria – com proporções aproximadamente iguais nas

caudas –, é adequado atribuir-se a mesma proporção de conceitos para as faixas

INTERVALO Probabilidade INTERVALO Probabilidade

( µ ± 1,0σ ) 0,682689 (- ∞ ; µ - 1,0 σ ) ou (µ +1,0 σ ; + ∞ ) 0,15866

( µ ± 1,5σ ) 0,866386 (- ∞ ; µ - 1,5 σ ) ou (µ +1,5 σ ; + ∞ ) 0,06681

( µ ± 1,64σ ) 0,90003 (- ∞ ; µ - 1,64 σ ) ou (µ +1,64 σ ; + ∞ ) 0,04998

( µ ± 1,96σ ) 0,950004 (- ∞ ; µ – 1,96 σ ) ou (µ +1,96 σ ; + ∞ ) 0,025

( µ ± 2,0σ ) 0,954500 (- ∞ ; µ - 2,0 σ ) ou (µ +2,0 σ ; + ∞ ) 0,02275

( µ ± 2,5σ ) 0,987581 (- ∞ ; µ - 2,5 σ ) ou (µ +2,5 σ ; + ∞ ) 0,00621

( µ ± 3,0σ ) 0,9973 (- ∞ ; µ - 3,0 σ ) ou (µ +3,0 σ ; + ∞ ) 0,00135

( µ ± 3,0σ ) 0,99954 (- ∞ ; µ - 3,5 σ ) ou (µ + 3,5 σ ; + ∞ ) 0,00023

Lei Empírica

Intervalo Aproximadamente

( µ ± 1,0σ ) 68%

( µ ± 2,0σ ) 95%

( µ ± 3,0σ ) 99%


extremas e menor do que a proporção de conceitos na faixa central, ou seja, 40%. Por

esta razão, o critério que fixa as faixas a partir da média e do d.p. da distribuição, quando

comparado com o critério atual, não modifica significantemente a distribuição dos

conceitos.

b) Distribuições assimétricas

Vimos que, quando a distribuição das notas dos cursos é aproximadamente normal ou

pelo menos em forma de sino e com as características já mencionadas, podemos modificar

o critério atual, fixando-se os intervalos a partir da média e do d.p da distribuição, e os

resultados são praticamente os mesmos. Ou seja, podemos propor o seguinte critério

alternativo: calcular a média e o desvio-padrão da distribuição dos desempenhos dos cursos e, a partir destes valores, atribuir o conceito E aos cursos com desempenhos abaixo

de 1 desvio-padrão da média; atribuir o conceito D aos cursos cujos desempenhos

estiverem no intervalo entre 1 e 0,5 desvio-padrão abaixo da média; atribuir o conceito C

aos cursos que tiverem seus desempenhos no intervalo de 0,5 desvio-padrão em torno da

média; aos cursos com desempenhos entre 0,5 e 1 desvio-padrão acima da média, atribuir

o conceito B; finalmente, aos cursos com desempenhos acima de 1 desvio-padrão da

média, atribuir o conceito A. O Quadro 4, a seguir, resume esta proposta.

Quadro 4: Proposta para atribuição dos conceitos

INTERVALO ÁREA CONCEITO

( ≤ µ – 1,0σ) 0,158655 (15,87%) E

(µ – 1,0 σ ; µ – 0,5σ]

0,149883 (15%) D

(µ – 0,5 σ ; µ + 0,5σ)

0,382924 (38%) C

[µ + 0,5 σ ; µ + 1,0σ)

0,149883 (15%) B

( ≥ µ + 1,0σ)

0,158655 (15,87%) A


CONSIDERAÇÕES SOBRE TIPOS DE DISTRIBUIÇÕES

No caso de distribuições assimétricas, as proporções de observações nas

caudas não são iguais, como no caso da distribuição Normal, e, portanto, não é

perfeitamente adequado que se atribua o mesmo número de conceitos para os grupos

extremos. Embora esta situação não seja a mais comum nestes anos de realização do

ENC, entendemos que o momento parece apropriado para esta revisão, uma vez que

se espera, com a consolidação do Exame, o aumento da proporção de cursos com

desempenhos melhores, ou, em outras palavras, espera-se que a distribuição das

notas dos cursos seja assimétrica à esquerda. Neste caso, a expectativa é ver este

fato refletido na proporção de conceitos mais baixos menor do que a proporção de

conceitos mais altos. Por outro lado (na situação indesejável, porém possível para

alguns cursos), pode ocorrer uma proporção menor de cursos com desempenho

melhor do que aqueles com desempenhos mais fracos. Neste caso também

gostaríamos de ver esta situação refletida na atribuição de conceitos, tendo um

número de conceitos baixos superior ao de conceitos altos. Este novo critério

contempla estas situações e, portanto, ao ser utilizado pelo ENC, espera-se que

algumas alterações nos cursos que já realizaram o ENC pelo menos três vezes

estejam refletidas nos resultados do Exame.

Para ilustrar algumas das situações mencionadas e comparar a atribuição dos

conceitos a partir do critério atual e do critério proposto, são apresentadas algumas

situações possíveis em que praticamente não há mudanças nos conceitos atribuídos e

outras em que o critério proposto se mostra mais adequado.


METODOLOGIA

Considere-se, em um determinado ano, um conjunto de N graduandos de um

mesmo curso, provenientes de k instituições, identificadas pelo seu código, onde

∑=

=k

iin

1

N , sendo ni o número de graduandos da instituição i, i = 1, 2, ..., k.

No caso do ENC, como o interesse está em discriminar os cursos de melhor

desempenho daqueles de desempenho mais fraco, a referência é o curso da

Instituição e, portanto, a distribuição em estudo é a distribuição das k notas (médias)

através da qual pode-se determinar a posição do curso da instituição, relativa aos

outros cursos participantes do ENC em determinado ano, e, a partir desta distribuição,

fazer a atribuição dos conceitos.

Quando se trata de avaliação, pode-se trabalhar com as notas brutas ou com

notas obtidas a partir de diferentes transformações nas notas originais. Uma das

transformações mais utilizadas é a linear, que torna a distribuição original em uma

distribuição com média 500 e desvio-padrão 100, de maneira que a forma da

distribuição original não seja alterada. Esta transformação é dada por:

500100 +×⎟⎠⎞

⎜⎝⎛ −

=οµXY ; onde X: é a nota original,

µ: é a média da distribuição das notas originais e

σ: é o desvio-padrão da distribuição das notas

originais.

Transformações deste tipo implicam que a nota transformada, Y, corresponde à

distância da média, medida em d.p. Por exemplo, uma nota padronizada como no

modelo acima, em que Y = 650, significa que esta nota está situada a 1,5 d.p. acima

da média da distribuição (com média = 500 e d.p. = 100). Uma nota Y = 400 está

situada a 1 d.p. abaixo da média da distribuição. E assim por diante.

σ


EXEMPLOS DE ALGUMAS SITUAÇÕES POSSÍVEIS ATRIBUIÇÃO DOS CONCEITOS

O presente estudo compara o critério atual, que fixa percentis para determinar as

faixas para atribuição dos conceitos, com um outro que determina as faixas a partir da

média e do d.p. da distribuição das notas das instituições (segundo estudo).

O critério proposto leva em conta a média e o d.p. da distribuição, da seguinte forma:

Instituições com Notas abaixo de µ – 1,0σ (inclusive) => E

Instituições com Notas entre µ – 1,0σ até µ – 0,5σ (inclusive) => D

Instituições com Notas entre µ – 0,5σ até µ + 0,5σ => C

Instituições com Notas entre µ + 0,5σ (inclusive) até µ + 1,0σ => B

Instituições com Notas acima de µ + 1,0σ (inclusive) => A

O critério atual, fixando os percentis, atribui o mesmo percentual de conceitos

para as faixas extremas, ou seja, as duas faixas das caudas que correspondem a 30%

e depois são subdivididas. Quando a distribuição é aproximadamente simétrica, este

critério é adequado, porém, quando ocorre assimetria, há uma certa distorção nesta

atribuição para algumas faixas. O critério proposto, utilizando a média e o d.p. da

distribuição, atribui percentuais diferentes, conforme a assimetria da distribuição.

Consideremos alguns exemplos de conjuntos de cursos com diferentes perfis.

Exemplo 1:

Suponhamos 60 cursos com um total de 1.192 graduandos. Portanto, N = 1.192

e k = 60.

O estudo de interesse refere-se aos cursos, objeto principal do ENC. Assim,

interessa o desempenho de cada um dos 60 cursos. Para tanto, após identificados os


graduandos do curso i, a média dos ni graduandos deste curso é calculada e passa a

ser, então, a referência do desempenho daquele curso.

Suponha-se que os resultados, considerando-se as notas brutas dos graduandos

(pode-se igualmente trabalhar com as notas já padronizadas), expressem as médias

dos cursos conforme o quadro abaixo:

Quadro 5: Médias dos 60 Cursos

Curso (i) Média Curso (i) Média

1 34,9 31 47,9

2 27,3 32 31,7

3 31,3 33 34,7

4 37,9 34 24,1

5 44,2 35 20,9

6 27,3 36 8,3

7 9,2 37 52,4

8 17,6 38 18,1

9 39,2 39 22,4

10 17,7 40 29,1

11 45,1 41 80,5

12 40,5 42 24,2

13 32,2 43 57,7

14 88,9 44 44,9

15 51,5 45 43,4

16 44,8 46 4,1

17 10,6 47 9,3

18 27,6 48 7,6

19 63,6 49 9,8

20 9,8 50 31,7

21 49,0 51 8,0

22 16,7 52 17,5

23 21,7 53 80,8

24 33,3 54 49,7

25 9,1 55 22,9

26 29,8 56 42,7

27 6,3 57 69,0

28 32,5 58 44,6

29 23,5 59 33,4

30 16,9 60 8,2


Esses dados são utilizados na comparação dos desempenhos dos 60 cursos. A

distribuição das notas (médias) dos cursos é que vai permitir a atribuição dos

conceitos a cada um deles. Neste exemplo, a distribuição é a seguinte:

Figura 2: Análise do desempenho dos 60 cursos

Neste exemplo, o histograma revela uma assimetria à direita, ou seja, nota-se

uma grande concentração de notas mais baixas em proporção maior do que de notas

nas faixas mais altas. Dada essa assimetria, não parece adequado atribuir-se a

mesma proporção de conceitos A e B e conceitos D e E.

Aplicando-se o critério atual e o critério proposto, a comparação dos conceitos

atribuídos está no Quadro 6. As alterações aparecem em negrito:

Quadro 6: Comparação dos dois critérios

Curso (i)

Média

% (acumulado)

Conceito Atual

Conceito Proposto

46 4,1 1,67 E E 27 6,3 3,33 E E 48 7,6 5,00 E E 51 8,0 6,67 E E 60 8,2 8,33 E E 36 8,3 10,00 E E 25 9,1 11,67 E E 7 9,2 13,33 D E 47 9,3 15,00 D E


20 9,8 16,67 D E 20 9,8 18,33 D E 17 10,6 20,00 D E 22 16,7 21,67 D D 30 16,9 23,33 D D 52 17,5 25,00 D D 8 17,6 26,67 D D 10 17,7 28,33 D D 38 18,1 30,00 C D 35 20,9 31,67 C D 23 21,7 33,33 C D 39 22,4 35,00 C C 55 22,9 36,67 C C 29 23,5 38,33 C C 34 24,1 40,00 C C 42 24,2 41,67 C C 2 27,3 43,33 C C 2 27,3 45,00 C C 18 27,6 46,67 C C 40 29,1 48,33 C C 26 29,8 50,00 C C 3 31,3 51,67 C C 32 31,7 53,33 C C 32 31,7 55,00 C C 13 32,2 56,67 C C 28 32,5 58,33 C C 24 33,3 60,00 C C 59 33,4 61,67 C C 33 34,7 63,33 C C 1 34,9 65,00 C C 4 37,9 66,67 C C 9 39,2 68,33 C C 12 40,5 70,00 B C 56 42,7 71,67 B B 45 43,4 73,33 B B 5 44,2 75,00 B B 58 44,6 76,67 B B 16 44,8 78,33 B B 44 44,9 80,00 B B 11 45,1 81,67 B B


31 47,9 83,33 B B 21 49,0 85,00 B B 54 49,7 86,67 B B 15 51,5 88,33 A B

37 52,4 90,00 A A 43 57,7 91,67 A A 19 63,6 93,33 A A 57 69,0 95,00 A A 41 80,5 96,67 A A 53 80,8 98,33 A A 14 88,9 100,00 A A

Verifica-se que cinco cursos passam de conceito D para E, três cursos passam

de conceito C para D e um curso passa de B para A, refletindo melhor o desempenho

desses grupos de cursos.

O diagrama de pontos ilustrando a distribuição de notas (Figura 3) permite uma

comparação da adequação da atribuição dos conceitos pelos dois critérios.

Figura 3: Diagrama de pontos das médias – Exemplo 1


Em resumo, a comparação dos dois critérios (atual e proposto) encontra-se no

Quadro 7.

Quadro 7: Comparação entre os dois critérios (atual e proposto)

CRITÉRIO ATUAL TOTAL CONCEITOS

A B C D E (%) 8

A 7 1 0 0 0 (13,33) 11

B 0 10 1 0 0 (18,33) 24

C 0 0 21 3 0 (40,00) 10

D 0 0 0 5 5 (16,67) 7

E 0 0 0 0 7 (11,67) TOTAL 7 11 22 8 12 60

C R I

T É R I O

P R O P O S T O

(%) (11,67) (18,33) (36,67) (13,33) (20,00)

Conceito Atual

Conceito Proposto

8 A 7 A 11 B 11 B 24 C 22 C 10 D 8 D 7 E 12 E N = 60 N = 60

Neste exemplo, as alterações foram maiores nas faixas da esquerda, por

apresentarem uma maior concentração de notas. Esta situação exemplifica aqueles

casos em que não parece ser adequada a ocorrência de proporções iguais de

conceitos A e B e de conceitos D e E; além disso, a proporção de conceitos C parece

estar mais condizente com o critério proposto do que com o critério atual.


Exemplo 2:

Consideremos agora o mesmo número de cursos que no exemplo 1,

apresentando o histograma como na Figura 4. Note-se que, pelo critério atual, o

número de cursos com conceitos A, B, C, D e E será o mesmo que no exemplo

anterior, embora as distribuições sejam bastante diferentes.

Figura 4: Histograma das médias – Exemplo 2

As notas dos cursos e a atribuição dos conceitos segundo os dois critérios

encontram-se no Quadro 8.

Quadro 8: Comparação entre os critérios

Médias %acum. Atual Proposto

1,10 1,67 E E

9,17 3,33 E E

9,48 5,00 E E

21,01 6,67 E E

26,44 8,33 E E

32,30 10,00 E E

37,63 11,67 E E

38,50 13,33 D D

40,28 15,00 D D

41,00 16,67 D D

42,07 18,33 D D

44,92 20,00 D D

45,08 21,67 D D

45,24 23,33 D D


45,38 25,00 D D

45,84 26,67 D D

46,56 28,33 D D

47,30 30,00 C D 49,46 31,67 C C

50,78 33,33 C C

52,07 35,00 C C

55,07 36,67 C C

55,29 38,33 C C

56,58 40,00 C C

56,71 41,67 C C

57,49 43,33 C C

57,85 45,00 C C

58,29 46,67 C C

58,35 48,33 C C

58,70 50,00 C C

60,17 51,67 C C

60,87 53,33 C C

62,38 55,00 C C

62,68 56,67 C C

62,72 58,33 C C

65,83 60,00 C C

65,87 61,67 C C

66,53 63,33 C C

67,11 65,00 C C

67,62 66,67 C C

68,29 68,33 C B 69,07 70,00 B B

71,95 71,67 B B

72,28 73,33 B B

72,39 75,00 B B

72,52 76,67 B B

73,14 78,33 B B

73,32 80,00 B B


79,39 81,67 B A 80,22 83,33 B A 80,23 85,00 B A 80,66 86,67 B A 80,83 88,33 A A

80,91 90,00 A A

81,68 91,67 A A

81,77 93,33 A A

82,04 95,00 A A

82,41 96,67 A A

83,72 98,33 A A

85,94 100,00 A A

Neste exemplo, as alterações ocorrem principalmente na atribuição dos

conceitos aos cursos cujas médias encontram-se na cauda superior. Aqui também,

como no primeiro caso, dada a forma da distribuição, não parece adequado o critério

que atribui a mesma proporção de conceitos A e B e de conceitos D e E. Com a

atribuição do critério proposto, um curso passa de C para D, outro, de C para B e

quatro passam de B para A, refletindo melhor a distribuição de notas apresentada

pelos cursos. A Figura 4 apresenta o diagrama de pontos das médias dos cursos, e

no Quadro 9 encontra-se o resumo da comparação entre os dois critérios aplicados

neste exemplo.




A B C D E (%) 12

A 8 4 0 0 0 (20,00) 8

B 0 7 1 0 0 (13,33) 22

C 0 0 22 0 0 (36,67) 11

D 0 0 1 10 0 (18,33) 7

E 0 0 0 0 7 (11,67) TOTAL 8 11 24 10 7 60

C R I

T É R I O

P R O P O S T O

(%) (13,33) (18,33) (40,00) (16,67) (11,67)

Conceito

Atual Conceito Proposto

8 A 12 A 11 B 8 B 24 C 22 C 10 D 11 D 7 E 7 E N = 60 N = 60

Figura 4: Diagrama de Pontos das médias – Exemplo 2


Exemplo 3:

Consideremos agora N = 250 cursos, com a distribuição e estatísticas,

respectivamente, expressas na Figura 5 e no Quadro 10:

Figura 5: Histograma das médias dos 250 cursos – Exemplo 3

Quadro 10: Estatísticas das Médias dos 250 cursos – Exemplo 3

N Média Mediana D.P. Mínimo Máximo Q1 Q3

250 75,6 77,6 12,5 29,1 97,3 68,5 85,5

Nota-se que, neste exemplo, a forma da distribuição das notas dos 250 cursos é como a do exemplo anterior, ou seja, é assimétrica à esquerda, com maior concentração de notas mais altas do que de notas baixas, com 50% das notas entre 68,5 e 85,5. Neste caso, também não parece adequado atribuir a mesma proporção de conceitos para desempenhos mais altos e para desempenhos mais baixos, uma vez que há uma proporção bem menor de médias baixas do que de médias altas. Considerando os dois critérios, a atribuição dos conceitos é a seguinte:

Quadro 11: Atribuição dos Conceitos segundo os dois critérios

(CONTINUA)

MÉDIA ATUAL PROP MÉDIA ATUAL PROP MÉDIA ATUAL PROP 29,1 E E 55,6 E E 63,8 D D

40,5 E E 55,8 E E 64,1 D D

41,5 E E 55,8 E E 64,4 D D

42,2 E E 56,1 E E 64,6 D D

45,9 E E 56,2 E E 64,8 D D

46,1 E E 57,4 E E 64,8 D D

46,3 E E 58,1 E E 65,2 D D


(CONTINUAÇÃO)

47,0 E E 59,9 E E 65,2 D D

48,3 E E 59,9 E E 65,2 D D

48,9 E E 60,3 D E 65,2 D D

50,2 E E 60,4 D E 65,3 D D

50,6 E E 60,9 D E 65,8 D D

50,9 E E 60,9 D E 65,9 D D

52,6 E E 61,9 D E 66,4 D D

53,5 E E 62,0 D E 66,8 D D

54,1 E E 62,4 D E 66,9 D D

54,4 E E 62,5 D E 67,6 D D

54,7 E E 62,6 D E 67,8 D D

55,3 E E 63,1 D E 67,8 D D

55,5 E E 63,6 D D 68,0 D D

68,4 D D 74,2 C C 77,6 C C 68,5 D D 74,2 C C 77,9 C C 68,6 D D 74,5 C C 78,2 C C 69,1 D D 74,7 C C 78,2 C C 69,1 D D 75,0 C C 78,2 C C 69,3 D D 75,0 C C 78,3 C C 69,6 D C 75,1 C C 78,3 C C 69,8 D C 75,1 C C 78,3 C C 69,9 D C 75,3 C C 78,5 C C

70,1 D C 75,4 C C 78,5 C C 70,2 D C 75,5 C C 78,6 C C 70,3 D C 75,5 C C 78,8 C C 70,7 D C 75,5 C C 78,9 C C 71,0 C C 75,7 C C 79,1 C C 71,0 C C 75,7 C C 79,2 C C 71,1 C C 75,9 C C 79,3 C C 71,1 C C 76,0 C C 79,3 C C 71,2 C C 76,2 C C 79,4 C C 71,3 C C 76,2 C C 79,9 C C

71,3 C C 76,4 C C 79,9 C C 71,3 C C 76,5 C C 79,9 C C 71,7 C C 76,6 C C 80,0 C C


(CONTINUAÇÃO)

71,8 C C 76,8 C C 80,0 C C 71,9 C C 76,8 C C 80,0 C C 72,0 C C 76,9 C C 80,0 C C 72,0 C C 77,0 C C 80,1 C C 72,3 C C 77,2 C C 80,2 C C 72,4 C C 77,2 C C 80,3 C C 72,9 C C 77,3 C C 80,4 C C 73,1 C C 77,4 C C 80,5 C C

73,2 C C 77,4 C C 80,5 C C

73,5 C C 77,5 C C 80,5 C C

74,0 C C 77,6 C C 80,6 C C

80,7 C C 85,9 B B 89,6 A A

81,3 C C 85,9 B B 89,8 A A

81,4 C C 86,0 B B 90,0 A A

81,5 C C 86,2 B B 90,1 A A

81,6 C C 86,3 B B 90,3 A A

81,8 C C 86,4 B B 90,4 A A

82,0 C B 86,4 B B 90,4 A A

82,0 C B 86,6 B B 90,8 A A

82,1 C B 86,6 B B 91,0 A A

82,1 C B 86,9 B B 91,2 A A

82,2 C B 86,9 B B 91,3 A A

82,2 C B 87,0 B B 91,3 A A

82,4 C B 87,1 B B 91,5 A A

82,5 C B 87,2 B B 91,5 A A

82,7 C B 87,3 B B 92,3 A A

83,1 B B 87,4 B B 92,7 A A

83,3 B B 87,6 B B 92,7 A A

83,5 B B 87,7 B B 93,0 A A

83,5 B B 88,1 B A 93,2 A A

83,5 B B 88,1 B A 94,1 A A


(CONCLUSÃO)

83,7 B B 88,2 B A 94,2 A A

84,2 B B 88,2 B A 94,5 A A

84,3 B B 88,4 B A 95,7 A A

84,4 B B 88,4 B A 96,7 A A

84,5 B B 88,7 B A 97,0 A A

85,1 B B 88,8 B A 97,1 A A

85,4 B B 88,9 B A 97,3 A A

85,4 B B 89,0 B A

85,5 B B 89,1 A A

85,5 B B 89,4 A A

85,6 B B 89,5 A A

85,6 B B 89,6 A A

Nota-se que a proporção de A aumenta de 12,40% para 16,40% e que a

proporção de D diminui, aumentando a proporção de E, como o esperado. Resumindo,

ocorrem as seguintes alterações:


CRITÉRIO ATUAL CONCEITOS

A B C D E TOTAL (%)

A 31 10 0 0 0 41 (16,40)

B 0 35 9 0 0 44 (17,60)

C 0 0 92 7 0 99 (39,60)

D 0 0 0 27 0 27 (10,80)

E 0 0 0 10 29 39 (15,60)

TOTAL 31 45 101 44 29 250

C R I T É R I O

P R O P O S T O

(%) (12,40) (18,00) (40,40) (17,60) (11,60)


Conceito


31 A 41 A 45 B 44 B 101 C 99 C 44 D 27 D 29 E 39 E N = 250 N = 250

O diagrama de pontos correspondente às médias desses cursos pode ser visto

na Figura 6.

Exemplo 4:

Consideremos como último exemplo o mesmo número de cursos, N = 250, com

distribuição das médias assimétrica à direita, como mostra o histograma abaixo (Figura 7).

Figura 7: Histograma das médias dos 250 cursos – Exemplo 4



Quadro 13: Estatísticas das Médias dos 250 cursos – Exemplo 4

N Média Mediana D.P. Mínimo Máximo Q1 Q3

250 14,9 12,4 11,8 0,0 60,9 5,5 21,5

Nota-se neste exemplo uma situação oposta à do exemplo anterior. A forma da

distribuição das notas dos 250 cursos é assimétrica à direita, com maior concentração

de notas mais baixas do que de notas altas. As notas variam de 0,0 a 60,9, com 50%

delas entre 5,5 e 21,5. Neste caso, também não parece adequado atribuir a mesma

proporção de conceitos para desempenhos mais altos e para desempenhos mais

baixos, uma vez que há uma proporção bem menor de médias altas do que de médias

baixas. A Figura 8 mostra o diagrama de pontos para as médias desses 250 cursos, e

o Quadro 14 apresenta a comparação entre os dois critérios.





A B C D E (%) 40

A 31 9 0 0 0 (16,00) 26

B 0 26 0 0 0 (10,40) 94

C 0 10 84 0 0 (37,60) 49

D 0 0 16 34 0 (19,60) 41

E 0 0 0 11 29 (16,40) TOTAL 31 45 100 45 29 250

C R I

T É R I O

P R O P O S T O

(%) (12,40) (18,00) (40,00) (18,00) (11,60)

Conceito


31 A 40 A 45 B 26 B 100 C 94 C 45 D 49 D 29 E 41 E N = 250 N = 250

Neste exemplo, com a utilização do critério proposto, ocorreram as seguintes

alterações: nove cursos passaram de B para A, dez cursos, de B para C, dezesseis, de

C para D e doze, de D para E, refletindo melhor a distribuição das médias dos cursos.


CONCLUSÃO

A partir dos exemplos apresentados, pode-se verificar que o critério proposto traz

algumas vantagens com relação ao atual, especialmente nos casos de distribuições

assimétricas. As simulações com os casos reais foram também realizadas para os

cursos que participaram do ENC nos anos anteriores, e as conclusões são

semelhantes às apresentadas aqui.


LEGENDA PARA OS GRÁFICOS

Os gráficos apresentados fornecem o histograma dos dados comparado com

uma curva Normal, com média e variância iguais às dos dados observados. Neste

caso, os dados são as médias das instituições para cada curso no ano de 1999.

Legenda para o gráfico “Descriptive Statistics” (estatísticas descritivas)

• Variable: nome dado à variável em estudo.

Neste caso, definimos como Média_ano_x, representando a média das

instituições no ano para o curso x. Por exemplo: Média_99_1 refere-se ao

conjunto das médias das instituições no ano de 1999, do curso 1 (Administração)

• Anderson-Darling Normality Test: Teste de normalidade utilizado

A-Squared: o valor da estatística do teste

P-value: valor crítico, que indica se o valor encontrado é estatisticamente

significante para o teste em questão.

• Mean: Média Aritmética

• StDev: Desvio-Padrão

• Variance: Variância (o quadrado do desvio-padrão)

• Skewness: Medida da assimetria de uma distribuição, ou a tendência de uma das

caudas da distribuição ser mais “pesada” do que a outra. Um valor negativo

indica assimetria à esquerda e um valor positivo indica uma assimetria à direita,

embora um valor igual a zero não indique necessariamente simetria da

distribuição.

• Kurtosis: Medida de quanto a distribuição difere da distribuição Normal. Um valor

negativo tipicamente indica uma distribuição com caudas mais “pesadas” do que

as caudas da distribuição Normal. Um valor positivo indica uma distribuição com

caudas menos pesadas do que as caudas da Normal.

• N: Número total de observações.

• Minimum: Valor mínimo observado.

• 1st Quartile: Primeiro quartil, ou Q1; o 25º percentil dos dados – 25% das

observações estão abaixo deste valor (Q1).


• 3rd Quartile: Terceiro quartil, ou Q3; o 75º percentil dos dados – 75% das

observações estão abaixo deste valor.

• Median: Mediana; o 50º percentil dos dados – 50% das observações estão

abaixo deste valor.

Os demais dados referem-se aos intervalos de confiança para a média (µ), para

o desvio-padrão (σ) e para a Mediana. Não são de interesse para este estudo.

CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS - unc.edu · seguintes, o conceito D, aos 40%...

Documents

Transcript of CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS - unc.edu · seguintes, o conceito D, aos 40%...