Download - DISSERTAÇÃO Alyson Barros

8/3/2019 DISSERTAO Alyson Barros

1/119

1

Universidade Federal do Rio Grande do Norte

Centro de Cincias Humanas, Letras e ArtesPrograma de Ps-Graduao em Psicologia

VALIDADE E CONFIABILIDADE DA VERSOINFORMATIZADA DO INVENTRIO MILLON DE

ESTILOS DE PERSONALIDADE

Alyson Canind Macdo de Barros

Natal (RN)2008


2/119

2

Alyson Canind Macdo de Barros

VALIDADE E CONFIABILIDADE DA VERSO INFORMATIZADA DOINVENTRIO MILLON DE ESTILOS DE PERSONALIDADE

Dissertao elaborada sob orientao do

Prof. Dr. Joo Carlos Alchieri e

apresentada ao Programa de Ps-Graduao em Psicologia da Universidade

Federal do Rio Grande do Norte, como

requisito parcial obteno do ttulo de

Mestre em Psicologia.

Natal (RN)2008


3/119

3

Universidade Federal do Rio Grande do Norte

Centro de Cincias Humanas, Letras e Artes

Programa de Ps-Graduao em Psicologia

A dissertao Validade e Confiabilidade da Verso Informatizada do Inventrio Millon de

Estilos de Personalidade elaborada por Alyson Canind Macdo de Barros foi considerada

aprovada por todos os membros da Banca Examinadora e aceita pelo Programa de Ps-

Graduao em Psicologia, como requisito parcial obteno do ttulo de Mestre em

Psicologia.

Natal (RN), 30 de Julho de 2008.

BANCA EXAMINADORA

_______________________________________________

Prof. Dr. Joo Carlos Alchieri (UFRN, Orientador)

_______________________________________________

Prof. Dr. Valdiney Gouveia (UFPB,Membro Externo)

_______________________________________________ Prof. Dr. Jorge Falco (UFRN,Membro Interno)


4/119

4

Always look on the bright side of life....

Monty Phyton.


5/119

5

minha me Zildalte, fonte de f e segurana. minha noiva Zaissa pelo sincero amor.


6/119

6

AGRADECIMENTOS

Agradeo a todos os que possibilitaram este sonho metodolgico possvel atravs de palavras

de conforto e carinho e, tambm desafio. Diante dos percalos de vidas pessoais e

profissionais, concluir o mestrado seria to somente uma regalia seno fosse uma paixo

estica pelo conhecimento. Diante destes realizei-me como Newton, s que pulando sobre o

ombro de um gigante para ver mais longe. Agradeo ao meu orientador Joo Carlos Alchieri

pela pacincia e dedicao neste projeto alcanado e nas orientaes seguidas.

Agradeo a todas as minhas hipteses de Deuses que desenharam este processo como proposta

de realizao e, principalmente, aprendizado.

Agradeo o apoio de Hugo C. R. Cmara, um futuro grande professor e atual grande homem,

pelos seus valiosos conhecimentos e exemplo de vida.

A Anderson Sousa, amigo de determinao obstinada pela felicidade, agradeo as horas

despendidas em lies de ingls.

minha noiva, Zaissa Macdo que sempre entendeu o tempo investido neste mestrado, assim

como compreendeu as dificuldades do mesmo.

Agradeo aos meus pais, irmos e familiares pelos anos de educao e aprimoramento de

meus valores humanos, pelos quais reverencio imensa estimao. Hoje, o eficaz TDAH um

presente poderoso para poder dar conta de tantas competncias ao mesmo tempo.


7/119

7

VALIDADE E CONFIABILIDADE DA VERSO INFORMATIZADA DOINVENTRIO MILLON DE ESTILOS DE PERSONALIDADE

RESUMO: Atualmente encontramos numerosos testes psicolgicos e no psicolgicospublicados sem procedimentos em diferentes reas, como inteligncia, estados emocionais,

atitudes, comportamento socialmente habilidoso, vocao, preferncias e outros. A testagempsicolgica informatizada uma extenso das prticas psicolgicas de testagem tradicionais,no entanto caracteriza-se por qualidades psicomtricas prprias, seja pela adequao aoambiente informatizado como tambm pela extenso de funes que pode adquirir. A presentepesquisa, originada atravs da necessidade de estudar os processos de validade econfiabilidade de um instrumento informatizado, delineou uma metodologia de aplicaesparalelas em vrios tipos de grupos operacionais, a partir do tempo e da forma de aplicao,intuindo discutir os aspectos relativos ao processo de informatizao. Esta validao refere-setanto aos valores dos grupos normativos quanto a reprodutibilidade informatizada dosprocessos de aplicao e tratamento dos dados. Escolhemos o Inventrio Millon de Estilos dePersonalidade, de Theodore Millon,para o processo de informatizao e estudos de validade e

confiabilidade. Para fundamentar a pesquisa abordou-se o tema atravs da contextualizao dopanorama brasileiro em testes psicolgicos, foram discutidas as vantagens e desvantagens detal prtica e foram avaliadas as formas de informatizao de testes atravs das aplicaes deum teste on-line. Disponibilizou-se o inventrio em um site especialmente preparado para apesquisa (http://www.planetapsi.com), por oito meses. Foi realizada uma aplicao do teste emmodo linear e em escala nacional em todas as regies brasileiras, obtendo 1508 aplicaes. Emseguida, organizamos nove grupos, totalizando 180 sujeitos nas aplicaes de teste e reteste,onde foram separadas trs faixas de tempo e trs formas de retestes para estudos dos testes on-line. Paralelo a isso, compomos ainda um grupo de aplicao multisesso off-line de 20sujeitos que receberam seus testes por e-mail. Os sujeitos deste estudo estavam distribudospelas cinco regies brasileiras e tomaram conhecimento do teste via internet. Com odesempenho dos testados nas aplicaes tradicionais e nos grupos on-line tivemos subsdiospara concluir que a aplicao on-line apresenta consistncia significativamente boa em todosos critrios de validade estudados. Esta validade justifica a sua utilizao, assim como estudossubseqentes. Os resultados dos testes on-line no s foram correlatos entre si como tambmforam semelhantes aos das testagens tradicionais (0,89) feitas em lpis e papel. Os retestesdemonstraram correlao entre si, variando entre 0,92 e 1, enquanto que as multisessesapresentaram bom resultado nestas comparaes (0,72). Alm disso, foram avaliados que oscritrios logsticos de adequao na forma informatizada, como a segurana, o desempenhodos usurios, as caractersticas ambientais, a organizao do banco de dados, os custosoperacionais e as limitaes do inventrio on-line, foram bastante satisfatrios, concluindo que

h viabilidade de um teste informatizado on-line com auto-aplicao. Os resultados obtidospor este trabalho podem ser de utilidade para nortear ulteriores estudos, aprofundando tanto oestabelecimento de metodologias de informatizao de testes psicolgicos no pas, quanto opapel do psiclogo diante de novas tecnologias.

Palavras Chave:

ValidadeConfiabilidade - Testes InformatizadosMIPSTeste on-line


8/119

8

VALIDITY AND RELIABILITY IN COMPUTERIZED MILLON INDEX OFPERSONALITY STYLES

ABSTRACT:Currently, several psychological and non-psychological tests can be found in publishes

without standardization on procedures set in different psychological areas, like intelligence,emotional states, attitudes, social skills, vocation, preferences and others. The computerizedpsychological testing is a extension of traditional testing psychological practices. However, ithas own psychometrics qualities, either by its matching in a computerized environment or bythe extension that can be developed in it. The current research, developed from a necessity tostudy process of validity and reliability on a computerized test, drew a methodologicalstructure to provide parallel applications in numerous kinds of operational groups, evaluatingthe influences of the time and approach in the computerization process. This validity refers tonormative values groups, reproducibility in computerized applications process and dataprocessing. Not every psychological test can be computerized. Therefore, our need to find agood test, with quality and plausible properties to transform in computerized application,

leaded us to use The Millon Personality Inventory, created by Theodore Millon. ThisInventory assesses personality according to 12 bipolarities distributed in 24 factors, distributedin categories motivational styles, cognitive targets and interpersonal relations. This instrumentdoesnt diagnose pathological features, but test normal and non adaptive aspects in human

personality, comparing with Theodore Millon theory of personality. In oder to support thisresearch in a Brazilian context in psychological testing, we discuss the theme, evaluating theadvantages and disadvantages of such practices. Also we discuss the current forms incomputerization of psychological testing and the main specific criteria in this psychometricspecialized area of knowledge. The test was on-line, hosted in the sitehttp://www.planetapsi.com, during the years of 2007 and 2008, which was available aquestionnaire to describe social characteristics before test. A report was generated from thedata entry of each user. An application of this test was conducted in a linear way through anational coverage in all Brazil regions, getting 1508 applications. Were organized nine groups,reaching 180 applications in test and retest subject, where three periods of time and threeforms of retests for studies ofon-line tests were separated. Parallel to this, we organized multi-application session offline group, 20 subjects who received tests by email. The subjects of thisstudy were generally distributed by the five Brazilian regions, and were noticed about the testvia the Internet. The performance application in traditional and on-line tested groups subsidiesus to conclude that on-line application provides significantly consistency in all criteria forvalidity studied and justifies its use. The on-line test results were related not only amongthemselves but were similar to those data of tests done on pencil and paper (0,82). The retests

results demonstrated correlation, between 0,92 and, 1 while multisessions had a goodcorrelation in these comparisons. Moreover, were assessed the adequacy of operational criteriaused, such as security, the performance of users, the environmental characteristics, theorganization of the database, operational costs and limitations in this on-line inventory. In allthese five items, there were excellent performances, concluding, also, that its possible a self-applied psychometric test. The results of this work are a guide to question and establish ofmethodologies studies for computerization psychological testing software in the country.

Key-words: ValidityReliability - Computerized TestsMIPSOn-line Test
http://www.planetapsi.com/http://www.planetapsi.com/


9/119

9

ndice

NDICE DE QUADROS_____________________________________________________11

INDICE DE FIGURAS______________________________________________________12

INDICE DE TABELAS______________________________________________________13

INTRODUO____________________________________________________________15

CAPTULO IO panorama dos Testes Psicolgicos Informatizados________________18

1.1. Caractersticas dos instrumentos informatizados__________________20

1.2. A perspectiva Brasileira de Testagem Informatizada diante do cenrio

mundial e regulamentaes deste processo__________________________22

CAPTULO II CARACTERSTICAS LOGSTICAS DO

PROCESSO DE TESTAGEM ON-LINE ______________________________________25

2.1. Custos Operacionais ______________________________________25

2.2. Banco de

Dados_____________________________________________26

2.3. Segurana_________________________________________________

_28

2.4. Caractersticas Ambientais e

Acessibilidade______________________292.5. Desempenho dos usurios

_____________________________________32

2.6. Limitaes_________________________________________________

_33

CAPTULO III MTODO__________________________________________________34

3.1. O Instrumento: Inventrio Millon de Estilos de

Personalidade__________________________________________________343.1.1. Conceitos Gerais e perspectivas tericas__________________35

3.1.2. Caractersticas do Instrumento__________________________37

3.1.3. A validade e confiabilidade do MIPS original______________41

3.2. Mtodo para Informatizao do Inventrio

Millon de Personalidade_________________________________________42

3.2.1. Parmetros Psicomtricos e desenho das

aplicaes_______________________________________________42

3.2.2. Adaptao para a interface on-line_______________________44


10/119

10

3.3. Anlise emprica e definio da amostra________________________48

CAPTULO IVRESULTADOS_____________________________________________54

4.1. Padres psicomtricos do grupo de aplicaoon-line _____________54

4.2. Padres psicomtricos dos grupos de retestagem_________________73

4.3. Padres psicomtricos da aplicao em multisesso_______________80

CAPTULO VDISCUSSO________________________________________________82

5.1. Validade e confiabilidade do Inventrio Millon de Estilos de

Personalidade em sua versoon-line ______________________________83

5.2. Caractersticas logsticas do Inventrio Millon de Estilos de

Personalidadeon-line ___________________________________________84

5.2.1. Custos Operacionais do Inventrio Millon de

Estilos de Personalidade on-line _____________________________84

5.2.2. Banco de Dados do Inventrio Millon de Estilos de

Personalidade on-line ______________________________________84

5.2.3. Segurana do Inventrio Millon de Estilos

de Personalidade on-line____________________________________85

5.2.4. Caractersticas Ambientais e Acessibilidade do InventrioMillon de Estilos de Personalidade on-line_____________________85

5.2.5. Desempenho dos usurios no Inventrio Millon de Estilos de

Personalidade on-line______________________________________86

5.2.6. Limitaes do Inventrio Millon de Estilos de Personalidade on-

line_____________________________________________________86

5.3. A perspectiva dos retestes e das multisesses na validade e

confiabilidade do Inventrio Millon de Estilos de

Personalidade__________________________________________________87

CAPTULO VI CONCLUSES_____________________________________________88CAPTULO VIIREFERNCIAS___________________________________________92

ANEXOS _________________________________________________________________99


11/119

11

NDICE DE QUADROS

Quadro 1: Normas estabelecidas para a correo de dados___________________________47


12/119

12

NDICE DE FIGURAS

Figura 1: Tela de cadastro no site_______________________________________________45

Figura 2: Instrues do Site___________________________________________________45

Figura 3: Tela de Perguntas no Site _____________________________________________46

Figura 4: Primeira tela de Apresentao do teste Multisesso ________________________52


13/119

13

NDICE DE TABELAS

Tabela 1: Bipolaridades e os estilos de personalidade ______________________________40

Tabela 2: Distribuio de itens pelas Polaridades __________________________________40

Tabela 3: Distribuio das aplicaes de acordo com a faixa etria____________________48

Tabela 4: Distribuio das aplicaes de acordo com o gnero _______________________49

Tabela 5: Distribuio das aplicaes de acordo com a Escolaridade___________________49

Tabela 6: Distribuio das aplicaes de acordo com as Regies _____________________50

Tabela 7: Grupos de aplicao de teste e reteste ___________________________________51

Tabela 8: Definio dos grupos de aplicao_____________________________________53

Tabela 9: Comparaes entre os Alphas da amostra americana e brasileira______________54

Tabela 10: ANOVA das Metas Motivacionais versus regio_________________________55

Tabela 11: ANOVA dos Estilos cognitivos versus regio____________________________56

Tabela 12: ANOVA Relaes Interpessoais versus regio___________________________57

Tabela 13: ANOVA das Metas Motivacionais versus gnero_________________________58

Tabela 14: ANOVA dos Estilos cognitivos versus gnero___________________________59

Tabela 15: ANOVA Relaes Interpessoais versus gnero___________________________60

Tabela 16: ANOVA das Metas Motivacionais versus escolaridade____________________61

Tabela 17: ANOVA dos Estilos cognitivos versus escolaridade______________________62

Tabela 18: ANOVA Relaes Interpessoais versus escolaridade______________________63

Tabela 19: ANOVA das Metas Motivacionais versus faixa etria _____________________64

Tabela 20: ANOVA dos Estilos cognitivos versus faixa etria _______________________65


14/119

14

Tabela 21: ANOVA Relaes Interpessoais versus faixa etria_______________________66

Tabela 22: Mdia dos fatores da adaptao do MIPS no Brasil (n=6)__________________68

Tabela 23: Mdia dos fatores da aplicao on-line (n=6)____________________________69

Tabela 24: Mdias dos Fatores da adaptao do MIPS no Brasil (n=8182)______________70

Tabela 25: Mdia dos Fatores da Amostra on-line (n=1508) _________________________71

Tabela 26: ndice de correlao entre itens_______________________________________72

Tabela 27: Mdias dos fatores nos grupos de teste on-line e reteste lpis e papel (A, B e C) _74

Tabela 28: Mdias dos fatores nos grupos de teste lpis e papel e reteste on-line (D, E e F)_76

Tabela 29: Mdias dos fatores nos grupos de teste e reteste on-line (G, H e I)____________78

Tabela30: Correlaes entre grupos de retestes___________________________________79

Tabela 31: Mdia dos Fatores da Amostra Multisesso (n=20) _______________________80


15/119

15

INTRODUO

A Avaliao psicolgica um campo da cincia psicolgica fundamentada em mtodos

e tcnicas de identificao de similaridades e diferenas entre caractersticas pessoais e grupos

normativos. Para esta comparao fundamental a utilizao de ferramentas que garantam

uma testagem apropriada e uma comparao com um grupo normativo adequado. No Brasil,

os testes psicolgicos, de acordo com a lei n4.119, de 1962, so de uso exclusivo dos

psiclogos, definidos, de acordo com a Resoluo 02/2003 do Conselho Federal de Psicologia,

como procedimentos sistemticos de observao e registro de amostras de comportamentos

respostas de indivduos com o objetivo de descrever e/ou mensurar caractersticas e processos

psicolgicos, compreendidos tradicionalmente nas reas emoo/afeto, cognio/inteligncia,

motivao, personalidade, psicomotricidade, ateno, memria, percepo, dentre outras, nas

suas mais diversas formas de expresso, segundo padres definidos pela construo dos

instrumentos (Art.1, pargrafo nico).

A atuao do psiclogo diante destas avaliaes depende em parte da qualidade do

instrumento ou da tcnica utilizada. Neste sentido, ainda so poucas as variedades e nmeros

de instrumentos que o psiclogo pode dispor para a realizao de suas intervenes de

testagem, ainda mais se compararmos o desempenho do cenrio brasileiro com de outros

pases como dos Estados Unidos e de parte da Europa (Central Test, 2008).

Esta utilizao de testes psicolgicos feita, tradicionalmente atravs de testes de lpis

e papel, no entanto aps o aprimoramento de novas tecnologias, a intermediao dos processos


16/119

16

profissionais psicolgicos por meio de computadores e da internet pode ser estudada. Os

primeiros testes informatizados surgiram na dcada de 1940, mas s a partir da dcada de

1980 que houve um grande desenvolvimento dos testes informatizados atravs de adaptaes

dos testes lpis e papel (Joly, Welter, Martins, Marini, Montiel, Lopes & Carvalho, 2005). Os

testes informatizados so instrumentos mediados, em sua aplicao, por um computador, e esta

aplicao pode ser realizada on-line, atravs de um teste desenvolvido apenas para ambientes

de internet, ou off-line, atravs de programas instalados no computador usado para a testagem.

So usados, em sua grande maioria, para suprir necessidades clnicas e de

gerenciamento de recursos humanos (seleo e pesquisas organizacionais). Fora do Brasil

diversos sites trabalham com o desenvolvimento de novos testes e a adaptao de testes

tradicionais para a forma on-line. Podem-se encontrar exemplos destas prticas em empresas

como o Queendom (2008), o Multi-Health Systems Inc. (2008), Harcourt Assessment (2008),

Psychtests (2008), Ase Psychometric Tests (2008), PsychPress (2008) e Shl People

Performance (2008), todas apresentam instrumentos considerados pelos mesmos, como sendo

psicomtricos, disponibilizados em reas de testagem gratuita, enquanto outros exibem reas

pagas para o acesso ao teste a ao relatrio. Estudar este manejo de dados on-line, os recursos

de desenvolvimento de ferramentas on-line e, principalmente, pesquisar a viabilidade de tal

processo a partir de parmetros da psicometria importante para o questionamento atualizao

do psiclogo diante de novas tecnologias e ferramentas.

Diante do exposto, a presente dissertao foi organizada em seis captulos. No

Captulo I apresenta-se a histria e desenvolvimento da testagem informatizada, bem como

suas caractersticas e aspectos mais estudados. Tambm discutido o panorama atual no

cenrio Brasileiro comparado com o contexto mundial. No Captulo II apresentam-se os

processos logsticos do processo de testagem on-line, onde so discutidas as dimenses mais


17/119

17

comumente descritas de outros testes informatizados: custos operacionais, banco de dados,

segurana, caractersticas ambientais e acessibilidade, desempenho do usurio e limitaes.

O Captulo III dedicado ao mtodo, o qual engloba o delineamento do estudo a

partir da escolha do instrumento e desenho dos procedimentos para a adaptao. Neste

captulo, expem-se tambm os objetivos da presente dissertao e detalhada a metodologia

utilizada para o estudo e os conceitos psicomtricos utilizados para embasar os estudos.

Apresenta-se a amostra, os instrumentos eprocedimentos para a coleta dos dados empregados,

bem como uma breve exposio das anlises estatsticas realizadas. No Captulo IV so

apresentados os resultados obtidos. Primeiramente os resultados da aplicao on-line simples e

em seguida so apresentados os resultados dos grupos de retestagem e da multisesso.

As discusses dos resultados obtidos so apresentadas no Captulo V onde so

discutidos os resultados dos estudos na confiabilidade e validade do informatizado de testagem

do MIPS. Neste captulo discutem-se as competncias logsticas do processo de

informatizao. Finalmente, no Captulo VI figuram as concluses. Neste momento, so

apresentadas as perspectivas do estudo assim como as principais contribuies para a cincia

da psicometria e ainda as possibilidades de estudos futuros, indicando questes que podem

merecer a ateno de pesquisadores.


18/119

18


19/119

19

CAPTULO IO PANORAMA DOS TESTES PSICOLGICOS INFORMATIZADOS

O uso do computador dentro da psicologia remonta quase ao mesmo tempo a o

desenvolvimento computadores (Olea, Ponsoda & Prieto, 1999).A informtica avanou desde

a correo de cartes, fichas pticas e trouxe o desenvolvimento na rea educacional, clnica

mdica, industrial e na psicologia em si. Esse desenvolvimento ocorre atravs da utilizao e

aprimoramento de programas de computadores trabalhando com sistemas de apoio a decises

clnicas, auxiliando no atendimento clnico para coletar dados, aplicao de instrumentos para

fazer diagnsticos, guias de programas teraputicos e como programas de auto-ajuda (Trabin

apud Prado, 1996).

Atualmente encontramos em portugus alguns testes psicolgicos no validados para a

internet, como o Teste de Rorschach (2008), Zulliger (2008) e o Teste Palogrfico (2008),

mesmo com reaes contrrias por parte da comunidade profissional. Um problema comum

aos testes informatizados, contudo, falta de estudos adequados estatisticamente ou at

metodologicamente visando a mensurao de suas propriedades psicomtricas (Luetch, 2005).

Em duas das maiores editoras de materiais psicolgicos do Brasil (Casa do Psiclogo e a Vetor

Editora) encontramos instrumentos como: Sistema Multimdia de Habilidades da Criana, G-

36, G-38, R-1, R-4, CPS, QUATI, QVI, LIP, que so validados e chancelados pelo Conselho

Federal de Psicologia, porm ainda no encontramos na atualidade nenhum teste on-line com

o status de validado.

Para Andriola (2003), existem posies antagnicas com relao aos testes, e estas so

compostas por uma corrente que recusa qualquer interveno dos computadores no processo

de avaliao psicolgica, e outra, que ressalta suas vantagens e potencialidades. Sugere ainda

o autor que deva haver duas fases necessrias para a utilizao adequada de computadores

dentro da psicologia. A primeira seria de utilizar o computador para a rapidez, a preciso e


20/119

20

normatizao dos escores brutos. A segunda fase seria a de anlise e descrio dos resultados,

gerando relatrios a partir destes.

Instrumentos organizados em formas semelhantes a exibio de dados, como o caso

das escalas e inventrios, so os que mais tm facilidade de construes informatizadas. Esta

compatibilidade acontece, tambm, devido a que geralmente avaliam valores estudados

diretamente atravs de seus critrios. J as tcnicas como o Rorschach ou o Zulliger

necessitariam de dispositivos e ferramentas em sua interface que permitissem circunscrever

adequadamente o processo de avaliao. Esta adaptao, provavelmente, necessitaria de

estudos metodolgicos a partir de vieses diferentes, como a anlise do comportamento

manifesto do cliente, por exemplo, (Andriola, 2003; Berguer, 2006).

O processo de informatizao de testes apresenta, segundo Bunderson, Inouyo e Olsen

(1989) quatro momentos distintos de evoluo na histria: a testagem convencional

informatizada, a elaborao automtica de laudos, os testes adaptativos computadorizados e a

construo automatizada dos testes. Estas quatro fases da evoluo da testagem psicolgica

mediada por computadores so encontradas com freqncia.

Atualmente encontramos dois modelos de apresentao de testes informatizados: os

Testes Computadorizados Fixos e os Testes Adaptativos (Olea, Revuelta & Ximenz, 2000).

Os Testes Computadorizados Fixos so testes, em sua maioria de anlise linear, pr-

construdos e de formas intactas que so administrados em uma ou mais sesses e so

anlogos aos testes de lpis e papel (Luecht, 2005). J os Testes Adaptativos

Computadorizados (TAC) so os instrumentos que variam sua forma de exibio de acordo

com os algoritmos do programa em questo. Nos TACs os itens so selecionados de acordo

com a resposta prvia do usurio avaliado e associados a escores provisrios e novos

algoritmos para a sucesso de novos itens (Revuelta & Ponsoda, 199; Tejada, 2001). Este

processo repete-se at que o examinando chegue ao fim do teste e seja levado a outro teste,


21/119

21

atinja um padro de escore estatisticamente adequado ao seu desempenho ou a proficincia do

examinando esteja acima ou abaixo probabilisticamente das especificaes do teste (Luecht,

2005).

1.1 Caractersticas dos instrumentos informatizados

No h uma forma universal aceita de converso do teste tradicional de lpis e papel

para a verso informatizada. No entanto dois diferentes modelos tm sido mais utilizados nos

ltimos anos (Olea, Ponsoda & Prieto, 1999). O primeiro refere-se traduo literal dos

princpios e organizaes do instrumento para a verso informatizada. Preservando a estrutura

de exibio de itens, o tempo de resposta, as cores, a forma de responder, etc. Como o teste de

Raciocnio Numrico (Andriola, 2003). A segunda metodologia refere-se a adaptar,

literalmente, o teste para as condies informatizadas seja construindo ele totalmente dentro da

ambiente informatizado ou alterando-lhe as caractersticas inerentes a sua interface tradicional,

como adicionando um cronmetro, exibindo um item por vez, alterando a ordem de exibio

das perguntas, etc.

Os testes na internet podem ser classificados de acordo com trs tipos de categorias, de

acordo com seus propsitos (Naglieri, Drasgow, Schimit, Handler, Prifitera, Margolis &

Velasquez, 2004):

1- Novas escalas e surveys desenvolvidos para uso pessoal ou em pequena escala atravs

de novas escalas para mensurar caractersticas de personalidade, atribuies, etc.

2- Testes de psicodiagnstico tradicionais, como o MMPI, MMPI-2 e as escalas Beck de

depresso, adaptadas para a internet.

3- Testes cognitivos de habilidades, testes de certificao e licenciamento, e exames

aplicados na internet com o propsito de identificar os melhores candidatos em

selees.


22/119

22

A testagem informatizada tem sido utilizada em suas vrias formas por mais de quatro

dcadas e no foi apenas a rea de psicologia que integrou suas formas de testes informtica,

mas principalmente tambm a educao, a rea da sade em geral e a rea

organizacional/administrativa (Lievens, 2006). Os computadores so, hoje em dia, ferramentas

significantes da interao social humana, e o que dcadas atrs servia apenas para testagem em

contextos industriais, hoje tem uma ampla aplicao e modelos de avaliao, ampliando esta

rea de avaliao e expandindo um mercado que antes era dominado pelos tradicionais testes

de lpis e papel (Wainer, 2000). Estima-se que quase um bilho de pessoas no planeta teve

acesso a internet em 2005 e que em 2010 este valor deva chegar a 1,8 bilho (Computer

Industry Almanac, 2004). O ambiente informatizado pode se configurar como mais uma

ferramenta de trabalho psicolgico, e em especial, nas avaliaes psicolgicas. Atualmente,

aproximadamente um milho de testes so aplicados por ms atravs da internet (Prometric,

2004) e muitos conceitos ticos sobre estas aplicaes so discutidos (Sayeg, 2000, Bennett,

2001). Torna-se importante, ento, uma avaliao das vantagens e desvantagens deste

procedimento de informatizao, assim como a validao dos princpios psicomtricos

aplicados aos testes informatizados. Questionamentos surgiram no sentido de descobrir se os

testes informatizados so contingenciados pelos mesmos princpios psicomtricos de aplicao

dos tradicionais testes de lpis e papel ou se adquirem novas contingncias e atribuies que

necessitem de novas formas de pesquisar e construir neste ambiente computadorizado (Luetch,

2005). Mas apesar das respostas na literatura no serem unnimes (Olea, Ponsoda & Prieto,

1999) a diretriz para a busca destes dados clara h algumas dcadas para os psicometristas e

para os estudiosos da rea: h uma nova realidade a ser trabalhada, que requer,

necessariamente, o desenvolvimento dos princpios tradicionais da psicometria na concepo

da forma da testagem psicolgica.


23/119

23

1.2 A perspectiva Brasileira de Testagem Informatizada diante do cenrio mundial e

regulamentaes deste processo

Na testagem psicolgica, os estudos das reas de escalas de personalidade, escalas de

atitudes no trabalho, funcionamento cognitivo esto entre os diversos tipos de instrumentos

que foram convertidos para a verso informatizada (Richman, Kiesler, Weisband & Drasgow,

1999). No entanto, este grande avano pertence prioritariamente aos EUA, a Inglaterra e

outros poucos pases da Europa. No Brasil, apesar das iniciativas na rea de informtica e

testagem, como a Sociedade Brasileira de Informtica em Sade (Lima, 2005) poucos testes

informatizados obtiveram publicao em peridicos ou so comercializados pelas editoras

com a chancela do Conselho Federal de Psicologia (CFP). Pelo Sistema de Avaliao de

Testes Psicolgicos do CFP, apenas o TCA Visual (Teste Computadorizado de Ateno) da

Editora Cognio est com parecer favorvel para a comercializao (SATEPSI, 2007).

Apesar da pouca produo brasileira na rea de testes informatizados e de estudos nesta rea

(Alchieri & Nachtigall, 2003), existe um instrumento construdo para avaliao de testes

informatizados: o SAPI (Sistema de Avaliao para Testes Informatizados). Uma escala que

foi validada atravs da avaliao de peritos na rea de construo de testes e de sistemas em

informtica (Joly et al., 2005). Esta escala foi a primeira no pas a organizar-se a partir das

diretrizes da International Test Comission, Conselho Federal de Psicologia e vrias produes

reconhecidas nesta rea. O SAPI no ser objeto de parmetro de comparao para este estudo

em funo do mesmo se limitar mais nos aspectos classificatrios de um teste informatizado

do que no conjunto de instrues objetivas para informatizar testes.

No entanto, da dcada de 1990 para os dias atuais os debates sobre as aplicaes e

formas de fazer tais procedimentos tm-se aprimorado. Em 1999 foi publicado o Standards for

Educational and Psychological Testing, um documento adotado pelaAmerican Psychological


24/119

24

Association (APA) e pela American Educational Research Association (AERA). O propsito

da publicao foi fornecer padres para aprimorar e regulamentar a avaliao de testes, as

prticas de testagem e os seus efeitos (A.P.A., 2007). Estas orientaes determinam

procedimentos na seleo e administrao de itens, determinao de condies e validade,

testagens individuais em contextos especiais e diferenas lingsticas. Fornecendo orientaes,

por exemplo, para as instrues presentes no teste e na oportunidade de resoluo de exemplos

antes do teste em si. O Conselho Federal de Psicologia, atravs de duas resolues, 25/2001 e

02/2003 (CFP, 2001, 2003) definiu critrios para a elaborao, comercializao e uso de

instrumentos de medida, tendo como referncia os padres difundidos pela InternationalTest

Commission e American Psychological Association.

Em fevereiro de 2003, um levantamento internacional foi realizado em vrios pases

em busca das produes publicadas na rea da testagem psicolgica informatizada (Coyne &

Bartram, 2004). Este levantamento foi feito pela International Test Commission, ligada a

American Psychological Association e constatou quatro principais dimenses das publicaes:

tecnologia, qualidade, controle e segurana. A partir deste levantamento foram organizadas

bases pra que fossem elaboradas linhas gerais de orientao deste novo mercado de trabalho e

pesquisa da psicologia. Em 2003, todos os pesquisadores e instituies que participaram da

Conferncia daInternational Test Commission, receberam e discutiram os dados preliminares

deste levantamento, assim como as organizaes representantes de 8 pases (Austrlia,

Canad, Estnia, Holanda, Eslovnia, frica do Sul Reino Unido e Estados Unidos). Ao

mesmo tempo, a Fora Tarefa sobre Internet da Associao Americana de Psicologia refinava

suas guias para elaborao de pesquisas e instrumentalizaes na Internet e via Computadores

(Naglieri et al., 2004). A partir de ento, foi elaborado um dos documentos mais importantes

da testagem via computadores: Psychological Testing on the Internet: New problems, old


25/119

25

issues. Este documento orienta os princpios psicomtricos, ticos, legais e discute as

implicaes prticas deste mtodo de testagem (Naglieri et al, 2004).

No Brasil a Resoluo do CFP N 006/2000 instituiu a Comisso Nacional de

Credenciamento e Fiscalizao dos Servios de Psicologia pela Internet (Bock, 2000). De

acordo com esta resoluo o Conselho Federal de Psicologia possui as atribuies de

desenvolver critrios para avaliar a qualidade dos servios psicolgicos oferecidos pela

Internet, acompanhar o credenciamento e fiscalizar os sites de atendimento psicoteraputico

mediado pelo computador, acompanhar a certificao dos sites de pesquisa sobre atendimento

mediado pelo computador. Esta resoluo deveria ser mais abrangente que apenas o

atendimento psicolgico atravs da internet, no entanto isto reflexo da pouca produo.

Apesar da especificidade, a possibilidade de certificao uma vantagem frente s

deliberaes da ITC (Lievens, 2006).


26/119

26

CAPTULO II

CARACTERSTICAS LOGSTICAS DO PROCESSO DE TESTAGEM ON-LINE

O aprimoramento de ferramentas informatizadas de testagem psicolgica pode auxiliar

o desempenho do psiclogo, assim como elencar um rol de vantagens para interao com os

sujeitos avaliados, no entanto devem-se ressaltar as vantagens e desvantagens dos processos de

testagem on-line diante dos processos de testagem lpis e papel. Optamos, ento, pela

demonstrao destas frente aos testes tradicionais atravs da anlise dos quesitos: custos

operacionais, banco de dados, segurana, caractersticas ambientais e acessibilidade,

desempenho dos usurios e as limitaes. Este modelo foi desenvolvido a partir da estrutura de

avaliao adotada pela American Psychological Association em seu documento de orientao

aos estudos dos testes informatizados Psychological Testing on the Internet: New Problems,

Old Issues (Naglieri et al., 2004).

2.1 Custos Operacionais

A partir da perspectiva psicomtrica de realizao de testagem informatizada quase

sempre encontramos argumentaes sobre o custo reduzido da produo e do trabalho com

testes informatizados frente aos tradicionais testes de lpis e papel (Ponsoda, Hontangas, Olea,

Revuelta, Abad & Ximnez, 2004; Joly, 2005; Prado, 2005; ITC, 2005). Apesar deste

consenso entre a grande maioria dos pesquisadores desta rea, o trabalho de Luetch (2005)

prediz que na realidade dos testes informatizados so, em mdia de 200 a 500 por cento mais

caros do que os tradicionais testes de lpis e papel. Luetch (2005) postula que este custo

reduzido irreal posto que nestes clculos valorativos o que deixa de ser gasto com impresso

e distribuio superado com a estrutura operacional que leva o teste at o usurio,


27/119

27

atualizaes de sistema, manuteno do software ou pgina on-line e, alm, disso, manuteno

e gerenciamento com os bancos de dados.

Segundo Prado (Ballone, 2003) os programas para psicologia podem requerer um alto

grau de investimento financeiro e administrativo por parte de uma equipe especifica com

conhecimentos tcnicos. Estas competncias geralmente no so encontradas dentro da

psicologia. Por outro lado, com o processo de testagem sendo informatizado h, tambm, a

reduo no custo de formao do psiclogo aplicador.

Utilizar uma ferramenta de testagem informatizada tambm pode significar reduo de

custos das Editoras de Testes. Alm deste fato, um processo avaliativo que use instrumentos

computadorizados fora dos estados das editoras pode obter maior autonomia de material para

gerenciar o processo.Como o processo pode ser autenticado atravs de aplicativos on-line, por

exemplo, h a menor possibilidade de cpia (Kingsburry & Houser, 1999).

2.2 Banco de Dados

A variao entre grupos testados em ambientes informatizados e em ambientes

tradicionais caracterizaria a formao de novas tabelas e pesos utilizados na correo de testes

informatizados. E uma importante diferena que confere aos testes informatizados amplas

vantagens diante dos tradicionais lpis e papel, a capacidade de gerenciar dados, articulando

instantaneamente vrios campos de dados de centenas de questionrios entre si e oferecendo a

sada das anlises. Os bancos de dados para testes informatizados geralmente so pequenos em

espao, e no necessitam de hardwares muito avanados serem acessados (Prometric, 2004).

Quando comparamos a organizao e a acessibilidade dos bancos de dados dos dois

tipos de testes, as diferenas terminam por caracterizar-se em funo de suas naturezas. O

acesso ao banco de dados do teste informatizado aps a sua realizao e o cruzamento de

dados com o banco de dados j existente notavelmente mais rpida. O que permite realizar,


28/119

28

em segundos, operaes que manualmente poderiam demorar dias ou at meses. Este banco de

dados no necessita de espao fsico real, uma vez que est formatado virtualmente, assim, por

exemplo, pode ser armazenado no espao de um Compact Disc. J os instrumentos

tradicionais necessitam de grandes espaos para armazenamento de dados, e como os dados

necessitam ser guardados por aproximadamente cinco anos (Furtado, 2003), a facilidade de

organizao de dados fica comprometida se comparada com os testes informatizados.

Os resultados dos testes e outros dados provenientes da aplicao (tempo de realizao,

data, observaes, etc.) so transmitidos e recuperados com segurana se bem armazenados,

tantas vezes quantas forem necessrias. Na verso tradicional a armazenagem dos dados

mais susceptvel ao erro humano, bem como aos efeitos do tempo. Outra vantagem da verso

informatizada diante da verso tradicional que se pode conseguir uma maior quantidade de

dados em menos tempo e possvel fornecer mais dados sobre o cliente estudado no mesmo

espao de tempo que o teste tradicional. Alm disso, a atualizao das informaes e banco de

dados mais rpido (Naglieri et al., 2004).

Na verso informatizada existe a possibilidade de uma rpida anlise das respostas,

onde o avaliado pode receber quase instantaneamente um laudo contendo o resultado de sua

testagem. Este documento pode ser entregue diretamente ao usurio para impresso imediata,

conferncia na tela do computador ou tambm ter a chancela com outras formas de avaliao

junto a um profissional competente. Esta avaliao de Testes Computadorizados traz como

vantagens: a economia no processo e o uso mais efetivo dos profissionais envolvidos em

outras funes; preciso e consistncia da correo dos dados e das decises tomadas a partir

dos mesmos, capacidade virtual quase ilimitada para armazenagem e estocagem destas

interpretaes, possibilidade de comparao com outras bases de dados de outros testes ou do

prprio paciente em momentos diferentes (Snyder, Widiger & Hoover, 1990).


29/119

29

Uma desvantagem destes modelos de avaliao de dados, atravs de sintaxes

informatizadas, que os mesmos apresentam boa eficcia na anlise de dados de modelos

estatsticos, como o MMPI-2 (Tanner, 2007), Teste Benton de Reteno Visual (Thompson,

Ennis, Coffin & Farman, 2007), mas deixam a desejar em modelos narrativos de avaliaes

(Snyder, Widger & Hoover, 1990). Esta aparente desvantagem no seria decorrente das

limitaes das testagens e interpretaes atravs dos computadores, e sim da m utilizao e

organizao destes processos interpretativos (Butcher, Perry & Atlis, 2000). Esta organizao

de processos interpretativos parte da competncia de um hbil programador em conseguir

construir narrativas precisas apenas com a insero de dados atravs dos computadores,

desprezando, por exemplo, aspectos no-verbais de desempenho dos usurios. Uma sugesto

a de utilizar o computador para a avaliao e comparao dos escores com banco de dados

junto com o psiclogo responsvel nas avaliaes. Mas possvel que em algumas dcadas

adiante, os modelos narrativos que trabalhem integrando grandes bases de dados integradas

(com histricos de sade, atividades sociais, competncias pregressas, por exemplo) sejam

mais precisos em constituir tais narrativas.

De acordo com Kingsburry e Houser (1999) os testes informatizados tm a

possibilidade de uma ampliao de amostra mais rpida e tm a capacidade de armazenar

informaes automaticamente em diferentes bancos de dados. Esta captao de dados, alm de

poder ser mais ampla, tambm pode ser mais rica em detalhes de um mesmo testando (Berger,

2006), atravs de outros dados do processo, como impresso digital e foto do testando. Alm

disso, a prpria aplicao pode servir para atualizar posteriormente, ou automaticamente, o

banco de dados referencial do sistema normativo do teste, caso se trate de um aplicativo on-

line e/ou que faa atualizaes (International Test Comission, 2005).


30/119

30

2.3 Segurana

No momento da aplicao e no momento da anlise de dados o teste informatizado

deve garantir o mesmo sigilo que o teste tradicional. Tanto em aplicaes on-line e off-line

faz-se necessrio o desenvolvimento de ambientes seguros de aplicaes e criptografias que

garantam o maior sigilo possvel. Medidas Biomtricas como fotografia e digitais dos

candidatos, podem ser anexadas eletronicamente aos resultados, providenciando dados

adicionais e aumentando a autenticao do processo. No entanto, quanto maiores forem os

itens de segurana adicionados, maiores podem ser os custos de elaborao do sistema.

Proporcionar um ambiente seguro para troca de dados uma exigncia de outros sistemas de

trfego de dados, e esta necessidade, atravs da sofisticao dos sistemas de segurana, atinge

um patamar satisfatrio na proteo destes dados (Rosen, 2000).

2.4 Caractersticas Ambientais e Acessibilidade

O ambiente informatizado confere algumas vantagens diante da verso tradicional

quando discutimos a dimenso da multimdia. As propriedades do ambiente informatizado

podem exibir uma variedade de formas de apresentar seu contedo, adicionando caractersticas

possveis no prprio computador, como sons, imagens, movimentos e gravaes. Em 2005 foi

desenvolvido, por exemplo, um sistema digital de anlise de leitura a partir da gravao de

textos pelos pacientes, as observaes do fonoaudilogo e o processamento de erros

detectados. (Lima, 2005). Na rea de testagem dentro da fonoaudiologia encontramos o Avalie

3.0, o FonoFlex, que faz avaliaes fonoaudiolgicas e de desenvolvimento atravs de jogos, o

AudioReport, que desempenha avaliaes audiomtricas, o FonoView, para avaliao e

monitoramento da fala oral e o VoiceReport (Book Toy Livraria, 2007)

Dentro da psicologia uma das vantagens que um instrumento computadorizado pode ter

diante dos testes tradicionais a de exibir as questes de modo randmico ou aleatrio com


31/119

31

facilidade. Esta proposta subsidia os Testes Adaptativos Computadorizados (TAC). Os TAC

so procedimentos que se reorganizam sua exibio para adaptarem-se ao usurio a partir de

seu nvel de dificuldade atendido precedentemente (Revuelta e Ponsoda, 1998). A verso

informatizada pode apresentar uma interface onde usurio pode focar, por exemplo, em uma

questo de cada vez, facilitando seu julgamento e discriminao de respostas, ou ainda,

facilitando o re-teste ao fornecer o escore final de seu primeiro teste e j agendar o re-teste. Se

a exibio de itens for feita uma de cada vez, o teste informatizado pode proporcionar uma

reduo de erros por parte da ateno do cliente avaliado, pois o mesmo poder focar-se em

um de cada vez. Alm disso, o resultado imediato do teste, a utilizao de perguntas aleatrias

e a medio de tempo por questo e algoritmos de exibio de itens desestimulam manobras

escusas e o efeito da familiaridade na execuo dos testes informatizados (International Test

Comission, 2005). De acordo com Kingsburry e Houser (1999) os testes informatizados, de

uma forma geral, requerem menos tempo para aplicao, tm menor possibilidade de cpia,

proporcionam condies semelhantes de aplicao a todos os avaliados.

Desenvolver mtodos psicomtricos que possam avaliar adequadamente

comportamentos e descries inverossmeis, como a mentira e o engano fundamental na rea

jurdica (Rovinski, 2005). A possibilidade de se ter mais dados por item alm da prpria

resposta, a sua posio no processo adaptativo de teste (Prometric, 2004), identificao da

questo que foi alterada, seu tempo de execuo e o nmero de vezes em que esta questo foi

alterada ou alternada com outras proporcionam maior riqueza na anlise de dados que seriam

pertinentes na rea forense, indicando rupturas de respostas e a inteno de falsear resultados

de respostas. Alm disso, com a possibilidade de controle de tempo, possvel inferir quando

o usurio que fez o teste respondeu aps ter lido a sentena ou apenas respondeu

aleatoriamente (Stange, 2001).


32/119

32

Na verso tradicional o recebimento dos testes via correio e a atualizao dos testes

pode demorar dias, e h o gasto com manuais, crivos e testes impressos (Naglieri et al., 2004),

mas na interface computadorizada estas dificuldades so anuladas frente s facilidades

conferidas pela tecnologia e pela troca de dados instantnea. A avaliao e a descrio dos

resultados dos testes podem sair to logo a ltima questo seja respondida (Naglieri et al.,

2004). Na sada de dados para compor o resultado, a forma informatizada pode oferecer

formas diferentes na exibio dos escores e da descrio das respostas corrigidas, alm de

indicaes e encaminhamentos. Porm h um ponto de divergncia entre os autores quanto a

veracidade das respostas dos usurios que fazem testes informatizados. possvel que os

entrevistados tendam a fantasiar quadros comportamentais, engrandecer-se ou a fingir

sintomas quando percebem que suas respostas podem no ser checadas (Richman et al.,1999).

J Olea e Hontangas (1999) argumentam que os testandos tendem a exibir maior ansiedade

quando esto realizando um teste informatizado e ao mesmo tempo argumentam que os

mesmos tendem a ser mais honestos e sinceros. No existem estudos conclusivos sobre esta

suposta distoro, e nem se a verso lpis e papel est livre deste aspecto de auto-imagem.

(Berguer, 2006). Este nvel de distoro afetaria a mdia dos resultados, ocasionando uma

interpretao dos dados errnea. Richman et al. (1999) organizaram uma meta-anlise de 61

estudos publicados sobre estudos informatizados entre 1967 e 1997 e concluram que os testes

informatizados, com raras excees, apresentam menos distores de auto descrio que os

tradicionais testes de lpis e papel, ainda mais quando possvel responder ao teste sozinho e

retornar as respostas. Outro ponto que a tecnologia pode oferecer para reduzir o ndice de

distores nas auto-avaliaes a aplicao dos testes informatizados em paralelo com o

acompanhamento via udio, mantendo o nvel de anonimato e aumentando a segurana do

testando no processo (Parshall & Balizet, 2001).


33/119

33

A testagem via internet expande as possibilidades do psicometrista em atuar, visto que

ele no precisa estar no ambiente fsico de aplicao do teste, logo, em ambientes onde no

existem psiclogos possvel que a testagem esteja possvel. Esta facilidade no acesso

interativo ajuda a pessoas que necessitam da testagem e no podem se locomover ao

consultrio do psiclogo ou local de aplicao. (Naglieri et al., 2004). Nas verses tradicionais

so raros os instrumentos somente verbais ou que no utilizem lpis para a marcao das

respostas. Na verso informatizada atravs de perifricos como o mouse, telas de presso

sensores de movimento e de som podem ajudar deficientes fsicos e pessoas com problemas

motores a serem avaliadas para o levantamento de dados neuropsicolgicos, auxiliando,

tambm, no processo de reabilitao (Silva & Oliveira, 2003).

No quesito acessibilidade as maiores vantagens esto do lado dos testes

informatizados. possvel programar o dia, a hora e o local da aplicao do teste, e a

aplicao pode ser feita sem a presena de um psiclogo. Logo, em populaes mais

abrangentes e longas distncias mais indicado a avaliao de testes informatizados para o

levantamento de dados. E em tese o que fosse investido em salas apropriadas para a aplicao

dos tradicionais testes de lpis e papel poderia ser remanejado para uma pequena sala com

computadores que realizariam a ampla testagem em vrias sesses (Luetch, 2005).

Ter um instrumento informatizado tambm facilita o processo de re-teste, que pode

inclusive ser agendado, pois mais fcil assegurar e reproduzir as mesmas condies de

aplicao do teste. Estas condies dependem prioritariamente de um ambiente calmo,

distncia adequada de leitura do monitor, fcil manuseio dos perifricos do computador,

tempo para execuo do teste, um computador acessando a Internet e a pgina do teste

disponvel (quando o teste for on-line). Outra vantagem que o tempo rigidamente

controlado nos testes informatizados, logo todo candidato tem exatamente o mesmo tempo real

de acesso ao teste (Internet Test Comission, 2005).


34/119

34

2.5 Desempenho do usurio

Assim como na aplicao tradicional, onde o testado pode apagar e refazer as

questes, no teste informatizado alm de ter essa possibilidade de mudana de resposta,

tambm possvel mensurar qual foi a seqncia de respostas dadas para o mesmo item e o

tempo de mudana de cada item, o que oferece dados importantes para a clareza e

confiabilidade do item e dados para pesquisas forenses do testado, por exemplo. Ainda na

leitura ptica de cartes de resposta, h o empecilho de respostas mal marcadas e do tempo

gasto na insero dos cartes no leitor (Naglieri et al., 2004). Na verso informatizada

possvel que o usurio mude de alternativa sem que comprometa o padro desejado de

respostas. O MMPI um dos testes que mais tem artigos publicados na rea de informatizao

de testes psicolgicos, e a sua informatizao permite concluir que alm de ser possvel este

processo, os avaliados se sentem mais vontade e menos ansiosos (Butler, 2003).

2.6Limitaes

possvel que os testes aplicados pela internet sejam inapropriados para alguns grupos,

estatisticamente falhos ou pobremente traduzidos para outras lnguas (Naglieri et al., 2004),

este o erro de aplicao que tambm tem efeito sobre os testes tradicionais. importante

salientar que o processo de avaliao psicolgica no se limita somente a testagem

psicolgica, e sim ao levantamento de dados obtidos na atuao psicolgica. Logo, perdem-se

alguns dados qualitativos em detrimento de outros ganhos no processo de avaliao atravs de

computadores (Naglieri et al., 2004). A observao do comportamento no verbal da pessoa

testada deixa de ser uma fonte de dados, porm, com o controle do tempo do teste

informatizado, necessrio saber quando a pessoa testada respondeu a alguma questo do

inventrio sem ter deliberado o suficiente. Diante destas formas de planejar a construo de


35/119

35

instrumentos informatizados, torna-se mais objetivo o estudo destes instrumentos durante a

sua informatizao.


36/119

36

CAPTULO IIIMTODO

Diante das vantagens e desvantagens dos testes e instrumentos psicomtricosinformatizados, dos problemas de controle de ambiente e indefinies de conceitos de validade

em alguns testes propomos um estudo sobre os parmetros psicomtricos de testes de

aplicao on-line. Trabalhamos com o questionamento da possibilidade real, atravs da

adequada vlida e confiabilidade, da adaptao de um teste lpis e papel para uma verso on-

line. Logo nossa hiptese se define como: possvel adaptar um teste psicolgico para a

interface on-line mantendo a validade e a confiabilidade?

Considerando que nosso objetivo avaliar a validade e confiabilidade de uma escala

em ambiente informatizado, partimos da premissa de trabalho de que possvel adaptar um

teste para uso seguro e vlido na internet, bem como manter a validade e a confiabilidade na

amostra obtida. E com a inteno de responder se os princpios psicomtricos, referidos

anteriormente quanto ao uso em aplicaes de lpis e papel, so aplicveis tambm a uma

escala informatizada que elaboramos como objetivo geral: avaliar a validade e confiabilidade

de uma escala em ambiente informatizado. Para isso definimos procedimentos para o processo

de re-construo de um instrumento psicolgico linear on-line e estudamos este diante do

impacto sobre as questes relativas aos custos operacionais, banco de dados, segurana,

caractersticas ambientais e acessibilidade, desempenho dos usurios e limitaes.

Logo, o processo geral que norteia este trabalho o de verificar, dentro de um

instrumento informatizado, os parmetros psicomtricos de validade e confiabilidade. Para

isso forem escolhidos procedimentos interligados e adequados s possibilidades reais de uso.

Uma melhor descrio dos procedimentos utilizados realizada a seguir:

3.1 O Instrumento: Inventrio Millon de Estilos de Personalidade


37/119

37

Para corresponder adequadamente a tais objetivos seguimos uma linha lgica de

procedimentos que permitisse adequar viabilidades de informatizar um teste psicolgico e que

fosse acessvel ao maior nmero de pessoas. O primeiro passo foi optar por um instrumento

que pudesse ter a sua interface adaptada para o ambiente informatizado, que j tivesse estudos

na rea da informatizao, que fosse bem conceitualizado no meio cientfico e que no

perdesse, aparentemente, a sua funcionalidade. Optamos pelo Inventrio Millon de Estilos de

Personalidade (MIPS), por ser um teste organizado em forma de inventrio com respostas do

tipo verdadeiro ou falso, pela facilidade de manuseio de seu banco de dados j constitudo

na sua verso lpis e papel e pelo mesmo apresentar uma coerncia na organizao de

informaes com sua proposta avaliativa de personalidade. Trata-se, portanto de uma escolha

baseada em critrios tcnicos de adaptabilidade e de conceitualizao terica.

3.1.1. Conceitos Gerais e perspectivas tericas

Theodore Millon desenvolveu sua teoria em um cenrio americano que estava em

franca busca das bases da compreenso e classificao da psicopatologia humana e dos

padres de normalidade humana. Mesmo tendo ajudado a organizar o Manual de Diagnstico

de Doenas Mentais ( Institute for Advanced Studies in Personality and Psychopathology,

2008) foi atravs de dedues formais que Millon constituiu sua base epistmica para a

construo do conceito de personalidade. Originando, tambm em paralelo, uma teoria de

aprendizagem biopsicossocial, de patologia de personalidade e vrios testes para avaliar esta

personalidade. Segundo Millon, personalidade a resultante de um padro complexo de

caractersticas inter-relacionadas, na maior parte do tempo de repeties constantes e

inconscientes, automaticamente expressas atravs da conduta (Snchez, 2003). Seus traos e

caractersticas so oriundos de uma complexa matriz, onde as disposies biolgicas e de

aprendizagem, apresentam-se relativamente estveis nas relaes com as pessoas e objetos, e


38/119

38

manifestam-se atravs dos estilos de relacionar-se, sentir, pensar, perceber e superar

dificuldades (Millon, 1990).

Logo, sua construo terica postula a existncia de padres normais e anormais de

reao e adaptao da personalidade, baseando-se em um continuum, onde enquanto a

personalidade normal reflete desta maneira as formas especficas de adaptao eficazes em

ambientes previsveis (Millon, 1990), a personalidade anormal reflete a dificuldade de

adaptao deste indivduo em vrias possveis combinaes de estilos de personalidade. Os

processos da personalidade so fenmenos relativamente estveis e constantes, porm no so

absolutamente estticos, pois comportam uma perspectiva de padres consistentes de mudana

(Garca & Snchez-Lpez, 1999). Esta concepo da personalidade atravs do constructo

terico dos Estilos Psicolgicos tem algumas vantagens frente ao modelo tradicional e esttico

no estudo da personalidade, pois enfatiza uma perspectiva mais dinmica do comportamento

humano, fornecendo informaes sobre a qualidade e o desenvolvimento das diferenas

individuais e os aspectos individuais.

A vantagem desta teoria integradora no s a interpretao da personalidade como

uma configurao de estratgias e tticas de onde o indivduo seleciona cada tcnica de

interveno, mas tambm a sua contribuio a constelao geral de procedimentos

teraputicos no qual uma tcnica no mais que uma parte desta (Millon, Everly & Davis,

1995). Concebida desta maneira, a personalidade normal reflete os modos especficos de

adaptao pelos quais um membro da sociedade utiliza em ambientes previsveis. Nesta

concepo, os transtornos de personalidade representam diferentes estilos de funcionamento

mal-adaptativos atribudos a deficincias, desequilbrios ou conflitos na capacidade de um

membro para relacionar-se com os ambientes que enfrenta (Garca & Snchez-Lpez, 1999).

Dentro desta proposta Theodore Millon desenhou, no decorrer de sua carreira, vrios

instrumentos para o estudo e avaliao da personalidade humana, como o Millon Personality


39/119

39

Type Questionnaire, o Millon Personality Disorder Checklist, o Millon Clinical Multiaxial

Inventory e o Inventrio Millon de Estilos de Personalidade (Millon, 1997), dentre outros.

Em funo das vantagens conferidas por esta construo de personalidade, assim como

a variedade de instrumentos validados em diferentes contextos pelo prprio Millon (1997)

buscamos um de seus instrumentos de mensurao dos aspectos da personalidade humana que

respondesse a um modelo de Estilos de Personalidade e que pudesse ser adaptado para

computadores. Optamos ento pelo Inventrio Millon de Estilos de Personalidade (MIPS) em

funo de sua boa consistncia terica, praticidade, atualidade e quantidade de estudos no

Brasil a partir do MIPS tradicional (lpis e papel).

3.1.2. Caractersticas do Instrumento

O MIPS um inventrio composto de 180 itens, para os quais o individuo responde

assertivas com verdadeiro ou falso. Seu objetivo avaliar a personalidade de indivduos

com funcionamento normal, para idades acima de 18 anos, com um tempo mdio de 30

minutos para conclu-lo. Os itens abordam situaes que as pessoas comumente vivenciam,

evidenciando sua maneira de perceber, sentir e agir perante o mundo que as rodeia. O

inventrio sistematizado atravs de trs grandes eixos da personalidade: metas

motivacionais, estilos cognitivos e relaes interpessoais. Avaliando estilos de funcionamento

do sujeito dentro de cada uma de suas competncias nestas trs dimenses, obtm-se uma

apurada avaliao do funcionamento da personalidade avaliada (Strack, 1999). As condutas

normais podem ser caracterizadas na presena de um sujeito que demonstra capacidade de se

relacionar com seu meio, de maneira flexvel e adaptada, com percepes sobre si mesmo e

suas meio, manifestadas, essencialmente, de forma construtiva, com vistas satisfao

pessoal, e tendo padres de conduta considerados como promotores de sade (Weiss, 1997).

Seguem abaixo os eixos principais avaliados pelo MIPS.


40/119

40

1. Metas motivacionais (MM) - Refere-se a busca de sobrevivncia e as experincias

de prazer e evitao da dor, seu equilbrio compreende a sade psquica, pois tanto as

caractersticas positivas, quanto negativas, possibilitam defesas para sua

sobrevivncia.

2. Estilos cognitivos (EC) - Refere-se a forma com que o indivduo processa as

informaes, originando sua forma de sentir, avaliar e formar juzo crtico de

maneira autnoma e independente. (fonte de informao e processos de

transformao).

3. Relaes interpessoais (RI) Referem-se a capacidade das pessoas em estabelecer

relaes interpessoais como uma necessidade constante de suporte social.

As metas Motivacionais possibilitam verificar a orientao do sujeito em relao ao

meio, Os Estilos Cognitivos avaliam a orientao do sujeito visando os reforos do meio e as

Relaes Interpessoais verificam a orientao do sujeito frente s demais pessoas. A

fundamentao terica das Metas Motivacionais, segundo o prprio Theodore Millon (1997),

est relacionada aos antecedentes conceituais da teoria ecolgica, evolucionista e suas

vinculaes atravs de trs formulaes: existncia, adaptao e replicao. A partir do

prosseguimento de seus estudos na definio de critrios coerentes com o entendimento da

personalidade, Millon elaborou as seguintes polaridades definidas pelo MIPS: Abertura-

Preservao, Modificao-Acomodao e Individualismo-Proteo (Millon, 1997; Alchieri,

2004).

As quatro bipolaridades dos Estilos Cognitivos se baseiam na perspectiva evolucionista

e nas contribuies de Jung e Myers (Strack, 1999). Os Estilos Cognitivos referem-se forma

em que os organismos abordam sua realidade. Buscando avaliar os estilos ou modos de

processamento da informao. Jung prope uma orientao cognitiva em uma tipologia que

inclui trs bipolaridades: Extroverso/Introverso, Pensamento/Sentimento e


41/119

41

Sensao/Intuio. Millon elabora um modelo que agrupa as atividades cognitivas levando em

conta duas funes superiores. Uma relacionada com a origem dos dados recolhidos e outra

com os mtodos utilizados para o indivduo para reconstruir estes dados. Cada uma destas

funes foi dividida em duas polaridades. As fontes de informao foram divididas em Interna

vs. Externa e Tangvel vs. Intangvel. Os processos de transformao foram divididos em

Afetivo vs. Intelectivo e Assimilativos vs. Imaginativos. As polaridades definitivas so:

Extrovertido-Introvertido, Sensitivo-Intuitivo, Reflexivo-Afetivo, e Sistematizador-Inovador

(Millon, 1997; Alchieri, 2004).

As cinco bipolaridades das Relaes Interpessoais (Retraimento, Comunicatividade,

Dvida, Segurana, Discrepncia, Conformismo, Submisso, Controle, Insatisfao e

Concordncia) esto relacionadas com as contribuies de Sullivan, Leary e o modelo dos

Cinco Grandes Fatores. Estes modelos esto orientados por uma perspectiva que caracterizam

nossas aes pelo que fazemos e no pelo que nos motiva ou como funcionamos

cognitivamente. Para Millon, nenhum dos modelos anteriores introduziu o componente

interpessoal. Props, ento, a avaliao destes estilos na relao com os demais. Utilizando

para isso cinco bipolaridades que se cruzam com as estratgias ativas e passivas: Retraimento-

Comunicatividade, Dvida-Segurana, Discrepncia-Conformismo e Submisso-Controle

(Millon, 1997; Alchieri, 2004), exemplificados na tabela 1.


42/119

42

Tabela 1. Bipolaridades e os estilos de personalidade do MIPS

Metas Motivacionais Estilos Cognitivos Relaes Interpessoais

Abertura Extroverso Retraimento

Preservao Introverso Comunicatividade

Modificao Sensao Dvida

Acomodao Intuio Segurana

Individualismo Reflexo Discrepncia

Proteo Afetividade Conformismo

Sistematizao Submisso

Inovao Controle

Insatisfao

ConcordnciaFonte: Millon (1997)

Com esta teoria, Millon elaborou um questionrio com 180 itens com assertivas que devem

ser respondidas com Verdadeiro ou Falso, distribudas em questes objetivas da seguinte

maneira:

Tabela 2: Distribuio de itens pelas Polaridades

Metas

Motivacionais Quantidade Estilos Cognitivos Quantidade Relaes Interpessoais Quantidade

Abertura x

Preservao 36 Extroverso x Introverso 35 Retraimento x Comunicatividade 53

Modificao x

Acomodao 47 Sensao x Intuio 37 Dvida x Segurana 56

Individualismo x

Proteo 46 Reflexo x Afetividade 55 Discrepncia x Conformismo 67

Sistematizao

x Inovao 68 Submisso x Controle 52


43/119

43

Insatisfao x

Concordncia 63

Fonte. Alchieri (2004)

No Anexo 2 encontram-se as descries de Alchieri (2004) sobre as 24 polaridades

dentro da verso brasileira do MIPS.

3.1.3. A validade e confiabilidade do MIPS originalA data de publicao deste teste nos E.U.A. de 1994 e de autoria de Theodore

Millon, Lawrence Weiss, Carrie Millon e Roger Davis. O teste foi desenhado para que o

avaliado, em suas respostas de verdadeiro ou falso nas assertivas, some pontos nos escores

de cada uma das 24 dimenses, podendo ter um elevado desempenho, desempenho moderado

ou baixo desempenho, por exemplo, no seu trao de personalidade conhecido comoacomodao (Strack, 1999). A validao do MIPS americano deu-se atravs da verificao da

consistncia interna dos itens, confiabilidade do teste re-teste em dois meses, e como critrio

externo, a comparao com seis outros testes usados freqentemente pelos psiclogos norte-

americanos.

Segundo os prprios autores do teste, escores de 4 ou 5 pontos na escala de

consistncia indicam que o examinado respondeu consistentemente aos vrios itens do

questionrio. Um escore de 3 pode representar alguma dificuldade comum de interpretao

dos dados, porm, qualquer escore abaixo de 3 reflete dificuldades significantes de ateno ou

falta de seriedade na submisso ao teste. Questionrios com consistncia abaixo de 3 no

devem ser vlidos. O MIPS contm, tambm, uma composio de todos os ajustamentos

intitulada Escala de Ajustamento ( Adjustment Index) e trs indicadores de validade:


44/119

44

Impresso Positiva, Impresso Negativa e Consistncia (Strack, 1999). As escalas de

impresso positiva e impresso negativa representam a extenso pela qual o examinado se

enquadra em um perfil positivo ou negativo das caractersticas dicotmicas do teste.

3.2. Mtodo para Informatizao do Inventrio Millon de Estilos de Personalidade

Considerando os atuais estudos dos testes psicolgicos informatizados, foi necessrio

planejar uma metodologia que fosse capaz de estudar os quesitos de Validade e

Confiabilidade, alm de tornar adequada a leitura nas telas.

3.2.1.Parmetros Psicomtricos e desenho das aplicaes

Para Pasquali (2001), os dois parmetros psicomtricos utilizados para a anlise

estatstica dos dados so a validade e a preciso. Validade a propriedade do teste de medir o

que ele realmente se prope a medir. Esta validade ser estabelecida pela testagem emprica e

anlise criteriosa dos dados. Para a anlise da validade foram desenvolvidas metodologias na

psicologia para suprir erros de anlises estatsticas distorcidas e incompletas em psicometria.

Fundamentalmente trabalhada a validade do constructo, validade do contedo e validado do

critrio (APA, 1954).

Cronbach e Meehl (1955) definem a validade do constructo como a dimenso

caracterstica do teste em mensurar um atributo ou qualidade que ainda no tenha sido definida

operacionalmente. A validade do constructorefere-se, ento, a capacidade do teste em medir


45/119

45

o quanto que a sua representao pode ser uma expresso legtima e adequada do constructo

estabelecido. Uma das maneiras de proceder nesta anlise a de estudar os dados obtidos

atravs da anlise fatorial de seus itens e da anlise da consistncia interna.

Outra tcnica utilizada para analisar a validade de constructo estudado a de usar a

tcnica de validao convergente-discriminante. Esta tcnica visa demonstrar a validade do

teste fazendo a correlao significativa com outras variveis que o teste deveria estar

relacionado (validade convergente) e no estar relacionada com variveis com variveis

diferentes (validade divergente). A correlao significa at que ponto duas variveis

quantitativas esto relacionadas. Esta correlao ou associao pode ser verificada atravs do

diagrama de disperso e medida atravs do coeficiente de correlao (Levin, 1987).

A Validade do Critrio, por sua vez, refere-se ao grau de eficcia com que o teste

capaz de predizer um desempenho especfico de um sujeito. Esta validade do critrio acontece

atravs de dois critrios: a validade preditiva e a validade concorrente. Tanto a validade

concorrente como a preditiva podem ser avaliadas quantitativamente, atravs de coeficientes

numricos e o conceito de validade concorrente refere-se a relao entre o desempenho do

instrumento de interesse e o desempenho de outro instrumento semelhante e que j tenha sua

validade conhecida. Essa validade concorrente praticamente imediata a aplicao do

instrumento. Porm em funo da pouca viabilidade operacional das aplicaes on-line do

teste associada aplicao de outros testes, optou-se por no estudar a validade de constructo

atravs da tcnica de validao convergente-divergente. J a validade preditiva refere-se a

habilidade de um teste ou medida em predizer o desempenho numa rea de interesse. Porm,

com a coleta de dados aps um intervalo de tempo. Ou seja, representa o tempo mnimo pelo

qual o teste vlido. Para isso as tcnicas de reteste se apresentam como estratgias

metodolgicas teis da validade preditiva (Barros & Nahas, 2000).


46/119

46

A validade do critrio e a tcnica de validao convergente-divergente foram

contemplados no estudo de Alchieri (2004), que comparou o desempenho de sujeitos testados

no MIPS em sua verso lpis e papel para avaliar a validade convergente atravs do Inventrio

Fatorial de Personalidade (IFP) e as Escalas de Personalidade de Comrey. Enquanto que a

validade divergente foi estudada a partir do Questionrio de Sade Geral de Goldberg (QSG) e

o Inventrio Beck de Depresso.

A validade de contedo o grau em que os itens do teste representam a rea de

interesse. Representando a compreenso e a proporo razovel dos itens. Esta validade

depende da percia de especialistas na rea de testagem em questo, e este estudo de validade

de contedo do Inventrio Millon de Estilos de Personalidade tambm j foi realizado

(Alchieri, 2004).

J a preciso de um teste, tambm conhecida como critrio de fidedignidade, refere-se

a quanto os dados de um sujeito tendem a mudar de acordo com o tempo. Este conceito est

intimamente relacionado ao conceito de varincia erro, logo, quanto menor o erro medido por

esta varincia, maior a calibrao do teste. Estatisticamente a fidedignidade analisada atravs

da correlao dos escores dos dois momentos de aplicao. Existem metodologias para avaliar

esta preciso, como o teste-reteste e o clculo da consistncia interna. A consistncia interna

avaliada neste banco de dados atravs da tcnica de Alpha de Cronbach, em funo da

resposta aos itens serem dicotmicas (verdadeiro ou falso). Varia de zero a um, medindo a

capacidade do instrumento de diferenciar aplicaes. Matematicamente, o Alpha de Cronbach,

corresponde ao quociente da variabilidade entre as aplicaes individual de cada usurio em

relao variabilidade total, entre aplicaes gerais e erro sistemtico (Streiner & Norma,

1989).

3.2.2. Adaptao para a interface on-line


47/119

47

Foi realizado o registro do domnio http://www.planetapsi.com, e com o intuito de

fazer a transposio do teste lpis e papel para a pgina registrada, foi criada uma pgina

inicial exibindo informaes sobre o processo de testagem, o espao para o login do usurio e

o link para o cadastro de novos usurios. A pgina que utilizada para apresentar o site

encontrou-se disponvel on-line a partir de setembro de 2007 e encerrou suas atividades em

maio de 2008. A partir da primeira pgina o usurio era levado, aps clicar em cadastro

nesta pgina o usurio realizava um cadastro, em uma segunda pgina, contendo a

Identificao, Gnero, Sexo, Escolaridade e Profisso, conforme demonstrado na figura 1.

Figura 1: Tela de cadastro no site

Fonte: Site Http://www.planetapsi.com

Aps esta etapa o usurio registrava novamente com o seu login e senha o acesso a

uma breve explicao da pesquisa e um termo de uso dos procedimentos a seguir. Aps a

aceitao do termo havia a exibio da primeira pgina do instrumento.


48/119

48

Figura 2: Instrues do Site

Fonte: Site http://www.planetapsi.com

As questes foram linearmente distribudas em seis pginas com 30 questes cada,

assemelhando-se a interface tradicional de lpis e papel. Nos estudos piloto foi verificado que

o tempo mdio de aplicao por usurio era de aproximadamente 20 min. O intervalo de

atualizao de dados do servidor no foi superior a um segundo. Diante das vrias

possibilidades de programao da pgina, a linguagem originalmente conhecida como

Personal Home Pages (PHP), foi escolhida para organizar esta interface. Alm da facilidade

de manuseio do banco de dados, h uma ampla aceitao dos navegadores atualmente

utilizados na internet para o gerenciamento deste tipo de linguagem. O processo de

administrao de informaes foi rpido o suficiente para o contedo ser sido exibido com

velocidade considervel, mesmo por conexes atuais mais lentas, como a de 52kbps.

Figura 3: Tela de Perguntas no Site


49/119

49

Fonte: Site http://www.planetapsi.com

Ao final os dados do usurio eram adicionados ao banco de dados geral da pgina. O

sistema gerava um relatrio com o desempenho de cada candidato quando ultrapassava a

questo 180 e clicava em Prosseguir. Este relatrio era gerado a partir das estatsticas de

grupos normativos obtidos em estudos anteriores (Alchieri, 2004; Alchieri, Nues, Cervo &

Hutz, 2004 e 2008) constituda de aplicaes do MIPS em sua verso lpis e papel no Brasil.

Para maior aproveitamento dos dados em questo, foram tabulados os dados de 1032

aplicaes, separados em categorias de sexo e em cinco faixas etrias diferentes.

Quadro 1. Normas estabelecidas para a correo de dados

Faixas Etrias (anos) F M TOTAL

1 15 a 17 60 60 120

2 18 a 29 265 265 5303 30 a 41 137 137 274
http://www.planetapsi.com/http://www.planetapsi.com/http://www.planetapsi.com/http://www.planetapsi.com/


50/119

50

4 42 a 53 16 16 325 54 a 65 10 10 20

6 66 ou mais 28 28 56

TOTAL 516 516 1032Fonte: Alchieri (2004)

O usurio teve seus escores calculados e o texto devolutivo da pesquisa foi constitudo

para cada polaridade em trs nveis possveis dentro das Metas Motivacionais, Estilos

Cognitivos e Relaes Interpessoais de acordo com seus nveis de desempenho:

- Desempenho Inferior: quando o desempenho do sujeito inferior a um desvio padro

em funo do grupo normativo.

- Desempenho Mdio: quando o desempenho do sujeito avaliado est entre ou igual a

menos um desvio padro e mais um desvio padro em funo do grupo normativo.

- Desempenho Superior: quando o desempenho do sujeito avaliado encontra-se acima

de um desvio padro em funo do grupo normativo.

3.3. Anlise emprica e definio da amostra

Para a realizao da anlise emprica dos itens, foram avaliados os 2000 primeiros

registros de aplicao nica na pgina on-line, e sobre os quais se validou somente aqueles que

estavam devidamente completados, 1508 participantes. As outras aplicaes (492) foram

descartadas em funo de no atenderem aos conceitos bsicos de aplicao (estavam em

branco ou incompletas). Para realizar estas aplicaes on-line foram distribudos e-mails para

importantes grupos de comunicao, como jornais, revistas, sites, e e-mails individuais obtidos

atravs da rede de relacionamentos Orkut.com, alm de sites de lista de e-mails. Supe-se que

o resultado mais significativo tenha sido advindo dos e-mails diretos, em funo do no

retorno de interessados a partir das agncias de comunicao. Considerando as abrangncias

dos sistemas virtuais, e em especial a propagao de informaes, no sabamos precisamente


51/119

51

que tipo de populao acessaria a pgina e realizaria at o final o teste. Ou seja, mesmo tendo

o controle do processo de testagem, no tnhamos o controle do grupo amostral desta

testagem. Apesar do risco presumindo de falsos usurios ou erros no preenchimento dos dados

cadastrais, e da efetiva busca de falhas no banco de dados pelos organizadores deste estudo,

esta primeira etapa durou aproximadamente 7 meses, e obteve os seguintes resultados:

Tabela 3 - Distribuio das aplicaes de acordo com a faixa etria

Faixas de Idade Aplicaes Percentual

15-19 anos 232 15,4

20-24 anos 476 31,6

25-29 anos 439 29,130-34 anos 160 10,6

35-39 anos 68 4,5

40-44 anos 56 3,7

45-49 anos 47 3,1

50-54- anos 19 1,3

55-59 anos 7 ,5

60-65 anos 4 ,3Total 1508 100,0

Nesta tabela notamos uma maior concentrao de pessoas na segunda e na terceira

faixa etria, e esta concentrao, de quase 60% da amostra deve ter sido devido a maior

familiaridade e disponibilidade destas idades que as demais nas oito faixas.

Tabela 4 - Distribuio das aplicaes de acordo com o sexo

Sexo Freqncia Percentual

Feminino 978 64,9Masculino 530 35,1Total 1508 100,0

A distribuio do grupo amostral de acordo com o sexo demonstra uma prevalncia do

gnero feminino diante do masculino.

Tabela 5 - Distribuio das aplicaes de acordo com a Escolaridade


52/119

52

Faixa de Escolaridade Freqncia PercentualFundamental 10 ,7Fundamental Incompleto 4 ,3Mdio 145 9,6Mdio Incompleto 52 3,4

Superior 676 44,8Superior Incompleto 621 41,2Total 1508 100,0

A tabela 5 demonstra uma maior concentrao de pessoas que responderam ao teste on-

line como sendo graduandos ou graduados de cursos universitrios, poucas foram s pessoas

que, nesta proposta livre de acesso e de participao no processo da dissertao, encontravam-

se apenas com o ensino fundamental ou ainda em concluso deste.

Tabela 6 - Distribuio das aplicaes de acordo com as Regies

Regies Freqncia PercentualNorte 44 2,9Nordeste 1057 70,1Sudeste 263 17,4Sul 73 4,8Centro Oeste 71 4,7

Total 1508 100,0

Apesar de um nmero razovel de aplicaes oriundas da regio Sul e Centro-Oeste,

houve uma maior contribuio de usurios do Nordeste do que do restante do pas.

Provavelmente isso se deveu pela maior quantidade de informaes geradas a partir da cidade

onde este estudo se originou.


53/119

53

Para os estudos da confiabilidade do teste e comparao de desempenho no teste lpis e

papel, utilizamos a tcnica de teste-reteste do instrumento com associaes de aplicaes lpis

e papel. A tcnica de teste-reteste consiste em comparar os escores de um sujeito atravs de

duas testagens distintas com o mesmo instrumento. Nesta dissertao de mestrado optou-se

por apresentar aos sujeitos trs modalidades de teste-reteste.

Na primeira modalidade houve a aplicao lpis e papel e posteriormente a aplicao

on-line a partir de trs grupos com intervalos diferentes de aplicao. Na segunda modalidade

houve a aplicao do teste on-line e posteriormente aplicao da verso lpis e papel a partir

de trs grupos com intervalos diferentes de aplicao. Por fim, houve a aplicao de uma

terceira modalidade onde o teste-reteste foi executado somente em forma on-line em dois

momentos distintos a partir de trs grupos com intervalos diferentes de aplicao. Ao total

tivemos nove grupos de aplicao teste-reteste diferindo entre si pela disposio do intervalo

de tempo (dois meses, quatro meses e seis meses para o reteste) e as modalidades de aplicao

(on-line/ lpis e papel, lpis e papel/on-line e on-line/on-line).

Estes grupos de teste-reteste representam uma forma de validade alternativa de calcular

os coeficientes de preciso dos itens. Dentro de cada uma destas modalidades separamos trs

subcategorias de acordo com o tempo de testagem. Obtivemos nove grupos compostos por 20

pessoas cada um, e neles foram analisadas duas variveis: a questo do intervalo entre as

aplicaes e a influncia nas respostas na forma da aplicao da seqncia teste reteste (lpis e

papel ou on-line), assim:

Tabela 7 - Grupos de aplicao de teste e reteste

GRUPOS 1 Aplicao 2 Aplicao Intervalo de tempo Sujeitos

A Aplicao lpis e papel reteste on-line at 60 dias 20

B Aplicao lpis e papel reteste on-line de 61 a 120 dias 20

C Aplicao lpis e papel reteste on-line de 121 a 180 dias 20

D Aplicao on-line reteste lpis e papel at 60 dias 20E Aplicao on-line reteste lpis e papel de 61 a 120 dias 20


54/119

54

F Aplicao on-line reteste lpis e papel de 121 a 180 dias 20

G Aplicao on-line reteste on-line at 60 dias 20

H Aplicao on-line reteste on-line de 61 a 120 dias 20

I Aplicao on-line reteste on-line de 121 a 180 dias 20

E, por fim, foi realizada a composio de um ltimo grupo de aplicaes contendo 20

participantes que realizaram a aplicao on-line em quatro segmentos iguais, do MIPS off-line

com 45 perguntas cada em intervalo de uma semana. Este processo de multisesso

fundamentou o clculo da confiabilidade do teste e avaliou a capacidade do instrumento em

ser dividido, sem que perdesse a qualidade de testagem. Para a testagem optamos pela

reconstruo do teste, com a mesma interface da verso on-line, porm, construdo em Excel

2007. Foram quatro arquivos e