8/3/2019 DISSERTAO Alyson Barros
1/119
1
Universidade Federal do Rio Grande do Norte
Centro de Cincias Humanas, Letras e ArtesPrograma de Ps-Graduao em Psicologia
VALIDADE E CONFIABILIDADE DA VERSOINFORMATIZADA DO INVENTRIO MILLON DE
ESTILOS DE PERSONALIDADE
Alyson Canind Macdo de Barros
Natal (RN)2008
8/3/2019 DISSERTAO Alyson Barros
2/119
2
Alyson Canind Macdo de Barros
VALIDADE E CONFIABILIDADE DA VERSO INFORMATIZADA DOINVENTRIO MILLON DE ESTILOS DE PERSONALIDADE
Dissertao elaborada sob orientao do
Prof. Dr. Joo Carlos Alchieri e
apresentada ao Programa de Ps-Graduao em Psicologia da Universidade
Federal do Rio Grande do Norte, como
requisito parcial obteno do ttulo de
Mestre em Psicologia.
Natal (RN)2008
8/3/2019 DISSERTAO Alyson Barros
3/119
3
Universidade Federal do Rio Grande do Norte
Centro de Cincias Humanas, Letras e Artes
Programa de Ps-Graduao em Psicologia
A dissertao Validade e Confiabilidade da Verso Informatizada do Inventrio Millon de
Estilos de Personalidade elaborada por Alyson Canind Macdo de Barros foi considerada
aprovada por todos os membros da Banca Examinadora e aceita pelo Programa de Ps-
Graduao em Psicologia, como requisito parcial obteno do ttulo de Mestre em
Psicologia.
Natal (RN), 30 de Julho de 2008.
BANCA EXAMINADORA
_______________________________________________
Prof. Dr. Joo Carlos Alchieri (UFRN, Orientador)
_______________________________________________
Prof. Dr. Valdiney Gouveia (UFPB,Membro Externo)
_______________________________________________ Prof. Dr. Jorge Falco (UFRN,Membro Interno)
8/3/2019 DISSERTAO Alyson Barros
4/119
4
Always look on the bright side of life....
Monty Phyton.
8/3/2019 DISSERTAO Alyson Barros
5/119
5
minha me Zildalte, fonte de f e segurana. minha noiva Zaissa pelo sincero amor.
8/3/2019 DISSERTAO Alyson Barros
6/119
6
AGRADECIMENTOS
Agradeo a todos os que possibilitaram este sonho metodolgico possvel atravs de palavras
de conforto e carinho e, tambm desafio. Diante dos percalos de vidas pessoais e
profissionais, concluir o mestrado seria to somente uma regalia seno fosse uma paixo
estica pelo conhecimento. Diante destes realizei-me como Newton, s que pulando sobre o
ombro de um gigante para ver mais longe. Agradeo ao meu orientador Joo Carlos Alchieri
pela pacincia e dedicao neste projeto alcanado e nas orientaes seguidas.
Agradeo a todas as minhas hipteses de Deuses que desenharam este processo como proposta
de realizao e, principalmente, aprendizado.
Agradeo o apoio de Hugo C. R. Cmara, um futuro grande professor e atual grande homem,
pelos seus valiosos conhecimentos e exemplo de vida.
A Anderson Sousa, amigo de determinao obstinada pela felicidade, agradeo as horas
despendidas em lies de ingls.
minha noiva, Zaissa Macdo que sempre entendeu o tempo investido neste mestrado, assim
como compreendeu as dificuldades do mesmo.
Agradeo aos meus pais, irmos e familiares pelos anos de educao e aprimoramento de
meus valores humanos, pelos quais reverencio imensa estimao. Hoje, o eficaz TDAH um
presente poderoso para poder dar conta de tantas competncias ao mesmo tempo.
8/3/2019 DISSERTAO Alyson Barros
7/119
7
VALIDADE E CONFIABILIDADE DA VERSO INFORMATIZADA DOINVENTRIO MILLON DE ESTILOS DE PERSONALIDADE
RESUMO: Atualmente encontramos numerosos testes psicolgicos e no psicolgicospublicados sem procedimentos em diferentes reas, como inteligncia, estados emocionais,
atitudes, comportamento socialmente habilidoso, vocao, preferncias e outros. A testagempsicolgica informatizada uma extenso das prticas psicolgicas de testagem tradicionais,no entanto caracteriza-se por qualidades psicomtricas prprias, seja pela adequao aoambiente informatizado como tambm pela extenso de funes que pode adquirir. A presentepesquisa, originada atravs da necessidade de estudar os processos de validade econfiabilidade de um instrumento informatizado, delineou uma metodologia de aplicaesparalelas em vrios tipos de grupos operacionais, a partir do tempo e da forma de aplicao,intuindo discutir os aspectos relativos ao processo de informatizao. Esta validao refere-setanto aos valores dos grupos normativos quanto a reprodutibilidade informatizada dosprocessos de aplicao e tratamento dos dados. Escolhemos o Inventrio Millon de Estilos dePersonalidade, de Theodore Millon,para o processo de informatizao e estudos de validade e
confiabilidade. Para fundamentar a pesquisa abordou-se o tema atravs da contextualizao dopanorama brasileiro em testes psicolgicos, foram discutidas as vantagens e desvantagens detal prtica e foram avaliadas as formas de informatizao de testes atravs das aplicaes deum teste on-line. Disponibilizou-se o inventrio em um site especialmente preparado para apesquisa (http://www.planetapsi.com), por oito meses. Foi realizada uma aplicao do teste emmodo linear e em escala nacional em todas as regies brasileiras, obtendo 1508 aplicaes. Emseguida, organizamos nove grupos, totalizando 180 sujeitos nas aplicaes de teste e reteste,onde foram separadas trs faixas de tempo e trs formas de retestes para estudos dos testes on-line. Paralelo a isso, compomos ainda um grupo de aplicao multisesso off-line de 20sujeitos que receberam seus testes por e-mail. Os sujeitos deste estudo estavam distribudospelas cinco regies brasileiras e tomaram conhecimento do teste via internet. Com odesempenho dos testados nas aplicaes tradicionais e nos grupos on-line tivemos subsdiospara concluir que a aplicao on-line apresenta consistncia significativamente boa em todosos critrios de validade estudados. Esta validade justifica a sua utilizao, assim como estudossubseqentes. Os resultados dos testes on-line no s foram correlatos entre si como tambmforam semelhantes aos das testagens tradicionais (0,89) feitas em lpis e papel. Os retestesdemonstraram correlao entre si, variando entre 0,92 e 1, enquanto que as multisessesapresentaram bom resultado nestas comparaes (0,72). Alm disso, foram avaliados que oscritrios logsticos de adequao na forma informatizada, como a segurana, o desempenhodos usurios, as caractersticas ambientais, a organizao do banco de dados, os custosoperacionais e as limitaes do inventrio on-line, foram bastante satisfatrios, concluindo que
h viabilidade de um teste informatizado on-line com auto-aplicao. Os resultados obtidospor este trabalho podem ser de utilidade para nortear ulteriores estudos, aprofundando tanto oestabelecimento de metodologias de informatizao de testes psicolgicos no pas, quanto opapel do psiclogo diante de novas tecnologias.
Palavras Chave:
ValidadeConfiabilidade - Testes InformatizadosMIPSTeste on-line
8/3/2019 DISSERTAO Alyson Barros
8/119
8
VALIDITY AND RELIABILITY IN COMPUTERIZED MILLON INDEX OFPERSONALITY STYLES
ABSTRACT:Currently, several psychological and non-psychological tests can be found in publishes
without standardization on procedures set in different psychological areas, like intelligence,emotional states, attitudes, social skills, vocation, preferences and others. The computerizedpsychological testing is a extension of traditional testing psychological practices. However, ithas own psychometrics qualities, either by its matching in a computerized environment or bythe extension that can be developed in it. The current research, developed from a necessity tostudy process of validity and reliability on a computerized test, drew a methodologicalstructure to provide parallel applications in numerous kinds of operational groups, evaluatingthe influences of the time and approach in the computerization process. This validity refers tonormative values groups, reproducibility in computerized applications process and dataprocessing. Not every psychological test can be computerized. Therefore, our need to find agood test, with quality and plausible properties to transform in computerized application,
leaded us to use The Millon Personality Inventory, created by Theodore Millon. ThisInventory assesses personality according to 12 bipolarities distributed in 24 factors, distributedin categories motivational styles, cognitive targets and interpersonal relations. This instrumentdoesnt diagnose pathological features, but test normal and non adaptive aspects in human
personality, comparing with Theodore Millon theory of personality. In oder to support thisresearch in a Brazilian context in psychological testing, we discuss the theme, evaluating theadvantages and disadvantages of such practices. Also we discuss the current forms incomputerization of psychological testing and the main specific criteria in this psychometricspecialized area of knowledge. The test was on-line, hosted in the sitehttp://www.planetapsi.com, during the years of 2007 and 2008, which was available aquestionnaire to describe social characteristics before test. A report was generated from thedata entry of each user. An application of this test was conducted in a linear way through anational coverage in all Brazil regions, getting 1508 applications. Were organized nine groups,reaching 180 applications in test and retest subject, where three periods of time and threeforms of retests for studies ofon-line tests were separated. Parallel to this, we organized multi-application session offline group, 20 subjects who received tests by email. The subjects of thisstudy were generally distributed by the five Brazilian regions, and were noticed about the testvia the Internet. The performance application in traditional and on-line tested groups subsidiesus to conclude that on-line application provides significantly consistency in all criteria forvalidity studied and justifies its use. The on-line test results were related not only amongthemselves but were similar to those data of tests done on pencil and paper (0,82). The retests
results demonstrated correlation, between 0,92 and, 1 while multisessions had a goodcorrelation in these comparisons. Moreover, were assessed the adequacy of operational criteriaused, such as security, the performance of users, the environmental characteristics, theorganization of the database, operational costs and limitations in this on-line inventory. In allthese five items, there were excellent performances, concluding, also, that its possible a self-applied psychometric test. The results of this work are a guide to question and establish ofmethodologies studies for computerization psychological testing software in the country.
Key-words: ValidityReliability - Computerized TestsMIPSOn-line Test
http://www.planetapsi.com/http://www.planetapsi.com/8/3/2019 DISSERTAO Alyson Barros
9/119
9
ndice
NDICE DE QUADROS_____________________________________________________11
INDICE DE FIGURAS______________________________________________________12
INDICE DE TABELAS______________________________________________________13
INTRODUO____________________________________________________________15
CAPTULO IO panorama dos Testes Psicolgicos Informatizados________________18
1.1. Caractersticas dos instrumentos informatizados__________________20
1.2. A perspectiva Brasileira de Testagem Informatizada diante do cenrio
mundial e regulamentaes deste processo__________________________22
CAPTULO II CARACTERSTICAS LOGSTICAS DO
PROCESSO DE TESTAGEM ON-LINE ______________________________________25
2.1. Custos Operacionais ______________________________________25
2.2. Banco de
Dados_____________________________________________26
2.3. Segurana_________________________________________________
_28
2.4. Caractersticas Ambientais e
Acessibilidade______________________292.5. Desempenho dos usurios
_____________________________________32
2.6. Limitaes_________________________________________________
_33
CAPTULO III MTODO__________________________________________________34
3.1. O Instrumento: Inventrio Millon de Estilos de
Personalidade__________________________________________________343.1.1. Conceitos Gerais e perspectivas tericas__________________35
3.1.2. Caractersticas do Instrumento__________________________37
3.1.3. A validade e confiabilidade do MIPS original______________41
3.2. Mtodo para Informatizao do Inventrio
Millon de Personalidade_________________________________________42
3.2.1. Parmetros Psicomtricos e desenho das
aplicaes_______________________________________________42
3.2.2. Adaptao para a interface on-line_______________________44
8/3/2019 DISSERTAO Alyson Barros
10/119
10
3.3. Anlise emprica e definio da amostra________________________48
CAPTULO IVRESULTADOS_____________________________________________54
4.1. Padres psicomtricos do grupo de aplicaoon-line _____________54
4.2. Padres psicomtricos dos grupos de retestagem_________________73
4.3. Padres psicomtricos da aplicao em multisesso_______________80
CAPTULO VDISCUSSO________________________________________________82
5.1. Validade e confiabilidade do Inventrio Millon de Estilos de
Personalidade em sua versoon-line ______________________________83
5.2. Caractersticas logsticas do Inventrio Millon de Estilos de
Personalidadeon-line ___________________________________________84
5.2.1. Custos Operacionais do Inventrio Millon de
Estilos de Personalidade on-line _____________________________84
5.2.2. Banco de Dados do Inventrio Millon de Estilos de
Personalidade on-line ______________________________________84
5.2.3. Segurana do Inventrio Millon de Estilos
de Personalidade on-line____________________________________85
5.2.4. Caractersticas Ambientais e Acessibilidade do InventrioMillon de Estilos de Personalidade on-line_____________________85
5.2.5. Desempenho dos usurios no Inventrio Millon de Estilos de
Personalidade on-line______________________________________86
5.2.6. Limitaes do Inventrio Millon de Estilos de Personalidade on-
line_____________________________________________________86
5.3. A perspectiva dos retestes e das multisesses na validade e
confiabilidade do Inventrio Millon de Estilos de
Personalidade__________________________________________________87
CAPTULO VI CONCLUSES_____________________________________________88CAPTULO VIIREFERNCIAS___________________________________________92
ANEXOS _________________________________________________________________99
8/3/2019 DISSERTAO Alyson Barros
11/119
11
NDICE DE QUADROS
Quadro 1: Normas estabelecidas para a correo de dados___________________________47
8/3/2019 DISSERTAO Alyson Barros
12/119
12
NDICE DE FIGURAS
Figura 1: Tela de cadastro no site_______________________________________________45
Figura 2: Instrues do Site___________________________________________________45
Figura 3: Tela de Perguntas no Site _____________________________________________46
Figura 4: Primeira tela de Apresentao do teste Multisesso ________________________52
8/3/2019 DISSERTAO Alyson Barros
13/119
13
NDICE DE TABELAS
Tabela 1: Bipolaridades e os estilos de personalidade ______________________________40
Tabela 2: Distribuio de itens pelas Polaridades __________________________________40
Tabela 3: Distribuio das aplicaes de acordo com a faixa etria____________________48
Tabela 4: Distribuio das aplicaes de acordo com o gnero _______________________49
Tabela 5: Distribuio das aplicaes de acordo com a Escolaridade___________________49
Tabela 6: Distribuio das aplicaes de acordo com as Regies _____________________50
Tabela 7: Grupos de aplicao de teste e reteste ___________________________________51
Tabela 8: Definio dos grupos de aplicao_____________________________________53
Tabela 9: Comparaes entre os Alphas da amostra americana e brasileira______________54
Tabela 10: ANOVA das Metas Motivacionais versus regio_________________________55
Tabela 11: ANOVA dos Estilos cognitivos versus regio____________________________56
Tabela 12: ANOVA Relaes Interpessoais versus regio___________________________57
Tabela 13: ANOVA das Metas Motivacionais versus gnero_________________________58
Tabela 14: ANOVA dos Estilos cognitivos versus gnero___________________________59
Tabela 15: ANOVA Relaes Interpessoais versus gnero___________________________60
Tabela 16: ANOVA das Metas Motivacionais versus escolaridade____________________61
Tabela 17: ANOVA dos Estilos cognitivos versus escolaridade______________________62
Tabela 18: ANOVA Relaes Interpessoais versus escolaridade______________________63
Tabela 19: ANOVA das Metas Motivacionais versus faixa etria _____________________64
Tabela 20: ANOVA dos Estilos cognitivos versus faixa etria _______________________65
8/3/2019 DISSERTAO Alyson Barros
14/119
14
Tabela 21: ANOVA Relaes Interpessoais versus faixa etria_______________________66
Tabela 22: Mdia dos fatores da adaptao do MIPS no Brasil (n=6)__________________68
Tabela 23: Mdia dos fatores da aplicao on-line (n=6)____________________________69
Tabela 24: Mdias dos Fatores da adaptao do MIPS no Brasil (n=8182)______________70
Tabela 25: Mdia dos Fatores da Amostra on-line (n=1508) _________________________71
Tabela 26: ndice de correlao entre itens_______________________________________72
Tabela 27: Mdias dos fatores nos grupos de teste on-line e reteste lpis e papel (A, B e C) _74
Tabela 28: Mdias dos fatores nos grupos de teste lpis e papel e reteste on-line (D, E e F)_76
Tabela 29: Mdias dos fatores nos grupos de teste e reteste on-line (G, H e I)____________78
Tabela30: Correlaes entre grupos de retestes___________________________________79
Tabela 31: Mdia dos Fatores da Amostra Multisesso (n=20) _______________________80
8/3/2019 DISSERTAO Alyson Barros
15/119
15
INTRODUO
A Avaliao psicolgica um campo da cincia psicolgica fundamentada em mtodos
e tcnicas de identificao de similaridades e diferenas entre caractersticas pessoais e grupos
normativos. Para esta comparao fundamental a utilizao de ferramentas que garantam
uma testagem apropriada e uma comparao com um grupo normativo adequado. No Brasil,
os testes psicolgicos, de acordo com a lei n4.119, de 1962, so de uso exclusivo dos
psiclogos, definidos, de acordo com a Resoluo 02/2003 do Conselho Federal de Psicologia,
como procedimentos sistemticos de observao e registro de amostras de comportamentos
respostas de indivduos com o objetivo de descrever e/ou mensurar caractersticas e processos
psicolgicos, compreendidos tradicionalmente nas reas emoo/afeto, cognio/inteligncia,
motivao, personalidade, psicomotricidade, ateno, memria, percepo, dentre outras, nas
suas mais diversas formas de expresso, segundo padres definidos pela construo dos
instrumentos (Art.1, pargrafo nico).
A atuao do psiclogo diante destas avaliaes depende em parte da qualidade do
instrumento ou da tcnica utilizada. Neste sentido, ainda so poucas as variedades e nmeros
de instrumentos que o psiclogo pode dispor para a realizao de suas intervenes de
testagem, ainda mais se compararmos o desempenho do cenrio brasileiro com de outros
pases como dos Estados Unidos e de parte da Europa (Central Test, 2008).
Esta utilizao de testes psicolgicos feita, tradicionalmente atravs de testes de lpis
e papel, no entanto aps o aprimoramento de novas tecnologias, a intermediao dos processos
8/3/2019 DISSERTAO Alyson Barros
16/119
16
profissionais psicolgicos por meio de computadores e da internet pode ser estudada. Os
primeiros testes informatizados surgiram na dcada de 1940, mas s a partir da dcada de
1980 que houve um grande desenvolvimento dos testes informatizados atravs de adaptaes
dos testes lpis e papel (Joly, Welter, Martins, Marini, Montiel, Lopes & Carvalho, 2005). Os
testes informatizados so instrumentos mediados, em sua aplicao, por um computador, e esta
aplicao pode ser realizada on-line, atravs de um teste desenvolvido apenas para ambientes
de internet, ou off-line, atravs de programas instalados no computador usado para a testagem.
So usados, em sua grande maioria, para suprir necessidades clnicas e de
gerenciamento de recursos humanos (seleo e pesquisas organizacionais). Fora do Brasil
diversos sites trabalham com o desenvolvimento de novos testes e a adaptao de testes
tradicionais para a forma on-line. Podem-se encontrar exemplos destas prticas em empresas
como o Queendom (2008), o Multi-Health Systems Inc. (2008), Harcourt Assessment (2008),
Psychtests (2008), Ase Psychometric Tests (2008), PsychPress (2008) e Shl People
Performance (2008), todas apresentam instrumentos considerados pelos mesmos, como sendo
psicomtricos, disponibilizados em reas de testagem gratuita, enquanto outros exibem reas
pagas para o acesso ao teste a ao relatrio. Estudar este manejo de dados on-line, os recursos
de desenvolvimento de ferramentas on-line e, principalmente, pesquisar a viabilidade de tal
processo a partir de parmetros da psicometria importante para o questionamento atualizao
do psiclogo diante de novas tecnologias e ferramentas.
Diante do exposto, a presente dissertao foi organizada em seis captulos. No
Captulo I apresenta-se a histria e desenvolvimento da testagem informatizada, bem como
suas caractersticas e aspectos mais estudados. Tambm discutido o panorama atual no
cenrio Brasileiro comparado com o contexto mundial. No Captulo II apresentam-se os
processos logsticos do processo de testagem on-line, onde so discutidas as dimenses mais
8/3/2019 DISSERTAO Alyson Barros
17/119
17
comumente descritas de outros testes informatizados: custos operacionais, banco de dados,
segurana, caractersticas ambientais e acessibilidade, desempenho do usurio e limitaes.
O Captulo III dedicado ao mtodo, o qual engloba o delineamento do estudo a
partir da escolha do instrumento e desenho dos procedimentos para a adaptao. Neste
captulo, expem-se tambm os objetivos da presente dissertao e detalhada a metodologia
utilizada para o estudo e os conceitos psicomtricos utilizados para embasar os estudos.
Apresenta-se a amostra, os instrumentos eprocedimentos para a coleta dos dados empregados,
bem como uma breve exposio das anlises estatsticas realizadas. No Captulo IV so
apresentados os resultados obtidos. Primeiramente os resultados da aplicao on-line simples e
em seguida so apresentados os resultados dos grupos de retestagem e da multisesso.
As discusses dos resultados obtidos so apresentadas no Captulo V onde so
discutidos os resultados dos estudos na confiabilidade e validade do informatizado de testagem
do MIPS. Neste captulo discutem-se as competncias logsticas do processo de
informatizao. Finalmente, no Captulo VI figuram as concluses. Neste momento, so
apresentadas as perspectivas do estudo assim como as principais contribuies para a cincia
da psicometria e ainda as possibilidades de estudos futuros, indicando questes que podem
merecer a ateno de pesquisadores.
8/3/2019 DISSERTAO Alyson Barros
18/119
18
8/3/2019 DISSERTAO Alyson Barros
19/119
19
CAPTULO IO PANORAMA DOS TESTES PSICOLGICOS INFORMATIZADOS
O uso do computador dentro da psicologia remonta quase ao mesmo tempo a o
desenvolvimento computadores (Olea, Ponsoda & Prieto, 1999).A informtica avanou desde
a correo de cartes, fichas pticas e trouxe o desenvolvimento na rea educacional, clnica
mdica, industrial e na psicologia em si. Esse desenvolvimento ocorre atravs da utilizao e
aprimoramento de programas de computadores trabalhando com sistemas de apoio a decises
clnicas, auxiliando no atendimento clnico para coletar dados, aplicao de instrumentos para
fazer diagnsticos, guias de programas teraputicos e como programas de auto-ajuda (Trabin
apud Prado, 1996).
Atualmente encontramos em portugus alguns testes psicolgicos no validados para a
internet, como o Teste de Rorschach (2008), Zulliger (2008) e o Teste Palogrfico (2008),
mesmo com reaes contrrias por parte da comunidade profissional. Um problema comum
aos testes informatizados, contudo, falta de estudos adequados estatisticamente ou at
metodologicamente visando a mensurao de suas propriedades psicomtricas (Luetch, 2005).
Em duas das maiores editoras de materiais psicolgicos do Brasil (Casa do Psiclogo e a Vetor
Editora) encontramos instrumentos como: Sistema Multimdia de Habilidades da Criana, G-
36, G-38, R-1, R-4, CPS, QUATI, QVI, LIP, que so validados e chancelados pelo Conselho
Federal de Psicologia, porm ainda no encontramos na atualidade nenhum teste on-line com
o status de validado.
Para Andriola (2003), existem posies antagnicas com relao aos testes, e estas so
compostas por uma corrente que recusa qualquer interveno dos computadores no processo
de avaliao psicolgica, e outra, que ressalta suas vantagens e potencialidades. Sugere ainda
o autor que deva haver duas fases necessrias para a utilizao adequada de computadores
dentro da psicologia. A primeira seria de utilizar o computador para a rapidez, a preciso e
8/3/2019 DISSERTAO Alyson Barros
20/119
20
normatizao dos escores brutos. A segunda fase seria a de anlise e descrio dos resultados,
gerando relatrios a partir destes.
Instrumentos organizados em formas semelhantes a exibio de dados, como o caso
das escalas e inventrios, so os que mais tm facilidade de construes informatizadas. Esta
compatibilidade acontece, tambm, devido a que geralmente avaliam valores estudados
diretamente atravs de seus critrios. J as tcnicas como o Rorschach ou o Zulliger
necessitariam de dispositivos e ferramentas em sua interface que permitissem circunscrever
adequadamente o processo de avaliao. Esta adaptao, provavelmente, necessitaria de
estudos metodolgicos a partir de vieses diferentes, como a anlise do comportamento
manifesto do cliente, por exemplo, (Andriola, 2003; Berguer, 2006).
O processo de informatizao de testes apresenta, segundo Bunderson, Inouyo e Olsen
(1989) quatro momentos distintos de evoluo na histria: a testagem convencional
informatizada, a elaborao automtica de laudos, os testes adaptativos computadorizados e a
construo automatizada dos testes. Estas quatro fases da evoluo da testagem psicolgica
mediada por computadores so encontradas com freqncia.
Atualmente encontramos dois modelos de apresentao de testes informatizados: os
Testes Computadorizados Fixos e os Testes Adaptativos (Olea, Revuelta & Ximenz, 2000).
Os Testes Computadorizados Fixos so testes, em sua maioria de anlise linear, pr-
construdos e de formas intactas que so administrados em uma ou mais sesses e so
anlogos aos testes de lpis e papel (Luecht, 2005). J os Testes Adaptativos
Computadorizados (TAC) so os instrumentos que variam sua forma de exibio de acordo
com os algoritmos do programa em questo. Nos TACs os itens so selecionados de acordo
com a resposta prvia do usurio avaliado e associados a escores provisrios e novos
algoritmos para a sucesso de novos itens (Revuelta & Ponsoda, 199; Tejada, 2001). Este
processo repete-se at que o examinando chegue ao fim do teste e seja levado a outro teste,
8/3/2019 DISSERTAO Alyson Barros
21/119
21
atinja um padro de escore estatisticamente adequado ao seu desempenho ou a proficincia do
examinando esteja acima ou abaixo probabilisticamente das especificaes do teste (Luecht,
2005).
1.1 Caractersticas dos instrumentos informatizados
No h uma forma universal aceita de converso do teste tradicional de lpis e papel
para a verso informatizada. No entanto dois diferentes modelos tm sido mais utilizados nos
ltimos anos (Olea, Ponsoda & Prieto, 1999). O primeiro refere-se traduo literal dos
princpios e organizaes do instrumento para a verso informatizada. Preservando a estrutura
de exibio de itens, o tempo de resposta, as cores, a forma de responder, etc. Como o teste de
Raciocnio Numrico (Andriola, 2003). A segunda metodologia refere-se a adaptar,
literalmente, o teste para as condies informatizadas seja construindo ele totalmente dentro da
ambiente informatizado ou alterando-lhe as caractersticas inerentes a sua interface tradicional,
como adicionando um cronmetro, exibindo um item por vez, alterando a ordem de exibio
das perguntas, etc.
Os testes na internet podem ser classificados de acordo com trs tipos de categorias, de
acordo com seus propsitos (Naglieri, Drasgow, Schimit, Handler, Prifitera, Margolis &
Velasquez, 2004):
1- Novas escalas e surveys desenvolvidos para uso pessoal ou em pequena escala atravs
de novas escalas para mensurar caractersticas de personalidade, atribuies, etc.
2- Testes de psicodiagnstico tradicionais, como o MMPI, MMPI-2 e as escalas Beck de
depresso, adaptadas para a internet.
3- Testes cognitivos de habilidades, testes de certificao e licenciamento, e exames
aplicados na internet com o propsito de identificar os melhores candidatos em
selees.
8/3/2019 DISSERTAO Alyson Barros
22/119
22
A testagem informatizada tem sido utilizada em suas vrias formas por mais de quatro
dcadas e no foi apenas a rea de psicologia que integrou suas formas de testes informtica,
mas principalmente tambm a educao, a rea da sade em geral e a rea
organizacional/administrativa (Lievens, 2006). Os computadores so, hoje em dia, ferramentas
significantes da interao social humana, e o que dcadas atrs servia apenas para testagem em
contextos industriais, hoje tem uma ampla aplicao e modelos de avaliao, ampliando esta
rea de avaliao e expandindo um mercado que antes era dominado pelos tradicionais testes
de lpis e papel (Wainer, 2000). Estima-se que quase um bilho de pessoas no planeta teve
acesso a internet em 2005 e que em 2010 este valor deva chegar a 1,8 bilho (Computer
Industry Almanac, 2004). O ambiente informatizado pode se configurar como mais uma
ferramenta de trabalho psicolgico, e em especial, nas avaliaes psicolgicas. Atualmente,
aproximadamente um milho de testes so aplicados por ms atravs da internet (Prometric,
2004) e muitos conceitos ticos sobre estas aplicaes so discutidos (Sayeg, 2000, Bennett,
2001). Torna-se importante, ento, uma avaliao das vantagens e desvantagens deste
procedimento de informatizao, assim como a validao dos princpios psicomtricos
aplicados aos testes informatizados. Questionamentos surgiram no sentido de descobrir se os
testes informatizados so contingenciados pelos mesmos princpios psicomtricos de aplicao
dos tradicionais testes de lpis e papel ou se adquirem novas contingncias e atribuies que
necessitem de novas formas de pesquisar e construir neste ambiente computadorizado (Luetch,
2005). Mas apesar das respostas na literatura no serem unnimes (Olea, Ponsoda & Prieto,
1999) a diretriz para a busca destes dados clara h algumas dcadas para os psicometristas e
para os estudiosos da rea: h uma nova realidade a ser trabalhada, que requer,
necessariamente, o desenvolvimento dos princpios tradicionais da psicometria na concepo
da forma da testagem psicolgica.
8/3/2019 DISSERTAO Alyson Barros
23/119
23
1.2 A perspectiva Brasileira de Testagem Informatizada diante do cenrio mundial e
regulamentaes deste processo
Na testagem psicolgica, os estudos das reas de escalas de personalidade, escalas de
atitudes no trabalho, funcionamento cognitivo esto entre os diversos tipos de instrumentos
que foram convertidos para a verso informatizada (Richman, Kiesler, Weisband & Drasgow,
1999). No entanto, este grande avano pertence prioritariamente aos EUA, a Inglaterra e
outros poucos pases da Europa. No Brasil, apesar das iniciativas na rea de informtica e
testagem, como a Sociedade Brasileira de Informtica em Sade (Lima, 2005) poucos testes
informatizados obtiveram publicao em peridicos ou so comercializados pelas editoras
com a chancela do Conselho Federal de Psicologia (CFP). Pelo Sistema de Avaliao de
Testes Psicolgicos do CFP, apenas o TCA Visual (Teste Computadorizado de Ateno) da
Editora Cognio est com parecer favorvel para a comercializao (SATEPSI, 2007).
Apesar da pouca produo brasileira na rea de testes informatizados e de estudos nesta rea
(Alchieri & Nachtigall, 2003), existe um instrumento construdo para avaliao de testes
informatizados: o SAPI (Sistema de Avaliao para Testes Informatizados). Uma escala que
foi validada atravs da avaliao de peritos na rea de construo de testes e de sistemas em
informtica (Joly et al., 2005). Esta escala foi a primeira no pas a organizar-se a partir das
diretrizes da International Test Comission, Conselho Federal de Psicologia e vrias produes
reconhecidas nesta rea. O SAPI no ser objeto de parmetro de comparao para este estudo
em funo do mesmo se limitar mais nos aspectos classificatrios de um teste informatizado
do que no conjunto de instrues objetivas para informatizar testes.
No entanto, da dcada de 1990 para os dias atuais os debates sobre as aplicaes e
formas de fazer tais procedimentos tm-se aprimorado. Em 1999 foi publicado o Standards for
Educational and Psychological Testing, um documento adotado pelaAmerican Psychological
8/3/2019 DISSERTAO Alyson Barros
24/119
24
Association (APA) e pela American Educational Research Association (AERA). O propsito
da publicao foi fornecer padres para aprimorar e regulamentar a avaliao de testes, as
prticas de testagem e os seus efeitos (A.P.A., 2007). Estas orientaes determinam
procedimentos na seleo e administrao de itens, determinao de condies e validade,
testagens individuais em contextos especiais e diferenas lingsticas. Fornecendo orientaes,
por exemplo, para as instrues presentes no teste e na oportunidade de resoluo de exemplos
antes do teste em si. O Conselho Federal de Psicologia, atravs de duas resolues, 25/2001 e
02/2003 (CFP, 2001, 2003) definiu critrios para a elaborao, comercializao e uso de
instrumentos de medida, tendo como referncia os padres difundidos pela InternationalTest
Commission e American Psychological Association.
Em fevereiro de 2003, um levantamento internacional foi realizado em vrios pases
em busca das produes publicadas na rea da testagem psicolgica informatizada (Coyne &
Bartram, 2004). Este levantamento foi feito pela International Test Commission, ligada a
American Psychological Association e constatou quatro principais dimenses das publicaes:
tecnologia, qualidade, controle e segurana. A partir deste levantamento foram organizadas
bases pra que fossem elaboradas linhas gerais de orientao deste novo mercado de trabalho e
pesquisa da psicologia. Em 2003, todos os pesquisadores e instituies que participaram da
Conferncia daInternational Test Commission, receberam e discutiram os dados preliminares
deste levantamento, assim como as organizaes representantes de 8 pases (Austrlia,
Canad, Estnia, Holanda, Eslovnia, frica do Sul Reino Unido e Estados Unidos). Ao
mesmo tempo, a Fora Tarefa sobre Internet da Associao Americana de Psicologia refinava
suas guias para elaborao de pesquisas e instrumentalizaes na Internet e via Computadores
(Naglieri et al., 2004). A partir de ento, foi elaborado um dos documentos mais importantes
da testagem via computadores: Psychological Testing on the Internet: New problems, old
8/3/2019 DISSERTAO Alyson Barros
25/119
25
issues. Este documento orienta os princpios psicomtricos, ticos, legais e discute as
implicaes prticas deste mtodo de testagem (Naglieri et al, 2004).
No Brasil a Resoluo do CFP N 006/2000 instituiu a Comisso Nacional de
Credenciamento e Fiscalizao dos Servios de Psicologia pela Internet (Bock, 2000). De
acordo com esta resoluo o Conselho Federal de Psicologia possui as atribuies de
desenvolver critrios para avaliar a qualidade dos servios psicolgicos oferecidos pela
Internet, acompanhar o credenciamento e fiscalizar os sites de atendimento psicoteraputico
mediado pelo computador, acompanhar a certificao dos sites de pesquisa sobre atendimento
mediado pelo computador. Esta resoluo deveria ser mais abrangente que apenas o
atendimento psicolgico atravs da internet, no entanto isto reflexo da pouca produo.
Apesar da especificidade, a possibilidade de certificao uma vantagem frente s
deliberaes da ITC (Lievens, 2006).
8/3/2019 DISSERTAO Alyson Barros
26/119
26
CAPTULO II
CARACTERSTICAS LOGSTICAS DO PROCESSO DE TESTAGEM ON-LINE
O aprimoramento de ferramentas informatizadas de testagem psicolgica pode auxiliar
o desempenho do psiclogo, assim como elencar um rol de vantagens para interao com os
sujeitos avaliados, no entanto devem-se ressaltar as vantagens e desvantagens dos processos de
testagem on-line diante dos processos de testagem lpis e papel. Optamos, ento, pela
demonstrao destas frente aos testes tradicionais atravs da anlise dos quesitos: custos
operacionais, banco de dados, segurana, caractersticas ambientais e acessibilidade,
desempenho dos usurios e as limitaes. Este modelo foi desenvolvido a partir da estrutura de
avaliao adotada pela American Psychological Association em seu documento de orientao
aos estudos dos testes informatizados Psychological Testing on the Internet: New Problems,
Old Issues (Naglieri et al., 2004).
2.1 Custos Operacionais
A partir da perspectiva psicomtrica de realizao de testagem informatizada quase
sempre encontramos argumentaes sobre o custo reduzido da produo e do trabalho com
testes informatizados frente aos tradicionais testes de lpis e papel (Ponsoda, Hontangas, Olea,
Revuelta, Abad & Ximnez, 2004; Joly, 2005; Prado, 2005; ITC, 2005). Apesar deste
consenso entre a grande maioria dos pesquisadores desta rea, o trabalho de Luetch (2005)
prediz que na realidade dos testes informatizados so, em mdia de 200 a 500 por cento mais
caros do que os tradicionais testes de lpis e papel. Luetch (2005) postula que este custo
reduzido irreal posto que nestes clculos valorativos o que deixa de ser gasto com impresso
e distribuio superado com a estrutura operacional que leva o teste at o usurio,
8/3/2019 DISSERTAO Alyson Barros
27/119
27
atualizaes de sistema, manuteno do software ou pgina on-line e, alm, disso, manuteno
e gerenciamento com os bancos de dados.
Segundo Prado (Ballone, 2003) os programas para psicologia podem requerer um alto
grau de investimento financeiro e administrativo por parte de uma equipe especifica com
conhecimentos tcnicos. Estas competncias geralmente no so encontradas dentro da
psicologia. Por outro lado, com o processo de testagem sendo informatizado h, tambm, a
reduo no custo de formao do psiclogo aplicador.
Utilizar uma ferramenta de testagem informatizada tambm pode significar reduo de
custos das Editoras de Testes. Alm deste fato, um processo avaliativo que use instrumentos
computadorizados fora dos estados das editoras pode obter maior autonomia de material para
gerenciar o processo.Como o processo pode ser autenticado atravs de aplicativos on-line, por
exemplo, h a menor possibilidade de cpia (Kingsburry & Houser, 1999).
2.2 Banco de Dados
A variao entre grupos testados em ambientes informatizados e em ambientes
tradicionais caracterizaria a formao de novas tabelas e pesos utilizados na correo de testes
informatizados. E uma importante diferena que confere aos testes informatizados amplas
vantagens diante dos tradicionais lpis e papel, a capacidade de gerenciar dados, articulando
instantaneamente vrios campos de dados de centenas de questionrios entre si e oferecendo a
sada das anlises. Os bancos de dados para testes informatizados geralmente so pequenos em
espao, e no necessitam de hardwares muito avanados serem acessados (Prometric, 2004).
Quando comparamos a organizao e a acessibilidade dos bancos de dados dos dois
tipos de testes, as diferenas terminam por caracterizar-se em funo de suas naturezas. O
acesso ao banco de dados do teste informatizado aps a sua realizao e o cruzamento de
dados com o banco de dados j existente notavelmente mais rpida. O que permite realizar,
8/3/2019 DISSERTAO Alyson Barros
28/119
28
em segundos, operaes que manualmente poderiam demorar dias ou at meses. Este banco de
dados no necessita de espao fsico real, uma vez que est formatado virtualmente, assim, por
exemplo, pode ser armazenado no espao de um Compact Disc. J os instrumentos
tradicionais necessitam de grandes espaos para armazenamento de dados, e como os dados
necessitam ser guardados por aproximadamente cinco anos (Furtado, 2003), a facilidade de
organizao de dados fica comprometida se comparada com os testes informatizados.
Os resultados dos testes e outros dados provenientes da aplicao (tempo de realizao,
data, observaes, etc.) so transmitidos e recuperados com segurana se bem armazenados,
tantas vezes quantas forem necessrias. Na verso tradicional a armazenagem dos dados
mais susceptvel ao erro humano, bem como aos efeitos do tempo. Outra vantagem da verso
informatizada diante da verso tradicional que se pode conseguir uma maior quantidade de
dados em menos tempo e possvel fornecer mais dados sobre o cliente estudado no mesmo
espao de tempo que o teste tradicional. Alm disso, a atualizao das informaes e banco de
dados mais rpido (Naglieri et al., 2004).
Na verso informatizada existe a possibilidade de uma rpida anlise das respostas,
onde o avaliado pode receber quase instantaneamente um laudo contendo o resultado de sua
testagem. Este documento pode ser entregue diretamente ao usurio para impresso imediata,
conferncia na tela do computador ou tambm ter a chancela com outras formas de avaliao
junto a um profissional competente. Esta avaliao de Testes Computadorizados traz como
vantagens: a economia no processo e o uso mais efetivo dos profissionais envolvidos em
outras funes; preciso e consistncia da correo dos dados e das decises tomadas a partir
dos mesmos, capacidade virtual quase ilimitada para armazenagem e estocagem destas
interpretaes, possibilidade de comparao com outras bases de dados de outros testes ou do
prprio paciente em momentos diferentes (Snyder, Widiger & Hoover, 1990).
8/3/2019 DISSERTAO Alyson Barros
29/119
29
Uma desvantagem destes modelos de avaliao de dados, atravs de sintaxes
informatizadas, que os mesmos apresentam boa eficcia na anlise de dados de modelos
estatsticos, como o MMPI-2 (Tanner, 2007), Teste Benton de Reteno Visual (Thompson,
Ennis, Coffin & Farman, 2007), mas deixam a desejar em modelos narrativos de avaliaes
(Snyder, Widger & Hoover, 1990). Esta aparente desvantagem no seria decorrente das
limitaes das testagens e interpretaes atravs dos computadores, e sim da m utilizao e
organizao destes processos interpretativos (Butcher, Perry & Atlis, 2000). Esta organizao
de processos interpretativos parte da competncia de um hbil programador em conseguir
construir narrativas precisas apenas com a insero de dados atravs dos computadores,
desprezando, por exemplo, aspectos no-verbais de desempenho dos usurios. Uma sugesto
a de utilizar o computador para a avaliao e comparao dos escores com banco de dados
junto com o psiclogo responsvel nas avaliaes. Mas possvel que em algumas dcadas
adiante, os modelos narrativos que trabalhem integrando grandes bases de dados integradas
(com histricos de sade, atividades sociais, competncias pregressas, por exemplo) sejam
mais precisos em constituir tais narrativas.
De acordo com Kingsburry e Houser (1999) os testes informatizados tm a
possibilidade de uma ampliao de amostra mais rpida e tm a capacidade de armazenar
informaes automaticamente em diferentes bancos de dados. Esta captao de dados, alm de
poder ser mais ampla, tambm pode ser mais rica em detalhes de um mesmo testando (Berger,
2006), atravs de outros dados do processo, como impresso digital e foto do testando. Alm
disso, a prpria aplicao pode servir para atualizar posteriormente, ou automaticamente, o
banco de dados referencial do sistema normativo do teste, caso se trate de um aplicativo on-
line e/ou que faa atualizaes (International Test Comission, 2005).
8/3/2019 DISSERTAO Alyson Barros
30/119
30
2.3 Segurana
No momento da aplicao e no momento da anlise de dados o teste informatizado
deve garantir o mesmo sigilo que o teste tradicional. Tanto em aplicaes on-line e off-line
faz-se necessrio o desenvolvimento de ambientes seguros de aplicaes e criptografias que
garantam o maior sigilo possvel. Medidas Biomtricas como fotografia e digitais dos
candidatos, podem ser anexadas eletronicamente aos resultados, providenciando dados
adicionais e aumentando a autenticao do processo. No entanto, quanto maiores forem os
itens de segurana adicionados, maiores podem ser os custos de elaborao do sistema.
Proporcionar um ambiente seguro para troca de dados uma exigncia de outros sistemas de
trfego de dados, e esta necessidade, atravs da sofisticao dos sistemas de segurana, atinge
um patamar satisfatrio na proteo destes dados (Rosen, 2000).
2.4 Caractersticas Ambientais e Acessibilidade
O ambiente informatizado confere algumas vantagens diante da verso tradicional
quando discutimos a dimenso da multimdia. As propriedades do ambiente informatizado
podem exibir uma variedade de formas de apresentar seu contedo, adicionando caractersticas
possveis no prprio computador, como sons, imagens, movimentos e gravaes. Em 2005 foi
desenvolvido, por exemplo, um sistema digital de anlise de leitura a partir da gravao de
textos pelos pacientes, as observaes do fonoaudilogo e o processamento de erros
detectados. (Lima, 2005). Na rea de testagem dentro da fonoaudiologia encontramos o Avalie
3.0, o FonoFlex, que faz avaliaes fonoaudiolgicas e de desenvolvimento atravs de jogos, o
AudioReport, que desempenha avaliaes audiomtricas, o FonoView, para avaliao e
monitoramento da fala oral e o VoiceReport (Book Toy Livraria, 2007)
Dentro da psicologia uma das vantagens que um instrumento computadorizado pode ter
diante dos testes tradicionais a de exibir as questes de modo randmico ou aleatrio com
8/3/2019 DISSERTAO Alyson Barros
31/119
31
facilidade. Esta proposta subsidia os Testes Adaptativos Computadorizados (TAC). Os TAC
so procedimentos que se reorganizam sua exibio para adaptarem-se ao usurio a partir de
seu nvel de dificuldade atendido precedentemente (Revuelta e Ponsoda, 1998). A verso
informatizada pode apresentar uma interface onde usurio pode focar, por exemplo, em uma
questo de cada vez, facilitando seu julgamento e discriminao de respostas, ou ainda,
facilitando o re-teste ao fornecer o escore final de seu primeiro teste e j agendar o re-teste. Se
a exibio de itens for feita uma de cada vez, o teste informatizado pode proporcionar uma
reduo de erros por parte da ateno do cliente avaliado, pois o mesmo poder focar-se em
um de cada vez. Alm disso, o resultado imediato do teste, a utilizao de perguntas aleatrias
e a medio de tempo por questo e algoritmos de exibio de itens desestimulam manobras
escusas e o efeito da familiaridade na execuo dos testes informatizados (International Test
Comission, 2005). De acordo com Kingsburry e Houser (1999) os testes informatizados, de
uma forma geral, requerem menos tempo para aplicao, tm menor possibilidade de cpia,
proporcionam condies semelhantes de aplicao a todos os avaliados.
Desenvolver mtodos psicomtricos que possam avaliar adequadamente
comportamentos e descries inverossmeis, como a mentira e o engano fundamental na rea
jurdica (Rovinski, 2005). A possibilidade de se ter mais dados por item alm da prpria
resposta, a sua posio no processo adaptativo de teste (Prometric, 2004), identificao da
questo que foi alterada, seu tempo de execuo e o nmero de vezes em que esta questo foi
alterada ou alternada com outras proporcionam maior riqueza na anlise de dados que seriam
pertinentes na rea forense, indicando rupturas de respostas e a inteno de falsear resultados
de respostas. Alm disso, com a possibilidade de controle de tempo, possvel inferir quando
o usurio que fez o teste respondeu aps ter lido a sentena ou apenas respondeu
aleatoriamente (Stange, 2001).
8/3/2019 DISSERTAO Alyson Barros
32/119
32
Na verso tradicional o recebimento dos testes via correio e a atualizao dos testes
pode demorar dias, e h o gasto com manuais, crivos e testes impressos (Naglieri et al., 2004),
mas na interface computadorizada estas dificuldades so anuladas frente s facilidades
conferidas pela tecnologia e pela troca de dados instantnea. A avaliao e a descrio dos
resultados dos testes podem sair to logo a ltima questo seja respondida (Naglieri et al.,
2004). Na sada de dados para compor o resultado, a forma informatizada pode oferecer
formas diferentes na exibio dos escores e da descrio das respostas corrigidas, alm de
indicaes e encaminhamentos. Porm h um ponto de divergncia entre os autores quanto a
veracidade das respostas dos usurios que fazem testes informatizados. possvel que os
entrevistados tendam a fantasiar quadros comportamentais, engrandecer-se ou a fingir
sintomas quando percebem que suas respostas podem no ser checadas (Richman et al.,1999).
J Olea e Hontangas (1999) argumentam que os testandos tendem a exibir maior ansiedade
quando esto realizando um teste informatizado e ao mesmo tempo argumentam que os
mesmos tendem a ser mais honestos e sinceros. No existem estudos conclusivos sobre esta
suposta distoro, e nem se a verso lpis e papel est livre deste aspecto de auto-imagem.
(Berguer, 2006). Este nvel de distoro afetaria a mdia dos resultados, ocasionando uma
interpretao dos dados errnea. Richman et al. (1999) organizaram uma meta-anlise de 61
estudos publicados sobre estudos informatizados entre 1967 e 1997 e concluram que os testes
informatizados, com raras excees, apresentam menos distores de auto descrio que os
tradicionais testes de lpis e papel, ainda mais quando possvel responder ao teste sozinho e
retornar as respostas. Outro ponto que a tecnologia pode oferecer para reduzir o ndice de
distores nas auto-avaliaes a aplicao dos testes informatizados em paralelo com o
acompanhamento via udio, mantendo o nvel de anonimato e aumentando a segurana do
testando no processo (Parshall & Balizet, 2001).
8/3/2019 DISSERTAO Alyson Barros
33/119
33
A testagem via internet expande as possibilidades do psicometrista em atuar, visto que
ele no precisa estar no ambiente fsico de aplicao do teste, logo, em ambientes onde no
existem psiclogos possvel que a testagem esteja possvel. Esta facilidade no acesso
interativo ajuda a pessoas que necessitam da testagem e no podem se locomover ao
consultrio do psiclogo ou local de aplicao. (Naglieri et al., 2004). Nas verses tradicionais
so raros os instrumentos somente verbais ou que no utilizem lpis para a marcao das
respostas. Na verso informatizada atravs de perifricos como o mouse, telas de presso
sensores de movimento e de som podem ajudar deficientes fsicos e pessoas com problemas
motores a serem avaliadas para o levantamento de dados neuropsicolgicos, auxiliando,
tambm, no processo de reabilitao (Silva & Oliveira, 2003).
No quesito acessibilidade as maiores vantagens esto do lado dos testes
informatizados. possvel programar o dia, a hora e o local da aplicao do teste, e a
aplicao pode ser feita sem a presena de um psiclogo. Logo, em populaes mais
abrangentes e longas distncias mais indicado a avaliao de testes informatizados para o
levantamento de dados. E em tese o que fosse investido em salas apropriadas para a aplicao
dos tradicionais testes de lpis e papel poderia ser remanejado para uma pequena sala com
computadores que realizariam a ampla testagem em vrias sesses (Luetch, 2005).
Ter um instrumento informatizado tambm facilita o processo de re-teste, que pode
inclusive ser agendado, pois mais fcil assegurar e reproduzir as mesmas condies de
aplicao do teste. Estas condies dependem prioritariamente de um ambiente calmo,
distncia adequada de leitura do monitor, fcil manuseio dos perifricos do computador,
tempo para execuo do teste, um computador acessando a Internet e a pgina do teste
disponvel (quando o teste for on-line). Outra vantagem que o tempo rigidamente
controlado nos testes informatizados, logo todo candidato tem exatamente o mesmo tempo real
de acesso ao teste (Internet Test Comission, 2005).
8/3/2019 DISSERTAO Alyson Barros
34/119
34
2.5 Desempenho do usurio
Assim como na aplicao tradicional, onde o testado pode apagar e refazer as
questes, no teste informatizado alm de ter essa possibilidade de mudana de resposta,
tambm possvel mensurar qual foi a seqncia de respostas dadas para o mesmo item e o
tempo de mudana de cada item, o que oferece dados importantes para a clareza e
confiabilidade do item e dados para pesquisas forenses do testado, por exemplo. Ainda na
leitura ptica de cartes de resposta, h o empecilho de respostas mal marcadas e do tempo
gasto na insero dos cartes no leitor (Naglieri et al., 2004). Na verso informatizada
possvel que o usurio mude de alternativa sem que comprometa o padro desejado de
respostas. O MMPI um dos testes que mais tem artigos publicados na rea de informatizao
de testes psicolgicos, e a sua informatizao permite concluir que alm de ser possvel este
processo, os avaliados se sentem mais vontade e menos ansiosos (Butler, 2003).
2.6Limitaes
possvel que os testes aplicados pela internet sejam inapropriados para alguns grupos,
estatisticamente falhos ou pobremente traduzidos para outras lnguas (Naglieri et al., 2004),
este o erro de aplicao que tambm tem efeito sobre os testes tradicionais. importante
salientar que o processo de avaliao psicolgica no se limita somente a testagem
psicolgica, e sim ao levantamento de dados obtidos na atuao psicolgica. Logo, perdem-se
alguns dados qualitativos em detrimento de outros ganhos no processo de avaliao atravs de
computadores (Naglieri et al., 2004). A observao do comportamento no verbal da pessoa
testada deixa de ser uma fonte de dados, porm, com o controle do tempo do teste
informatizado, necessrio saber quando a pessoa testada respondeu a alguma questo do
inventrio sem ter deliberado o suficiente. Diante destas formas de planejar a construo de
8/3/2019 DISSERTAO Alyson Barros
35/119
35
instrumentos informatizados, torna-se mais objetivo o estudo destes instrumentos durante a
sua informatizao.
8/3/2019 DISSERTAO Alyson Barros
36/119
36
CAPTULO IIIMTODO
Diante das vantagens e desvantagens dos testes e instrumentos psicomtricosinformatizados, dos problemas de controle de ambiente e indefinies de conceitos de validade
em alguns testes propomos um estudo sobre os parmetros psicomtricos de testes de
aplicao on-line. Trabalhamos com o questionamento da possibilidade real, atravs da
adequada vlida e confiabilidade, da adaptao de um teste lpis e papel para uma verso on-
line. Logo nossa hiptese se define como: possvel adaptar um teste psicolgico para a
interface on-line mantendo a validade e a confiabilidade?
Considerando que nosso objetivo avaliar a validade e confiabilidade de uma escala
em ambiente informatizado, partimos da premissa de trabalho de que possvel adaptar um
teste para uso seguro e vlido na internet, bem como manter a validade e a confiabilidade na
amostra obtida. E com a inteno de responder se os princpios psicomtricos, referidos
anteriormente quanto ao uso em aplicaes de lpis e papel, so aplicveis tambm a uma
escala informatizada que elaboramos como objetivo geral: avaliar a validade e confiabilidade
de uma escala em ambiente informatizado. Para isso definimos procedimentos para o processo
de re-construo de um instrumento psicolgico linear on-line e estudamos este diante do
impacto sobre as questes relativas aos custos operacionais, banco de dados, segurana,
caractersticas ambientais e acessibilidade, desempenho dos usurios e limitaes.
Logo, o processo geral que norteia este trabalho o de verificar, dentro de um
instrumento informatizado, os parmetros psicomtricos de validade e confiabilidade. Para
isso forem escolhidos procedimentos interligados e adequados s possibilidades reais de uso.
Uma melhor descrio dos procedimentos utilizados realizada a seguir:
3.1 O Instrumento: Inventrio Millon de Estilos de Personalidade
8/3/2019 DISSERTAO Alyson Barros
37/119
37
Para corresponder adequadamente a tais objetivos seguimos uma linha lgica de
procedimentos que permitisse adequar viabilidades de informatizar um teste psicolgico e que
fosse acessvel ao maior nmero de pessoas. O primeiro passo foi optar por um instrumento
que pudesse ter a sua interface adaptada para o ambiente informatizado, que j tivesse estudos
na rea da informatizao, que fosse bem conceitualizado no meio cientfico e que no
perdesse, aparentemente, a sua funcionalidade. Optamos pelo Inventrio Millon de Estilos de
Personalidade (MIPS), por ser um teste organizado em forma de inventrio com respostas do
tipo verdadeiro ou falso, pela facilidade de manuseio de seu banco de dados j constitudo
na sua verso lpis e papel e pelo mesmo apresentar uma coerncia na organizao de
informaes com sua proposta avaliativa de personalidade. Trata-se, portanto de uma escolha
baseada em critrios tcnicos de adaptabilidade e de conceitualizao terica.
3.1.1. Conceitos Gerais e perspectivas tericas
Theodore Millon desenvolveu sua teoria em um cenrio americano que estava em
franca busca das bases da compreenso e classificao da psicopatologia humana e dos
padres de normalidade humana. Mesmo tendo ajudado a organizar o Manual de Diagnstico
de Doenas Mentais ( Institute for Advanced Studies in Personality and Psychopathology,
2008) foi atravs de dedues formais que Millon constituiu sua base epistmica para a
construo do conceito de personalidade. Originando, tambm em paralelo, uma teoria de
aprendizagem biopsicossocial, de patologia de personalidade e vrios testes para avaliar esta
personalidade. Segundo Millon, personalidade a resultante de um padro complexo de
caractersticas inter-relacionadas, na maior parte do tempo de repeties constantes e
inconscientes, automaticamente expressas atravs da conduta (Snchez, 2003). Seus traos e
caractersticas so oriundos de uma complexa matriz, onde as disposies biolgicas e de
aprendizagem, apresentam-se relativamente estveis nas relaes com as pessoas e objetos, e
8/3/2019 DISSERTAO Alyson Barros
38/119
38
manifestam-se atravs dos estilos de relacionar-se, sentir, pensar, perceber e superar
dificuldades (Millon, 1990).
Logo, sua construo terica postula a existncia de padres normais e anormais de
reao e adaptao da personalidade, baseando-se em um continuum, onde enquanto a
personalidade normal reflete desta maneira as formas especficas de adaptao eficazes em
ambientes previsveis (Millon, 1990), a personalidade anormal reflete a dificuldade de
adaptao deste indivduo em vrias possveis combinaes de estilos de personalidade. Os
processos da personalidade so fenmenos relativamente estveis e constantes, porm no so
absolutamente estticos, pois comportam uma perspectiva de padres consistentes de mudana
(Garca & Snchez-Lpez, 1999). Esta concepo da personalidade atravs do constructo
terico dos Estilos Psicolgicos tem algumas vantagens frente ao modelo tradicional e esttico
no estudo da personalidade, pois enfatiza uma perspectiva mais dinmica do comportamento
humano, fornecendo informaes sobre a qualidade e o desenvolvimento das diferenas
individuais e os aspectos individuais.
A vantagem desta teoria integradora no s a interpretao da personalidade como
uma configurao de estratgias e tticas de onde o indivduo seleciona cada tcnica de
interveno, mas tambm a sua contribuio a constelao geral de procedimentos
teraputicos no qual uma tcnica no mais que uma parte desta (Millon, Everly & Davis,
1995). Concebida desta maneira, a personalidade normal reflete os modos especficos de
adaptao pelos quais um membro da sociedade utiliza em ambientes previsveis. Nesta
concepo, os transtornos de personalidade representam diferentes estilos de funcionamento
mal-adaptativos atribudos a deficincias, desequilbrios ou conflitos na capacidade de um
membro para relacionar-se com os ambientes que enfrenta (Garca & Snchez-Lpez, 1999).
Dentro desta proposta Theodore Millon desenhou, no decorrer de sua carreira, vrios
instrumentos para o estudo e avaliao da personalidade humana, como o Millon Personality
8/3/2019 DISSERTAO Alyson Barros
39/119
39
Type Questionnaire, o Millon Personality Disorder Checklist, o Millon Clinical Multiaxial
Inventory e o Inventrio Millon de Estilos de Personalidade (Millon, 1997), dentre outros.
Em funo das vantagens conferidas por esta construo de personalidade, assim como
a variedade de instrumentos validados em diferentes contextos pelo prprio Millon (1997)
buscamos um de seus instrumentos de mensurao dos aspectos da personalidade humana que
respondesse a um modelo de Estilos de Personalidade e que pudesse ser adaptado para
computadores. Optamos ento pelo Inventrio Millon de Estilos de Personalidade (MIPS) em
funo de sua boa consistncia terica, praticidade, atualidade e quantidade de estudos no
Brasil a partir do MIPS tradicional (lpis e papel).
3.1.2. Caractersticas do Instrumento
O MIPS um inventrio composto de 180 itens, para os quais o individuo responde
assertivas com verdadeiro ou falso. Seu objetivo avaliar a personalidade de indivduos
com funcionamento normal, para idades acima de 18 anos, com um tempo mdio de 30
minutos para conclu-lo. Os itens abordam situaes que as pessoas comumente vivenciam,
evidenciando sua maneira de perceber, sentir e agir perante o mundo que as rodeia. O
inventrio sistematizado atravs de trs grandes eixos da personalidade: metas
motivacionais, estilos cognitivos e relaes interpessoais. Avaliando estilos de funcionamento
do sujeito dentro de cada uma de suas competncias nestas trs dimenses, obtm-se uma
apurada avaliao do funcionamento da personalidade avaliada (Strack, 1999). As condutas
normais podem ser caracterizadas na presena de um sujeito que demonstra capacidade de se
relacionar com seu meio, de maneira flexvel e adaptada, com percepes sobre si mesmo e
suas meio, manifestadas, essencialmente, de forma construtiva, com vistas satisfao
pessoal, e tendo padres de conduta considerados como promotores de sade (Weiss, 1997).
Seguem abaixo os eixos principais avaliados pelo MIPS.
8/3/2019 DISSERTAO Alyson Barros
40/119
40
1. Metas motivacionais (MM) - Refere-se a busca de sobrevivncia e as experincias
de prazer e evitao da dor, seu equilbrio compreende a sade psquica, pois tanto as
caractersticas positivas, quanto negativas, possibilitam defesas para sua
sobrevivncia.
2. Estilos cognitivos (EC) - Refere-se a forma com que o indivduo processa as
informaes, originando sua forma de sentir, avaliar e formar juzo crtico de
maneira autnoma e independente. (fonte de informao e processos de
transformao).
3. Relaes interpessoais (RI) Referem-se a capacidade das pessoas em estabelecer
relaes interpessoais como uma necessidade constante de suporte social.
As metas Motivacionais possibilitam verificar a orientao do sujeito em relao ao
meio, Os Estilos Cognitivos avaliam a orientao do sujeito visando os reforos do meio e as
Relaes Interpessoais verificam a orientao do sujeito frente s demais pessoas. A
fundamentao terica das Metas Motivacionais, segundo o prprio Theodore Millon (1997),
est relacionada aos antecedentes conceituais da teoria ecolgica, evolucionista e suas
vinculaes atravs de trs formulaes: existncia, adaptao e replicao. A partir do
prosseguimento de seus estudos na definio de critrios coerentes com o entendimento da
personalidade, Millon elaborou as seguintes polaridades definidas pelo MIPS: Abertura-
Preservao, Modificao-Acomodao e Individualismo-Proteo (Millon, 1997; Alchieri,
2004).
As quatro bipolaridades dos Estilos Cognitivos se baseiam na perspectiva evolucionista
e nas contribuies de Jung e Myers (Strack, 1999). Os Estilos Cognitivos referem-se forma
em que os organismos abordam sua realidade. Buscando avaliar os estilos ou modos de
processamento da informao. Jung prope uma orientao cognitiva em uma tipologia que
inclui trs bipolaridades: Extroverso/Introverso, Pensamento/Sentimento e
8/3/2019 DISSERTAO Alyson Barros
41/119
41
Sensao/Intuio. Millon elabora um modelo que agrupa as atividades cognitivas levando em
conta duas funes superiores. Uma relacionada com a origem dos dados recolhidos e outra
com os mtodos utilizados para o indivduo para reconstruir estes dados. Cada uma destas
funes foi dividida em duas polaridades. As fontes de informao foram divididas em Interna
vs. Externa e Tangvel vs. Intangvel. Os processos de transformao foram divididos em
Afetivo vs. Intelectivo e Assimilativos vs. Imaginativos. As polaridades definitivas so:
Extrovertido-Introvertido, Sensitivo-Intuitivo, Reflexivo-Afetivo, e Sistematizador-Inovador
(Millon, 1997; Alchieri, 2004).
As cinco bipolaridades das Relaes Interpessoais (Retraimento, Comunicatividade,
Dvida, Segurana, Discrepncia, Conformismo, Submisso, Controle, Insatisfao e
Concordncia) esto relacionadas com as contribuies de Sullivan, Leary e o modelo dos
Cinco Grandes Fatores. Estes modelos esto orientados por uma perspectiva que caracterizam
nossas aes pelo que fazemos e no pelo que nos motiva ou como funcionamos
cognitivamente. Para Millon, nenhum dos modelos anteriores introduziu o componente
interpessoal. Props, ento, a avaliao destes estilos na relao com os demais. Utilizando
para isso cinco bipolaridades que se cruzam com as estratgias ativas e passivas: Retraimento-
Comunicatividade, Dvida-Segurana, Discrepncia-Conformismo e Submisso-Controle
(Millon, 1997; Alchieri, 2004), exemplificados na tabela 1.
8/3/2019 DISSERTAO Alyson Barros
42/119
42
Tabela 1. Bipolaridades e os estilos de personalidade do MIPS
Metas Motivacionais Estilos Cognitivos Relaes Interpessoais
Abertura Extroverso Retraimento
Preservao Introverso Comunicatividade
Modificao Sensao Dvida
Acomodao Intuio Segurana
Individualismo Reflexo Discrepncia
Proteo Afetividade Conformismo
Sistematizao Submisso
Inovao Controle
Insatisfao
ConcordnciaFonte: Millon (1997)
Com esta teoria, Millon elaborou um questionrio com 180 itens com assertivas que devem
ser respondidas com Verdadeiro ou Falso, distribudas em questes objetivas da seguinte
maneira:
Tabela 2: Distribuio de itens pelas Polaridades
Metas
Motivacionais Quantidade Estilos Cognitivos Quantidade Relaes Interpessoais Quantidade
Abertura x
Preservao 36 Extroverso x Introverso 35 Retraimento x Comunicatividade 53
Modificao x
Acomodao 47 Sensao x Intuio 37 Dvida x Segurana 56
Individualismo x
Proteo 46 Reflexo x Afetividade 55 Discrepncia x Conformismo 67
Sistematizao
x Inovao 68 Submisso x Controle 52
8/3/2019 DISSERTAO Alyson Barros
43/119
43
Insatisfao x
Concordncia 63
Fonte. Alchieri (2004)
No Anexo 2 encontram-se as descries de Alchieri (2004) sobre as 24 polaridades
dentro da verso brasileira do MIPS.
3.1.3. A validade e confiabilidade do MIPS originalA data de publicao deste teste nos E.U.A. de 1994 e de autoria de Theodore
Millon, Lawrence Weiss, Carrie Millon e Roger Davis. O teste foi desenhado para que o
avaliado, em suas respostas de verdadeiro ou falso nas assertivas, some pontos nos escores
de cada uma das 24 dimenses, podendo ter um elevado desempenho, desempenho moderado
ou baixo desempenho, por exemplo, no seu trao de personalidade conhecido comoacomodao (Strack, 1999). A validao do MIPS americano deu-se atravs da verificao da
consistncia interna dos itens, confiabilidade do teste re-teste em dois meses, e como critrio
externo, a comparao com seis outros testes usados freqentemente pelos psiclogos norte-
americanos.
Segundo os prprios autores do teste, escores de 4 ou 5 pontos na escala de
consistncia indicam que o examinado respondeu consistentemente aos vrios itens do
questionrio. Um escore de 3 pode representar alguma dificuldade comum de interpretao
dos dados, porm, qualquer escore abaixo de 3 reflete dificuldades significantes de ateno ou
falta de seriedade na submisso ao teste. Questionrios com consistncia abaixo de 3 no
devem ser vlidos. O MIPS contm, tambm, uma composio de todos os ajustamentos
intitulada Escala de Ajustamento ( Adjustment Index) e trs indicadores de validade:
8/3/2019 DISSERTAO Alyson Barros
44/119
44
Impresso Positiva, Impresso Negativa e Consistncia (Strack, 1999). As escalas de
impresso positiva e impresso negativa representam a extenso pela qual o examinado se
enquadra em um perfil positivo ou negativo das caractersticas dicotmicas do teste.
3.2. Mtodo para Informatizao do Inventrio Millon de Estilos de Personalidade
Considerando os atuais estudos dos testes psicolgicos informatizados, foi necessrio
planejar uma metodologia que fosse capaz de estudar os quesitos de Validade e
Confiabilidade, alm de tornar adequada a leitura nas telas.
3.2.1.Parmetros Psicomtricos e desenho das aplicaes
Para Pasquali (2001), os dois parmetros psicomtricos utilizados para a anlise
estatstica dos dados so a validade e a preciso. Validade a propriedade do teste de medir o
que ele realmente se prope a medir. Esta validade ser estabelecida pela testagem emprica e
anlise criteriosa dos dados. Para a anlise da validade foram desenvolvidas metodologias na
psicologia para suprir erros de anlises estatsticas distorcidas e incompletas em psicometria.
Fundamentalmente trabalhada a validade do constructo, validade do contedo e validado do
critrio (APA, 1954).
Cronbach e Meehl (1955) definem a validade do constructo como a dimenso
caracterstica do teste em mensurar um atributo ou qualidade que ainda no tenha sido definida
operacionalmente. A validade do constructorefere-se, ento, a capacidade do teste em medir
8/3/2019 DISSERTAO Alyson Barros
45/119
45
o quanto que a sua representao pode ser uma expresso legtima e adequada do constructo
estabelecido. Uma das maneiras de proceder nesta anlise a de estudar os dados obtidos
atravs da anlise fatorial de seus itens e da anlise da consistncia interna.
Outra tcnica utilizada para analisar a validade de constructo estudado a de usar a
tcnica de validao convergente-discriminante. Esta tcnica visa demonstrar a validade do
teste fazendo a correlao significativa com outras variveis que o teste deveria estar
relacionado (validade convergente) e no estar relacionada com variveis com variveis
diferentes (validade divergente). A correlao significa at que ponto duas variveis
quantitativas esto relacionadas. Esta correlao ou associao pode ser verificada atravs do
diagrama de disperso e medida atravs do coeficiente de correlao (Levin, 1987).
A Validade do Critrio, por sua vez, refere-se ao grau de eficcia com que o teste
capaz de predizer um desempenho especfico de um sujeito. Esta validade do critrio acontece
atravs de dois critrios: a validade preditiva e a validade concorrente. Tanto a validade
concorrente como a preditiva podem ser avaliadas quantitativamente, atravs de coeficientes
numricos e o conceito de validade concorrente refere-se a relao entre o desempenho do
instrumento de interesse e o desempenho de outro instrumento semelhante e que j tenha sua
validade conhecida. Essa validade concorrente praticamente imediata a aplicao do
instrumento. Porm em funo da pouca viabilidade operacional das aplicaes on-line do
teste associada aplicao de outros testes, optou-se por no estudar a validade de constructo
atravs da tcnica de validao convergente-divergente. J a validade preditiva refere-se a
habilidade de um teste ou medida em predizer o desempenho numa rea de interesse. Porm,
com a coleta de dados aps um intervalo de tempo. Ou seja, representa o tempo mnimo pelo
qual o teste vlido. Para isso as tcnicas de reteste se apresentam como estratgias
metodolgicas teis da validade preditiva (Barros & Nahas, 2000).
8/3/2019 DISSERTAO Alyson Barros
46/119
46
A validade do critrio e a tcnica de validao convergente-divergente foram
contemplados no estudo de Alchieri (2004), que comparou o desempenho de sujeitos testados
no MIPS em sua verso lpis e papel para avaliar a validade convergente atravs do Inventrio
Fatorial de Personalidade (IFP) e as Escalas de Personalidade de Comrey. Enquanto que a
validade divergente foi estudada a partir do Questionrio de Sade Geral de Goldberg (QSG) e
o Inventrio Beck de Depresso.
A validade de contedo o grau em que os itens do teste representam a rea de
interesse. Representando a compreenso e a proporo razovel dos itens. Esta validade
depende da percia de especialistas na rea de testagem em questo, e este estudo de validade
de contedo do Inventrio Millon de Estilos de Personalidade tambm j foi realizado
(Alchieri, 2004).
J a preciso de um teste, tambm conhecida como critrio de fidedignidade, refere-se
a quanto os dados de um sujeito tendem a mudar de acordo com o tempo. Este conceito est
intimamente relacionado ao conceito de varincia erro, logo, quanto menor o erro medido por
esta varincia, maior a calibrao do teste. Estatisticamente a fidedignidade analisada atravs
da correlao dos escores dos dois momentos de aplicao. Existem metodologias para avaliar
esta preciso, como o teste-reteste e o clculo da consistncia interna. A consistncia interna
avaliada neste banco de dados atravs da tcnica de Alpha de Cronbach, em funo da
resposta aos itens serem dicotmicas (verdadeiro ou falso). Varia de zero a um, medindo a
capacidade do instrumento de diferenciar aplicaes. Matematicamente, o Alpha de Cronbach,
corresponde ao quociente da variabilidade entre as aplicaes individual de cada usurio em
relao variabilidade total, entre aplicaes gerais e erro sistemtico (Streiner & Norma,
1989).
3.2.2. Adaptao para a interface on-line
8/3/2019 DISSERTAO Alyson Barros
47/119
47
Foi realizado o registro do domnio http://www.planetapsi.com, e com o intuito de
fazer a transposio do teste lpis e papel para a pgina registrada, foi criada uma pgina
inicial exibindo informaes sobre o processo de testagem, o espao para o login do usurio e
o link para o cadastro de novos usurios. A pgina que utilizada para apresentar o site
encontrou-se disponvel on-line a partir de setembro de 2007 e encerrou suas atividades em
maio de 2008. A partir da primeira pgina o usurio era levado, aps clicar em cadastro
nesta pgina o usurio realizava um cadastro, em uma segunda pgina, contendo a
Identificao, Gnero, Sexo, Escolaridade e Profisso, conforme demonstrado na figura 1.
Figura 1: Tela de cadastro no site
Fonte: Site Http://www.planetapsi.com
Aps esta etapa o usurio registrava novamente com o seu login e senha o acesso a
uma breve explicao da pesquisa e um termo de uso dos procedimentos a seguir. Aps a
aceitao do termo havia a exibio da primeira pgina do instrumento.
http://www.planetapsi.com/http://www.planetapsi.com/8/3/2019 DISSERTAO Alyson Barros
48/119
48
Figura 2: Instrues do Site
Fonte: Site http://www.planetapsi.com
As questes foram linearmente distribudas em seis pginas com 30 questes cada,
assemelhando-se a interface tradicional de lpis e papel. Nos estudos piloto foi verificado que
o tempo mdio de aplicao por usurio era de aproximadamente 20 min. O intervalo de
atualizao de dados do servidor no foi superior a um segundo. Diante das vrias
possibilidades de programao da pgina, a linguagem originalmente conhecida como
Personal Home Pages (PHP), foi escolhida para organizar esta interface. Alm da facilidade
de manuseio do banco de dados, h uma ampla aceitao dos navegadores atualmente
utilizados na internet para o gerenciamento deste tipo de linguagem. O processo de
administrao de informaes foi rpido o suficiente para o contedo ser sido exibido com
velocidade considervel, mesmo por conexes atuais mais lentas, como a de 52kbps.
Figura 3: Tela de Perguntas no Site
http://www.planetapsi.com/http://www.planetapsi.com/8/3/2019 DISSERTAO Alyson Barros
49/119
49
Fonte: Site http://www.planetapsi.com
Ao final os dados do usurio eram adicionados ao banco de dados geral da pgina. O
sistema gerava um relatrio com o desempenho de cada candidato quando ultrapassava a
questo 180 e clicava em Prosseguir. Este relatrio era gerado a partir das estatsticas de
grupos normativos obtidos em estudos anteriores (Alchieri, 2004; Alchieri, Nues, Cervo &
Hutz, 2004 e 2008) constituda de aplicaes do MIPS em sua verso lpis e papel no Brasil.
Para maior aproveitamento dos dados em questo, foram tabulados os dados de 1032
aplicaes, separados em categorias de sexo e em cinco faixas etrias diferentes.
Quadro 1. Normas estabelecidas para a correo de dados
Faixas Etrias (anos) F M TOTAL
1 15 a 17 60 60 120
2 18 a 29 265 265 5303 30 a 41 137 137 274
http://www.planetapsi.com/http://www.planetapsi.com/http://www.planetapsi.com/http://www.planetapsi.com/8/3/2019 DISSERTAO Alyson Barros
50/119
50
4 42 a 53 16 16 325 54 a 65 10 10 20
6 66 ou mais 28 28 56
TOTAL 516 516 1032Fonte: Alchieri (2004)
O usurio teve seus escores calculados e o texto devolutivo da pesquisa foi constitudo
para cada polaridade em trs nveis possveis dentro das Metas Motivacionais, Estilos
Cognitivos e Relaes Interpessoais de acordo com seus nveis de desempenho:
- Desempenho Inferior: quando o desempenho do sujeito inferior a um desvio padro
em funo do grupo normativo.
- Desempenho Mdio: quando o desempenho do sujeito avaliado est entre ou igual a
menos um desvio padro e mais um desvio padro em funo do grupo normativo.
- Desempenho Superior: quando o desempenho do sujeito avaliado encontra-se acima
de um desvio padro em funo do grupo normativo.
3.3. Anlise emprica e definio da amostra
Para a realizao da anlise emprica dos itens, foram avaliados os 2000 primeiros
registros de aplicao nica na pgina on-line, e sobre os quais se validou somente aqueles que
estavam devidamente completados, 1508 participantes. As outras aplicaes (492) foram
descartadas em funo de no atenderem aos conceitos bsicos de aplicao (estavam em
branco ou incompletas). Para realizar estas aplicaes on-line foram distribudos e-mails para
importantes grupos de comunicao, como jornais, revistas, sites, e e-mails individuais obtidos
atravs da rede de relacionamentos Orkut.com, alm de sites de lista de e-mails. Supe-se que
o resultado mais significativo tenha sido advindo dos e-mails diretos, em funo do no
retorno de interessados a partir das agncias de comunicao. Considerando as abrangncias
dos sistemas virtuais, e em especial a propagao de informaes, no sabamos precisamente
8/3/2019 DISSERTAO Alyson Barros
51/119
51
que tipo de populao acessaria a pgina e realizaria at o final o teste. Ou seja, mesmo tendo
o controle do processo de testagem, no tnhamos o controle do grupo amostral desta
testagem. Apesar do risco presumindo de falsos usurios ou erros no preenchimento dos dados
cadastrais, e da efetiva busca de falhas no banco de dados pelos organizadores deste estudo,
esta primeira etapa durou aproximadamente 7 meses, e obteve os seguintes resultados:
Tabela 3 - Distribuio das aplicaes de acordo com a faixa etria
Faixas de Idade Aplicaes Percentual
15-19 anos 232 15,4
20-24 anos 476 31,6
25-29 anos 439 29,130-34 anos 160 10,6
35-39 anos 68 4,5
40-44 anos 56 3,7
45-49 anos 47 3,1
50-54- anos 19 1,3
55-59 anos 7 ,5
60-65 anos 4 ,3Total 1508 100,0
Nesta tabela notamos uma maior concentrao de pessoas na segunda e na terceira
faixa etria, e esta concentrao, de quase 60% da amostra deve ter sido devido a maior
familiaridade e disponibilidade destas idades que as demais nas oito faixas.
Tabela 4 - Distribuio das aplicaes de acordo com o sexo
Sexo Freqncia Percentual
Feminino 978 64,9Masculino 530 35,1Total 1508 100,0
A distribuio do grupo amostral de acordo com o sexo demonstra uma prevalncia do
gnero feminino diante do masculino.
Tabela 5 - Distribuio das aplicaes de acordo com a Escolaridade
8/3/2019 DISSERTAO Alyson Barros
52/119
52
Faixa de Escolaridade Freqncia PercentualFundamental 10 ,7Fundamental Incompleto 4 ,3Mdio 145 9,6Mdio Incompleto 52 3,4
Superior 676 44,8Superior Incompleto 621 41,2Total 1508 100,0
A tabela 5 demonstra uma maior concentrao de pessoas que responderam ao teste on-
line como sendo graduandos ou graduados de cursos universitrios, poucas foram s pessoas
que, nesta proposta livre de acesso e de participao no processo da dissertao, encontravam-
se apenas com o ensino fundamental ou ainda em concluso deste.
Tabela 6 - Distribuio das aplicaes de acordo com as Regies
Regies Freqncia PercentualNorte 44 2,9Nordeste 1057 70,1Sudeste 263 17,4Sul 73 4,8Centro Oeste 71 4,7
Total 1508 100,0
Apesar de um nmero razovel de aplicaes oriundas da regio Sul e Centro-Oeste,
houve uma maior contribuio de usurios do Nordeste do que do restante do pas.
Provavelmente isso se deveu pela maior quantidade de informaes geradas a partir da cidade
onde este estudo se originou.
8/3/2019 DISSERTAO Alyson Barros
53/119
53
Para os estudos da confiabilidade do teste e comparao de desempenho no teste lpis e
papel, utilizamos a tcnica de teste-reteste do instrumento com associaes de aplicaes lpis
e papel. A tcnica de teste-reteste consiste em comparar os escores de um sujeito atravs de
duas testagens distintas com o mesmo instrumento. Nesta dissertao de mestrado optou-se
por apresentar aos sujeitos trs modalidades de teste-reteste.
Na primeira modalidade houve a aplicao lpis e papel e posteriormente a aplicao
on-line a partir de trs grupos com intervalos diferentes de aplicao. Na segunda modalidade
houve a aplicao do teste on-line e posteriormente aplicao da verso lpis e papel a partir
de trs grupos com intervalos diferentes de aplicao. Por fim, houve a aplicao de uma
terceira modalidade onde o teste-reteste foi executado somente em forma on-line em dois
momentos distintos a partir de trs grupos com intervalos diferentes de aplicao. Ao total
tivemos nove grupos de aplicao teste-reteste diferindo entre si pela disposio do intervalo
de tempo (dois meses, quatro meses e seis meses para o reteste) e as modalidades de aplicao
(on-line/ lpis e papel, lpis e papel/on-line e on-line/on-line).
Estes grupos de teste-reteste representam uma forma de validade alternativa de calcular
os coeficientes de preciso dos itens. Dentro de cada uma destas modalidades separamos trs
subcategorias de acordo com o tempo de testagem. Obtivemos nove grupos compostos por 20
pessoas cada um, e neles foram analisadas duas variveis: a questo do intervalo entre as
aplicaes e a influncia nas respostas na forma da aplicao da seqncia teste reteste (lpis e
papel ou on-line), assim:
Tabela 7 - Grupos de aplicao de teste e reteste
GRUPOS 1 Aplicao 2 Aplicao Intervalo de tempo Sujeitos
A Aplicao lpis e papel reteste on-line at 60 dias 20
B Aplicao lpis e papel reteste on-line de 61 a 120 dias 20
C Aplicao lpis e papel reteste on-line de 121 a 180 dias 20
D Aplicao on-line reteste lpis e papel at 60 dias 20E Aplicao on-line reteste lpis e papel de 61 a 120 dias 20
8/3/2019 DISSERTAO Alyson Barros
54/119
54
F Aplicao on-line reteste lpis e papel de 121 a 180 dias 20
G Aplicao on-line reteste on-line at 60 dias 20
H Aplicao on-line reteste on-line de 61 a 120 dias 20
I Aplicao on-line reteste on-line de 121 a 180 dias 20
E, por fim, foi realizada a composio de um ltimo grupo de aplicaes contendo 20
participantes que realizaram a aplicao on-line em quatro segmentos iguais, do MIPS off-line
com 45 perguntas cada em intervalo de uma semana. Este processo de multisesso
fundamentou o clculo da confiabilidade do teste e avaliou a capacidade do instrumento em
ser dividido, sem que perdesse a qualidade de testagem. Para a testagem optamos pela
reconstruo do teste, com a mesma interface da verso on-line, porm, construdo em Excel
2007. Foram quatro arquivos e
Top Related