Pesquisa com métodos quantitativos
-
Upload
ivan-ricarte -
Category
Documents
-
view
2.718 -
download
8
Transcript of Pesquisa com métodos quantitativos
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Pesquisa com métodos quantitativos
Prof. Dr. Ivan Luiz Marques Ricarte
Outubro 2012
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Pesquisa quantitativa
Associada a princípios filosóficos pós-positivistas
• Determinismo: questões e hipóteses de pesquisa serão
respondidas pela análise de relação entre variáveis
• Reducionismo: teoria pode ser testada pela observação de
poucas variáveis
• Objetivismo: dados podem ser obtidos por medidas ou
observações empíricas
• Interpretacionismo: instrumentos de medidas válidos e
confiáveis levarão a interpretações significantes dos dados
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
pesquisa quantitativa (1)
Creswell trabalha com uma apresentação gradual, em etapas:
• O problema de pesquisa
• O propósito da pesquisa
• Questões ou hipóteses da pesquisa
Determinismo: questões e hipóteses de pesquisa serão
respondidas pela análise de relação entre variáveis
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Problema e propósito
Problema de pesquisa
Identificar origem (qual a motivação)
Estabelecer contexto (qual a teoria de base)
Defender relevância da pesquisa (qual a lacuna)
Propósito da pesquisa
O propósito deste
[experimento/levantamento]
será verificar a teoria [...] que
relaciona [ Vi ] com [ Vd ] para
[participantes] em [local]. A
variável independente [Vi ] é
definida como [...]. A variável
dependente [ Vd ] é definida
como [...].
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Questões ou hipóteses
Pesquisa quantitativa é guiada por questões ou por
hipóteses que relacionam as variáveis:
• Questões de pesquisa quantitativa
– São questões sobre o relacionamento entre variáveis
• Hipóteses de pesquisa
– São predições sobre o relacionamento entre variáveis, que
poderão ser testadas com procedimentos estatísticos
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de hipóteses
Hipótese nula
• Predição de que não há relacionamento ou diferença entre
grupos por conta da variável
Hipótese alternativa
• Direcional: prevê aumento (ou diminuição) de efeito
associado à variável, com base em estudos anteriores
• Não direcional: prevê diferença, sem estabelecer
especificamente qual tipo de diferença
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
pesquisa quantitativa (2)
Estudos quantitativos partem da especificação das
hipóteses de pesquisa envolvendo essas variáveis,
com base nessa teoria
Reducionismo: teoria pode ser testada pela
observação de poucas variáveis
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis
Variável: algo que muda, que pode assumir
diferentes valores
Variáveis na pesquisa quantitativa podem ser
representadas numericamente
• Escala contínua ou categórica
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de variáveis
Principais tipos de variáveis
• Variável independente: podemos alterar seu valor
• Variável dependente: podemos medir seu valor
Variáveis demográficas (idade, nível educacional, renda familiar)
são, em geral, variáveis moderadoras do estudo e não devem (a
não ser que o estudo seja sobre esses aspectos) serem usadas
como variáveis independentes ou dependentes
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
pesquisa quantitativa (3)
Métodos de coleta de dados na pesquisa quantitativa:
• Levantamentos
• Experimentos
Objetivismo: dados podem ser obtidos por
medidas ou observações empíricas
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Mecanismos de
coleta de dados
Levantamento (Survey)
• Descrever numericamente tendências ou opiniões de
uma amostra de uma população
Experimental
• Verificar o impacto de uma intervenção ou tratamento
em um resultado observado, mantendo sob controle
outros fatores que poderiam influenciar o desenlace
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Características da
pesquisa quantitativa (4)
Grande quantidade de dados coletados:
• Permitir análises estatísticas
• Permitir generalização das conclusões a partir do
observado nas amostras
• Forma de validação do estudo
Interpretacionismo: instrumentos de medidas válidos e
confiáveis levarão a interpretações significantes dos dados
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Levantamentos
Métodos da pesquisa quantitativa
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Justificativa para
levantamento
• Na proposta de pesquisa, é preciso justificar a
escolha para realizar a coleta por meio de um
levantamento
– Qual é o objetivo do levantamento?
– Por que levantamento é a forma recomendada de
coleta nesse caso?
– A coleta será transversal (num único momento) ou
longitudinal (coleta ao longo do período)?
– Qual será a forma de coleta?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Formas de coleta
• Questionários auto-administrados
• Entrevistas
• Revisão de registros estruturados para a coleta
de dados
• Observações estruturadas
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
População
Qual a população que é alvo do estudo?
• O conjunto universo do estudo
Qual o tamanho da população?
Como os indivíduos da população podem ser
identificados?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
População e amostra
Se o tamanho da população é tal que não permite que
todos os seus indivíduos sejam medidos ou
observados, o estudo deve ser realizado com um
subconjunto da população
– Amostra
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Amostra
• Como será selecionada a amostra:
– Amostragem simples (diretamente de toda a
população) ou a partir de grupos (clusters)?
– Seleção aleatória ou por conveniência?
– Amostra estratificada? Por quais características?
– Qual o tamanho da amostra? Qual procedimento
utilizado para selecionar esse tamanho?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra
• Afetada por
– Intervalo de confiança
• Qual a margem de erro dos resultados obtidos
– Nível de confiança
• Quão certo você pode estar de seus resultados
Com esse tamanho de amostra, tenho [NivConf]% de segurança que o
valor desta variável é X ± [IntConf]%
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra
Impacto do tamanho da população nesses valores:
• Apenas se a população é pequena
• Para populações acima de 50.000, o tamanho da amostra
não impacta no nível e no intervalo de confiança
– Desde que as amostras sejam aleatórias
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra
• População “infinita” (maior que 50.000):
onde
SS Tamanho da amostra
Z Valor Z para o nível de confiança desejado (tabelado)
C Intervalo de confiança p Probabilidade da resposta (.5 no pior caso)
SSZ
2p 1 p
C2
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho da amostra
• População finita (menor que 50.000):
onde
NSS Tamanho ajustado da amostra
SS Tamanho da amostra para população infinita
pop Tamanho da população
NSSSS
1SS 1
pop
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Valor Z
Probabilidade de que uma amostra caia dentro de
uma certa distribuição
– Tabelada a partir da distribuição de probabilidade
normal cumulativa
– Valores típicos:
Nível de confiança Valor Z
0,90 1,645
0,95 1,960
0,99 2,576
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Exemplos
• Nível de confiança 95%, margem de erro 4%
– População 50.000: amostra de 600 participantes
– População 10.000: 566 participantes
– População 1.000: 376 participantes
• Nível de confiança 99%, margem de erro 2%
– População 50.000: 4.148 participantes
– População 10.000: 2.932 participantes
– População 1.000: 806 participantes
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentação
Proposta da pesquisa também deve incluir informação
sobre o instrumento usado na coleta
• O questionário foi desenvolvido para esta pesquisa ou
foi adaptado de ou utilizado em outro estudo?
• Se veio em parte ou integralmente de outro estudo:
– Obteve autorização para usar neste estudo?
– Houve validação do questionário?
– Qual a confiabilidade relatada do questionário?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentação
Indique as seções que o questionário conterá
• Dados demográficos, questões de comportamento,
atitude, factuais
Indique os tipos de escalas que serão utilizados
• Contínuas (em quantos níveis), categóricas
Indique os planos para testes piloto ou de campo
• Número de participantes, como os seus comentários
serão incorporados
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis no estudo
Como as variáveis do estudo (descritas na introdução e
hipóteses da pesquisa) estão relacionadas a questões
específicas do instrumento?
• Relacionar variáveis com questões/hipóteses de
pesquisa e com itens do levantamento
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Análise e interpretação
dos dados
Informe quantos participantes retornaram e quantos não
retornaram o instrumento preenchido
Discuta o método pelo qual o viés de resposta será
determinado
Efeito dos não respondentes
Discuta o plano para a análise descritiva dos dados para
todas variáveis independentes e dependentes
Médias, desvios padrões e faixas de valores
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Análise e interpretação
dos dados
• Identifique que procedimentos e programas
estatísticos serão usados para testar as principais
hipóteses do estudo
– Depende do número de variáveis, tipos de escalas para
variáveis independentes e dependentes, distribuição de
valores das variáveis
• Discuta como serão apresentados os resultados
– Tabelas, gráficos?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Experimentos
Métodos da pesquisa quantitativa
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Objetivo de um estudo
experimental
Testar o impacto de uma intervenção (ou tratamento) em
um desenlace, controlando todos os demais fatores que
poderiam influenciar nesse desenlace
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Variáveis no estudo
experimental
• Identificar claramente as variáveis independentes
– Pelo menos uma variável (associada à intervenção)
– Outras variáveis que não são manipuladas no experimento
• Identificar variáveis dependentes
– Pelo menos uma variável (associada ao desenlace)
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Componentes do método
experimental
• Participantes
• Materiais
• Procedimentos
• Medidas
– Descrições sobre esses quatro aspectos devem estar presentes
no projeto de pesquisa experimental
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Participantes
Quem são os participantes do estudo?
Qual população eles representam?
Como são selecionados?
Como são alocados a grupos?
Que características dos participantes podem influenciar no desenlace?
Qual o número de participantes em cada grupo?
Como esse número foi definido?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tamanho do grupo
Depende de três fatores (análise de potência):
• Nível de significância estatística (α)
– Probabilidade de erro tipo 1 (falso positivo)
• Potência desejada (π)
– Probabilidade de não ocorrer erro tipo 2 (falso negativo, prob. β)
• Magnitude do efeito
– Diferença desejada entre valores médios dos dois grupos dividido pelo
desvio padrão (d de Cohen)
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Exemplo
• Valor convencional é α=0,05
• Tamanho de cada grupo:
π 0,25 0,50 0,60 0,70 0,80 0,90 0,95 0,99
d
0,2 84 193 246 310 393 526 651 920
0,5 14 32 40 50 64 85 105 148
0,8 6 13 16 20 26 34 42 58
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Instrumentos e materiais
• Instrumentos
– Usados para avaliações pré-teste e pós-teste
– Como foram validados? Qual sua confiabilidade? Quem os
desenvolveu? Tem autorização para utilizá-los?
• Materiais
– Usados na intervenção experimental
– Foram testados em algum piloto? Treinamento para sua
aplicação é necessário?
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Tipos de procedimentos
experimentais
Pré-experimental: grupo analisado sem comparação com grupo
de controle
Experimento real: dois grupos (tratamento e controle) com
participantes alocados aleatoriamente
Quase experimento: dois grupos, mas participantes não
aleatoriamente alocados aos grupos
Sujeito único: observação de um único (ou poucos) sujeito de
pesquisa ao longo do tempo
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Medidas
O que será medido para cada tipo de variável
Variáveis independentes além da intervenção
• Medidas, mas não manipuladas no experimento
• Podem ser estatisticamente controladas (por exemplo,
distribuição similar nos grupos)
Variáveis dependentes
• Medidas usuais incluem direção e/ou magnitude de mudança
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Procedimentos: notação
Símbolos ao longo de uma linha temporal (duração do
experimento), da esquerda para a direita:
• X: Exposição à intervenção
• O: Observação do efeito (medida)
• R: Atribuição aleatória
• Linha horizontal entre linhas temporais: grupos não
equalizados por alocação aleatória
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
pré-experimentais
Exposição de um grupo a uma intervenção, seguida por
uma medida (one-shot case study)
Grupo A X------------------O
Medida pré-teste, intervenção e medida pós-teste para um
grupo (one-group pre-test-post-test design)
Grupo A O1-------X-------O2
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
pré-experimentais
Comparação entre grupos não equivalentes após intervenção
Grupo A X------------------O
Grupo B --------------------O
Comparação de intervenções alternativas entre grupos não
equivalentes
Grupo A X1--------------O
Grupo B X2--------------O
* Grupos equivalentes: alocação aleatória dos membros
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
quase experimentais
Comparação com grupo de controle não equivalente
Grupo A O---------X--------O
Grupo B O-------------------O
Série temporal interrompida, único grupo
Grupo A O---O---O---X---O---O---O
Série temporal interrompida com grupo de controle (não alocado
aleatoriamente)
Grupo A O---O---O---X---O---O---O
Grupo B O---O---O---O---O---O---O
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimentos
experimentais reais
Pré-teste, pós-teste com grupo de controle
Grupo A R-----O----X----O
Grupo B R-----O----------O
Apenas pós-teste com grupo de controle
Grupo A R------X------O
Grupo B R--------------O
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Representação de procedimento
experimental com único sujeito
Desenho A-B-A
• Múltiplas observações para um único indivíduo (baseline)
• Aplicação da intervenção ou tratamento
• Interrupção do tratamento seguida de novas observações
O---O---O---O---X---X---X---O---O---O---O---O
IA364M – Métodos de pesquisa para engenharia de computação – Prof. Galvão &Ricarte
Referências
• Creswell, capítulos 7 e 8
• Livros de estatística