Computação e qualitativa para Ciência da Métodos de...
Transcript of Computação e qualitativa para Ciência da Métodos de...
![Page 1: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/1.jpg)
Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação
Jacques Wainer
Gabriel de Barros Paranhos da CostaGabriel Dias Cantareira
![Page 2: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/2.jpg)
Metodologia de pesquisa científica em Ciências da Computação
● Avaliação: processo de julgar o mérito ou valor de um sistema de informação○ Verificação○ Validação
● Usualmente leis e teorias○ Em CC: rasas, de caráter estatístico e datadas
● 4 tipos de pesquisa
![Page 3: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/3.jpg)
Tipos de pesquisa - Analítica
● Gerar/obter conhecimento sobre programas e algoritmos
● Pressuposições
● Provas matemáticas
● Exemplo○ Análise de complexidade assintótica de algoritmos
![Page 4: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/4.jpg)
Tipos de pesquisa - Quantitativa
● Medida de poucas variáveis objetivas
● Comparação de resultados
● Benchmarks, competições, questionários
● Pesquisa correlacional ou modelagem estatística○ Relação entre variáveis em um grande conjunto de
dados
![Page 5: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/5.jpg)
Tipos de pesquisa - Qualitativa
● Variáveis que não podem ser medidas
● Observação
● Pesquisa-ação
● Estudo do sistema em questão no ambiente em que está sendo usado
![Page 6: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/6.jpg)
Tipos de pesquisa - Bibliográfica
● Revisão sistemática
● Meta-análises
● Coletar todos os artigos publicados sobre um determinado experimento quantitativo
● Resumir os resultados
![Page 7: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/7.jpg)
Métodos quantitativos
● Visão dita positivista○ Diferentes observadores devem obter os mesmos
resultados em observações distintas
○ Define claramente o que é melhor e o que é pior
○ Medições numéricas consideradas mais ricas que descrições verbais
![Page 8: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/8.jpg)
Dados sintéticos
● Benchmarks
● Testes com o programa novo e a "concorrência" usando os mesmos dados
● Pode avaliar tempo de execução, qualidade do resultado ou resultados esperados
● Atenção a limitações como efeitos teto e chão
● Competições
![Page 9: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/9.jpg)
Significância estatística
● Métodos usados variam com diferentes tipos de medida○ Medidas categóricas○ Medidas ordinais○ Medidas intervalares○ Medidas de razão
![Page 10: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/10.jpg)
Significância estatística
● Testes estatísticos levam em consideração uma hipótese nula
● Significância estatística pode medir o valor de corte (p-value) da probabilidade de rejeição dessa hipótese
![Page 11: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/11.jpg)
Significância estatística
● Testes com menor valor p-value são considerados mais fortes
● Testes estatísticos podem ser configurados para gerar um intervalo de resultados prováveis dentro de um valor de confiança (intervalos de confiança)
![Page 12: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/12.jpg)
Significância estatística
● Diversos testes para comparar dois conjuntos de dados usando intervalos de confiança○ Teste T○ Intervalo de Wald○ Teste T Pareado○ Wilcoxon rank-sum test○ Wilcoxon signed-rank test○ Fischer exact test○ Teste chi-quadrado
● São apropriados para diferentes tipos de medidas
![Page 13: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/13.jpg)
Significância estatística
● Para mais de dois conjuntos, comparações 2 a 2 em sequência reduzem a confiança e podem propagar erros
● São usados outros testes○ one-way ANOVA, Kruskal-Wallis, etc
![Page 14: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/14.jpg)
Desenhos fatoriais
● Em análises, podem ser identificados fatores e níveis
● Design de experimento considerado fatorial se todas as combinações fator/nível são testadas
● Caso contrário, o desenho é chamado fatorial parcial e a escolha das combinações deve ser cuidadosa
![Page 15: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/15.jpg)
Questionários
● Forma rápida e simples de receber informações acerca experiências de usuários
● Tentam medir uma característica invisível ou latente
● Perguntas com respostas predefinidas
![Page 16: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/16.jpg)
Questionários
● Propriedades○ Confiabilidade○ Validade
● Atenção à elaboração de perguntas, alternativas e encorajamento de usuários
● Problemas: viés de amostragem e não-resposta
![Page 17: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/17.jpg)
Experimentos
● Observação de comportamento de variáveis em situações controladas ou artificiais
● Em computação, sempre envolvem pessoas
![Page 18: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/18.jpg)
Experimentos
● Validade○ Interna: validade das manipulações○ Externa: aplicabilidade do experimento para
generalizações
● Seguem duas divisões de grupo: grupo pré-teste/pós-teste e grupo experimental/controle
![Page 19: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/19.jpg)
Experimentos
● Grupos pré-teste/pós-teste○ Testes diferentes com o mesmo grupo para cada
caso
● Ameaças:○ Instrumentação○ Testagem○ Maturação○ História
![Page 20: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/20.jpg)
Experimentos
● Grupos experimentais/controle ○ Mesmos testes para grupos diferentes nas
condições a serem observadas
● Ameaças:○ Seleção○ Mortalidade seletiva○ Contaminação○ Comportamento competitivo○ Comportamento compensatório
![Page 21: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/21.jpg)
Experimentos
● Outras ameaças○ Regressão à média○ Efeito de expectativa do sujeito○ Efeito de expectativa do experimentador○ Influência de parte da intervenção
![Page 22: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/22.jpg)
Métodos Qualitativos
● Observar variáveis que não podem ser medidas
● Estudo sobre um sistema no ambiente onde ele está sendo usado
● Dois tipos de pesquisa○ Pesquisa observacional○ Pesquisa-ação
![Page 23: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/23.jpg)
Pesquisa Observacional
● Observar o ambiente sem modificá-lo
● Perspectiva positivista○ Busca seguir os fundamentos da pesquisa
quantitativa○ Teorias e provas
● Perspectiva interpretativista○ Interpretação de um observador
● Perspectiva crítica○ Revelar relações de poder e dominação
![Page 24: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/24.jpg)
Pesquisa Observacional Positivista
● Descritiva ou exploratória
● Exploratória○ Descreve um fenômeno○ Propõe novas teorias
● Explanatória○ Busca provar ou desprovar uma teoria
![Page 25: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/25.jpg)
Estilos de Pesquisa Observacional
● Estudo de caso○ Interação do pesquisador com os sujeitos é semi-
formal○ Descobrir "o que as pessoas escrevem" e "o que as
pessoas dizem"○ Entrevistas e conversas programadas
● Etnografia○ O pesquisador "vive e trabalha" junto com os
sujeitos○ Descobrir "o que as pessoas fazem"○ "Fazer parte" do grupo
![Page 26: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/26.jpg)
Técnicas de Pesquisa Observacional
● Como garantir que os dados e as conclusões obtidas são confiáveis, válidas e generalizáveis?
● Controlar a subjetividade ou o viés do pesquisador
![Page 27: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/27.jpg)
Pesquisa-ação
● Modificar o ambiente
● Colaboração dos sujeitos com o pesquisador
● Ciclo○ Infra-estrutura cliente-sistema○ Diagnóstico○ Planejamento de ação○ Tomada de ação○ Avaliação○ Aprendizado
![Page 28: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/28.jpg)
Outras formas qualitativas de avaliação
● Crítica artística○ Especialista na área usa o sistema e expressa sua
opinião sobre a experiência
● Comitê de Especialista (Professional Review) ○ Grupo de especialistas○ Várias técnicas são utilizadas para manter a
subjetividade sob controle
![Page 29: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/29.jpg)
Publicação de pesquisa qualitativa
● Defender o mérito dos métodos qualitativos
● Em pesquisa-ação, mostrar que não é apenas o desenvolvimento de um sistema, ou resultados de uma consultoria
● Mostrar evidências no artigo de que é um pesquisador competente
![Page 30: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/30.jpg)
Ética em pesquisa em computação
● O sujeito de um experimento em ciência da computação deve ser informado que ele participa de um experimento?
● Caso sim, ele deve ser avisado antes e concordar em participar do experimento ou somente aprovar que os dados coletados sejam utilizados na pesquisa após a realização do experimento?
![Page 31: Computação e qualitativa para Ciência da Métodos de ...paulovic/aulas/MVI/app/apr-gabriel_gabriel.pdf · e algoritmos Pressuposições ... Comparação de resultados Benchmarks,](https://reader034.fdocuments.net/reader034/viewer/2022051602/5ae5c5297f8b9a87048d15a7/html5/thumbnails/31.jpg)
Referências Bibliográficas
● WAINER, J. (2007). Métodos de pesquisa quantitativa e qualitativa para a ciência computação. In T. KOWALTOWSKI e K. BREITMAN (Org.), Atualização em Informática da Sociedade Brasileira de Computação, pp. 221-262.