Post on 14-Nov-2015
description
Braslia, 18 de Maio de 2010 - Ano XLIII - N 10
TCNICA DE PESQUISA PARA
AUDITORIAS
PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010
SECRETARIA-GERAL DE ADMINISTRAO
TRIBUNAL DE CONTAS DA UNIO Boletim do Tribunal de Contas da Unio
http://www.tcu.gov.br BTCU@tcu.gov.br
SAFS Lote 1 Anexo I sala 422 - CEP:70042-900 - Braslia - DF
Fones: 3316-7650/3316-7079/3316-7870/3316-7869
Presidente UBIRATAN DINIZ DE AGUIAR
Vice-Presidente BENJAMIN ZYMLER
Ministros
ANTONIO VALMIR CAMPELO BEZERRA WALTON ALENCAR RODRIGUES
JOO AUGUSTO RIBEIRO NARDES AROLDO CEDRAZ DE OLIVEIRA RAIMUNDO CARREIRO SILVA
JOS JORGE DE VASCONCELOS LIMA JOS MCIO MONTEIRO FILHO
Auditores
AUGUSTO SHERMAN CAVALCANTI MARCOS BEMQUERER COSTA ANDR LUS DE CARVALHO
WEDER DE OLIVEIRA
Ministrio Pblico junto ao TCU Procurador-Geral
LUCAS ROCHA FURTADO
Subprocuradores-Gerais PAULO SOARES BUGARIN MARIA ALZIRA FERREIRA
Procuradores
MARINUS EDUARDO DE VRIES MARSICO CRISTINA MACHADO DA COSTA E SILVA
JLIO MARCELO DE OLIVEIRA SERGIO RICARDO COSTA CARIB
SECRETARIA-GERAL DE ADMINISTRAO Secretrio-Geral
Fernando Luiz Souza da Eira segedam@tcu.gov.br
Boletim do Tribunal de Contas da Unio Especial v. 1, n. 1 (1982) . Braslia : TCU, 1982- .
v.
Irregular. A numerao recomea a cada ano. Continuao de: Boletim do Tribunal de Contas da Unio.
Contedo: Tcnica de pesquisa para auditoria Ato administrativo peridico Brasil. I. Brasil. Tribunal de Contas da Unio (TCU).
RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004
D nova redao aos arts. 1 e 3
da Resoluo -TCU n 146, de 28
de dezembro de 2001.
PORTARIA - TCU N 1, DE 9 DE JANEIRO DE 2004
Define a lotao das unidades da
Secretaria do Tribunal
PORTARIA - TCU N 2, DE 9 de JANEIRO DE 2004
Dispe sobre a denominao e a
distribuio de funes de
confiana
RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004 D nova redao aos arts. 1 e 3 da
Resoluo -TCU n 146, de 28 de
dezembro de 2001.
PORTARIA - TCU N 1, DE 9 DE JANEIRO DE 2004
Define a lotao das unidades da
Secretaria do Tribunal
PORTARIA - TCU N 2, DE 9 de JANEIRO DE 2004
distribuio de funes de
confiana.
ANO XXVII N 01
Braslia, 12 de janeiro de 2004
RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004
D nova redao aos arts. 1 e 3
da Resoluo -TCU n 146, de 28
de dezembro de 2001.
PORTARIA - TCU N 1, DE 9 DE JANEIRO DE 2004
Define a lotao das unidades da
Secretaria do Tribunal
PORTARIA - TCU N 2, DE 9 de JANEIRO DE 2004
Dispe sobre a denominao e a
distribuio de funes de
confiana.
Ano XXXVII N 01 Braslia, 12 de janeiro de 2004
TRIBUNAL DE CONTAS DA UNIO 1
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
TRIBUNAL DE CONTAS DA UNIO
SECRETARIA-GERAL DE CONTROLE EXTERNO SECRETARIA DE FISCALIZAO E AVALIAO DE PROGRAMAS
DE GOVERNO
TCNICA DE PESQUISA PARA
AUDITORIAS
SEGECEX / SEPROG
MAIO/2010
TRIBUNAL DE CONTAS DA UNIO 2
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Tribunal de Contas da Unio
Internet: http://www.tcu.gov.br
SAFS Quadra 4 Lt. 01
CEP: 70042-900 Braslia-DF
Secretrio-Geral de Controle Externo
Paulo Roberto Wiechers Martins
Secretrio Adjunto de Planejamento e Procedimentos
Marcelo Luiz Souza da Eira
Secretrio de Fiscalizao e Avaliao de Programas de Governo
Carlos Alberto Sampaio de Freitas
Superviso
Glria Maria Merola da Costa Bastos Gerente da 1 Diviso Tcnica da Seprog
Equipe Tcnica
Dagomar Henriques Lima
Reviso
Jorge Mendes de Oliveira Castro Neto
Brasil. Tribunal de Contas da Unio.
Tcnica de pesquisa para auditorias / Tribunal de Contas da
Unio. Braslia : TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo (Seprog), 2010.
34 p.
33 p.
1. Auditoria operacional, pesquisa. 2. Auditoria operacional,
manual. 2. Auditoria operacional, questionrio. I. Ttulo.
Ficha catalogrfica elaborada pela Biblioteca Ministro Ruben Rosa
TRIBUNAL DE CONTAS DA UNIO 3
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010
Aprova o documento Tcnica de Pesquisa para
Auditorias.
O Secretrio-Geral de Controle Externo, no uso de suas atribuies e considerando o
disposto no art. 32, inciso III, da Resoluo-TCU n 214, de 20 de agosto de 2008:
Considerando que o Plano Estratgico do Tribunal definiu como objetivos estratgicos
Aperfeioar a estrutura legal e normativa de suporte ao controle externo e Aperfeioar instrumentos de controle e processos de trabalho;
Considerando a necessidade de estabelecer parmetros para orientar a construo do sistema
de pesquisa para auditoria, resolve:
Art. 1 Fica aprovado o documento Tcnica de Pesquisa para Auditorias.
Art. 2 A Segecex manter atualizado o documento de que trata o artigo anterior, cabendo-
lhe, ainda, o esclarecimento de dvidas e o recebimento de sugestes para o seu aperfeioamento, bem
como o acompanhamento de sua implementao.
Art. 4 Esta Portaria entra em vigor na data de sua publicao.
PAULO ROBERTO WIECHERS MARTINS
Secretrio-Geral de Controle Externo
TRIBUNAL DE CONTAS DA UNIO 4
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
SUMRIO
INTRODUO......................................................................................................................................... 5
OBJETIVO ................................................................................................................................................ 5
O QUE SO PESQUISA E QUESTIONRIO ..................................................................................... 5
APLICAO EM AUDITORIA ............................................................................................................ 5
POTENCIALIDADE E LIMITAES DA PESQUISA EM AUDITORIAS ................................... 6
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA .................................... 7
FORMAS DE REALIZAR A PESQUISA ............................................................................................. 9
COMO USAR A PESQUISA EM AUDITORIA ................................................................................. 13
CRITRIOS DE ELABORAO DE PERGUNTAS ....................................................................... 14
TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO ............................................................. 16
ESTRUTURA E FORMATAO DO QUESTIONRIO ................................................................ 18
ESTRUTURA .......................................................................................................................................................................... 18 FORMATAO ...................................................................................................................................................................... 19
COMO ANALISAR AS RESPOSTAS ................................................................................................. 20
PLANEJAMENTO DA ANLISE .............................................................................................................................................. 20 CODIFICAO ...................................................................................................................................................................... 20 ANLISE DE CONSISTNCIA DAS VARIVEIS ....................................................................................................................... 21 TESTE DA COERNCIA ENTRE POPULAO E AMOSTRA ..................................................................................................... 22
APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS ............... 23
ANEXO A EXEMPLOS ...................................................................................................................... 24
REFERNCIAS ...................................................................................................................................... 32
NOTAS EXPLICATIVAS ..................................................................................................................... 32
TRIBUNAL DE CONTAS DA UNIO 5
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
INTRODUO
Os procedimentos para realizao de pesquisas1 (survey) aqui apresentados foram testados com sucesso
em auditorias realizadas nos ltimos nove anos e complementam informaes contidas no Manual de
Auditoria Operacional do TCU. Essas orientaes no devem ser tomadas como algo esttico, pois os
padres de qualidade podem se alterar com o tempo, e os documentos tcnicos do TCU devem ser
mantidos atualizados e compatveis com as melhores prticas. Para isso, importante que os usurios do
documento apresentem sugestes com base em suas experincias.
O documento est organizado por temas, que visam destacar as oportunidades de uso de pesquisa em
auditoria, orientar como elaborar e aplicar o questionrio e como analisar as respostas.
Espera-se que a disseminao dessas orientaes contribua para que as evidncias coletadas por meio de
pesquisas tenham maior validade e confiabilidade.
OBJETIVO
1. O objetivo deste documento orientar as equipes de auditoria a realizar pesquisas com o uso de questionrios para coleta de dados, mediante definio de critrios gerais. A aplicao dessas
orientaes contribuir para evitar as falhas mais comuns ao se realizar pesquisas em auditoria,
especialmente na elaborao de questionrios, de forma a garantir a validade e confiabilidade das
evidncias produzidas pela anlise dos dados coletados.
O QUE SO PESQUISA E QUESTIONRIO
2. Pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo sobre um objeto de auditoria, relacionadas, entre outros, a aspectos operacionais e
gerenciais (BRASIL, 2010, p. 46-47). Com frequncia, utilizada em conjunto com estudos de caso
como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia (ISSAI
3000/5.3). Como mtodo estruturado de coleta de dados, quando realizada na forma de pesquisa
amostral, visa generalizar para toda a populao informaes obtidas a partir de uma amostra.
Quando realizada pesquisa no amostral, no possvel generalizar, mas a evidncia obtida de
grande nmero de pesquisados importante e pode ser fortalecida por meio de informaes de outra
natureza e de deduo lgica (ISSAI 3000/Apndice 3).
3. Questionrio o formulrio de perguntas usado em pesquisas, para obter informaes de forma padronizada sobre grande nmero de unidades de pesquisa. o instrumento de coleta de dados
usado em pesquisas (BRASIL, 2010, p. 48).
4. O que distingue a aplicao de um questionrio de uma entrevista que, ao aplic-lo, mesmo pessoalmente, o pesquisador no tem possibilidade de ajustar, alterar ou adicionar novas perguntas
durante o processo de aplicao.
APLICAO EM AUDITORIA
5. A equipe de auditoria pode realizar pesquisa para colher dados primrios, no disponveis em bancos de dados da administrao pblica, ou para colher dados que permitam testar a
confiabilidade dos j disponveis. Posteriormente, os dados coletados so analisados, permitindo
extrair evidncias que daro suporte aos achados de auditoria.
TRIBUNAL DE CONTAS DA UNIO 6
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
6. A pesquisa pode ser usada para obter informaes quantitativas ou qualitativas com os objetivos imediatos de caracterizar unidades pesquisadas, por meio de dados descritivos, e colher opinies dos atores interessados, em especial de executores e beneficirios, sobre o desempenho e caractersticas do objeto auditado. Em situaes particulares, os dados coletados podem servir para testar hipteses sobre relaes causais.
Quadro 1 Exemplos de uso de pesquisa em auditoria
Objetivo Exemplo O que a anlise pode dizer
Caracterizar unidades de
pesquisa
Inventariar os tipos de equipamentos disponveis em postos de vigilncia fitozoossanitria de produtos agropecurios (Anexo A exemplo 1)
Se os postos dispem dos equipamentos necessrios para fiscalizar o tipo de produto agropecurio importado ou exportado no local
Inventariar nmero de equipamentos existentes em servio de radiologia de estabelecimentos pblicos de sade (Anexo A exemplo 2)
Se o Cadastro Nacional de Estabelecimentos de Sade (CNES) apresenta dados confiveis sobre equipamentos de diagnstico por imagem
Coletar dados socioeconomicos dos pesquisados (Anexo A exemplo 11)
Se o programa discrimina positivamente famlias cujo responsvel seja do sexo feminino.
Obter informaes sobre atividades do pesquisado
Levantar a distribuio de freqncia da carga horria dos cursos ministrados para professores
Identificar se os pesquisados participaram de curso de aperfeioamento para professores
(Anexo A exemplo 3)
Se h indcios de falhas na execuo do objeto do convnio por:
1 - contratao de cursos de aperfeioamento para professores com carga horria inferior ao mnimo previsto
2 treinamento de professores em nmero menor do que o mnimo previsto nos convnios
Obter informao sobre opinio
Colher avaliao dos professores participantes sobre aspectos da qualidade dos cursos de aperfeioamento (Anexo A exemplo 4)
Se, na opinio dos participantes, os cursos contratados com recursos descentralizados pela Unio apresentam caractersticas de boa qualidade
POTENCIALIDADES E LIMITAES DA PESQUISA EM AUDITORIAS
7. A pesquisa permite equipe obter informaes diretamente de atores interessados (gestores, servidores, especialistas, beneficirios de programas governamentais). Em geral, isso mais confivel do que se basear em informaes coletadas por terceiros, quando a equipe no tem controle sobre a qualidade da coleta.
8. Outra vantagem obter dados uniformes de grande quantidade de unidades de pesquisa a custo relativamente baixo. Quando essas informaes so coletadas usando tcnicas adequadas de amostragem e de coleta, possvel fazer generalizaes para a populao a partir das respostas das unidades pesquisadas (BRASIL, 2002). Mesmo quando no possvel fazer inferncia estatstica, pode ser eloqente a evidncia obtida por meio da anlise de grande quantidade de respostas, em especial se associada a outras evidncias.
9. Os dados coletados em massa e de forma padronizada podem permitir caracterizar as unidades de pesquisa segundo critrios socioeconmicos, facilitando a interpretao dos dados. Alm disso, permite comparar os dados segundo diversos critrios para posterior investigao das causas das variaes encontradas. Quando coletados em momentos diferentes, os dados permitem comparar a evoluo histrica da situao encontrada e identificar, por exemplo, variaes no desempenho.
TRIBUNAL DE CONTAS DA UNIO 7
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
10. A principal limitao metodolgica da pesquisa que as perguntas trazem de forma implcita a
estrutura de entendimento do fenmeno pela equipe de auditoria. Pode haver vis na formulao das
perguntas do questionrio, caso a equipe se deixe influenciar por preconceitos sociais e noes pr-
assumidas sobre o objeto da auditoria. O instrumento de coleta de dados reflete o ponto de vista de
quem elaborou as perguntas, que pode ser diferente da que compartilhada pelos atores diretamente
envolvidos. Outra limitao que a uniformidade das perguntas aparente, pois elas podem ter
sentidos diferentes para diferentes pessoas (RICHARDSON, 1999).
11. Essas limitaes podem ser reduzidas por intermdio de um bom diagnstico da situao, realizado
durante a fase de planejamento, inclusive com consulta a especialistas, gestores, servidores e
beneficirios. Outra providncia a equipe submeter o questionrio avaliao de especialistas no
tema da pesquisa que possam validar as perguntas. Por fim, o instrumento de coleta deve ser testado
com especialistas e colegas auditores e durante o teste piloto da auditoria para que sejam
identificadas falhas na construo do questionrio, como ser explicado adiante.
12. Com relao validade, nem sempre possvel saber se os dados informados correspondem
realidade. Essa incerteza varia segundo o tema da pesquisa e a natureza dos dados solicitados. Com
relao confiabilidade, as respostas dos indivduos podem variar no tempo, em especial quando se
referem a atitudes e opinies (RICHARDSON, 1999).
13. Outras fontes de vis podem atuar sobre a coleta e a anlise das informaes. Para reduzir essa
possibilidade, devem ser tomados os cuidados necessrios na definio do desenho amostral para
favorecer a obteno de amostra representativa. Na conduo da coleta de dados, caso sejam usados
pesquisadores, eles devem ser treinados e supervisionados. Por sua vez, ao analisar as respostas, a
equipe no deve desconsiderar evidncias aparentemente pouco consistentes com o que esperava.
14. A realizao de pesquisas mediante questionrios demanda tempo, sendo assim, o cronograma
fixado para a auditoria deve ser compatvel. Alm disso, a equipe j deve ter conhecimento razovel
sobre o objeto de auditoria para poder elaborar perguntas pertinentes e relevantes. Isso s vivel
em etapa avanada da fase de planejamento, o que tambm deve ser levado em conta ao estabelecer
o cronograma da auditoria.
15. Por fim, o desenho amostral para seleo das unidades de pesquisa e a anlise estatstica das
respostas pode exigir conhecimentos especficos. Caso a equipe no tenha as competncias
necessrias, elas devem ser obtidas, em tempo, por meio de apoio de outros profissionais do TCU,
requisitados de outros rgos ou contratao de consultoria.
QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA
16. Em pesquisas, h duas fontes potenciais de erro: o erro amostral e os erros no-amostrais. Sobre o
erro amostral, que pode ser controlado mediante clculo estatstico, consulte o texto Tcnicas de
Amostragem para Auditorias (BRASIL, 2002), que trata do tema em diversas oportunidades. Os
erros no-amostrais tm como fontes principais problemas com a construo e com a aplicao dos
questionrios.
17. O questionrio elaborado em fase avanada do planejamento da auditoria, quando a equipe j tem
segurana sobre a caracterizao do objeto de auditoria e a formulao do problema e das questes
de auditoria. A configurao definitiva do questionrio somente finalizada aps a validao da
matriz de planejamento e a realizao do teste piloto.
TRIBUNAL DE CONTAS DA UNIO 8
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
18. Para elaborar o questionrio, necessrio antes saber quais informaes devem ser coletadas e quem
so os destinatrios da pesquisa. Sendo assim, preciso j ter elaborado a matriz de planejamento. A
formulao exata das perguntas somente definida durante a elaborao do questionrio, mas elas
ainda podem sofrer alteraes aps o questionrio ser testado. Essas providncias de elaborao e
teste so realizadas na fase de planejamento da auditoria.
19. Tipicamente, nas auditorias realizadas pelo TCU o questionrio aplicado na fase de execuo da
auditoria. No entanto, o ideal que a tabulao completa dos dados esteja disponvel para a equipe
antes do incio do trabalho de campo. Assim, a equipe poder explorar detalhes, em profundidade,
sobre a situao revelada pela resposta aos questionrios. Dessa forma, no primeiro momento, o
conhecimento sobre o tema da auditoria, obtido na fase de planejamento, inclusive mediante visitas
a campo, base para a elaborao do questionrio. Em momento posterior, na fase de execuo, a
anlise da resposta aos questionrios orienta os exames realizados nos estudos de caso.
20. A pesquisa pode ser realizada em um ou mais momentos. O mais comum que a pesquisa seja em
corte transversal, isto , os dados so coletados em um nico momento. possvel tambm realizar
pesquisa longitudinal, ou seja, os dados so coletados em dois ou mais momentos (FREITAS et al.,
2000). Essa ltima situao mais rara, porm possvel, em processos de monitoramento, por
exemplo.
Quadro 2 - Exemplos de pesquisa longitudinal
Exemplo 1 - Em 2001, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional Biblioteca da Escola
(PNBE), vinculado ao Ministrio da Educao. Na ocasio, foi realizada pesquisa, via postal, com 879 escolas de
ensino fundamental de todos os estados brasileiros, selecionadas por meio de amostra estatstica, tendo sido
obtida taxa de resposta de 57,2% (TC n. 012.854/2001-6).
Em 2004, foi realizado o monitoramento final da implementao das deliberaes do TCU sobre a auditoria. Na
oportunidade foram enviados questionrios s mesmas 879 escolas pesquisadas na auditoria de 2001. A repetio
da pesquisa possibilitou comparar a situao verificada em 2001 pela auditoria e as condies das escolas em
2004. A taxa de retorno dos questionrios na segunda ocasio foi de 44,5%.
Exemplo 2 Em 2005, o TCU avaliou as aes de vigilncia e fiscalizao no trnsito internacional de produtos
agropecurios do Programa Segurana Fitozoossanitria no Trnsito de Produtos Agropecurios, sob
responsabilidade do Ministrio da Agricultura, Pecuria e Abastecimento MAPA (012.488/2005-5). Na
ocasio, foi realizada pesquisa postal e eletrnica com 26 Servios de Gesto da Vigilncia Agropecuria
VIGIAGRO/DT-UF (100% de retorno) e 91 unidades do Vigiagro (8 Servios de Vigilncia Agropecuria
SVA e 83 Unidades de Vigilncia Agropecuria Uvagro) (74% de retorno). Tambm foram enviados
questionrios a 542 fiscais federais agropecurios lotados nas unidades de vigilncia (75% de retorno).
Em 2008, foi realizado o primeiro monitoramento da auditoria (001.845/2008-6). Dessa vez, a pesquisa postal foi
realizada apenas as 91 unidades do Vigiagro (SVA e Uvagro) (47% de retorno). O objetivo da pesquisa foi
comparar a percepo dos chefes das unidades sobre a situao do programa nas pocas do monitoramento e da
auditoria. O questionrio abordou perguntas sobre a infra-estrutura das unidades, organizao e gesto de
recursos humanos, execuo de procedimentos de vigilncia fitozoossanitria e integrao com os demais rgos
envolvidos no processo.
21. O questionrio deve ser endereado aos atores pertinentes, isto , queles que detm as informaes
requeridas pela auditoria. Para circularizar as informaes e ter maior garantia sobre a validade das
evidncias, pode ser necessrio enviar diferentes questionrios para atores distintos em uma mesma
auditoria.
TRIBUNAL DE CONTAS DA UNIO 9
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Quadro 3 - Exemplo de pesquisa com mais de um questionrio em uma mesma auditoria
Em 2005, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional de Erradicao da Febre Aftosa
(PNEFA), vinculado ao Ministrio da Agricultura, Pecuria e Abastecimento (TC 002.624/2005-5).
A estratgia metodolgica aplicada compreendeu pesquisa, visita de estudo e anlise de documentos e de
dados existentes.
A pesquisa contemplou entrevistas e aplicao de questionrios, por via postal e por correio eletrnico, para
superintendncias federais de agricultura, servios estaduais de defesa agropecuria, federaes estaduais de
agricultura e pecuria, associaes de criadores de gado, sindicatos de produtores rurais e conselhos
regionais de medicina veterinria. Os questionrios foram compostos por perguntas fechadas, com emprego
de escalas ordinais, que buscaram verificar a percepo de segmentos envolvidos sobre o desempenho do
PNEFA. Os itens avaliados foram agrupados em cinco categorias: i) aes de vacinao; ii) educao
sanitria; iii) controle do trnsito de animais; iv) controle da sanidade do rebanho; v) aes emergenciais.
Considerando-se o nmero de questionrios que foram aplicados durante as visitas de campo e os
respondidos por via postal e eletrnica dentro do prazo limite, a configurao final de respondentes foi a
seguinte: 17 federaes (63% de retorno), 21 Conselhos Regionais de Medicina Veterinria (78% de
retorno), 256 sindicatos de produtores rurais (27% de retorno), 11 servios estaduais de defesa agropecuria
(41% de retorno), 10 superintendncias federais de agricultura nos seguintes estados (37% de retorno), 6
associaes de criadores (22% de retorno).
FORMAS DE REALIZAR A PESQUISA
22. Os questionrios podem ser aplicados pessoalmente, por telefone, por via postal ou por meio eletrnico. O Quadro 4 apresenta as formas de aplicao dos questionrios, suas potencialidades,
limitaes e caractersticas de uso.
Quadro 4 Formas de aplicao de questionrios: potencialidades, limitaes e caractersticas
FORMA DE
APLICAO POTENCIALIDADES LIMITAES
USO EM
AUDITORIA
Contato pessoal Confivel
Permite pesquisar pessoas com
baixa escolaridade
Custo muito alto (custo da
contratao de pesquisadores e do
deslocamento)
Demorado (tempo para contactar
pesquisados, quando dispersos
geograficamente)
Exige treinamento de
pesquisadores
Exige conferncia de parte dos
questionrios preenchidos pelos
pesquisadores
Pode haver dificuldade de
encontrar pesquisados presentes
na residncia
Pesquisados podem se sentir
constrangidos de responder certas
perguntas pessoalmente
Pode haver dificuldade de acesso
ou risco segurana dos
pesquisadores
Exige digitao das respostas
Usada pela equipe de
auditoria no teste
piloto
Usada em trabalho de
campo
TRIBUNAL DE CONTAS DA UNIO 10
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
FORMA DE
APLICAO POTENCIALIDADES LIMITAES
USO EM
AUDITORIA
Por telefone Permite obter informaes
rapidamente de nmero
reduzido de pesquisados
Permite abranger
pesquisados com alta
disperso geogrfica
Custo alto
Exige que as perguntas sejam
simples e em nmero reduzido
para que o pesquisado no
perca o raciocnio durante a
ligao
Exige que o questionrio seja
elaborado para que sua
aplicao seja inferior a 20
minutos
Como a interao entre
pesquisador e pesquisado
limitada, podem ocorrer mal
entendidos
Nas auditorias
realizadas pelo
TCU, uma forma
ainda pouco
explorada
Postal Custo baixo
Permite abranger grande
nmero de pesquisados com
alta disperso geogrfica
Permite que o pesquisado
levante as informaes
necessrias, caso no as
tenha de imediato
Permite que o pesquisado
pense melhor sobre a
resposta, confira
informaes e consulte
outros atores
O pesquisado se sente mais
seguro e livre para responder
de forma privada e annima
Exige anlise da no-resposta
para identificar possvel vis
Pode exigir trabalho de
reduo da no-resposta por
meio de reenvio de
questionrios ou contato
telefnico
Exige digitao das respostas
Exige processo trabalhoso de
impresso, codificao de
questionrios, envelopamento,
postagem
Limita acesso a pesquisados
de baixa escolaridade
Demanda tempo
Depende do entendimento do
pesquisado sobre as perguntas
e do correto preenchimento do
questionrio
Muito usada em
auditoria
TRIBUNAL DE CONTAS DA UNIO 11
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
FORMA DE
APLICAO POTENCIALIDADES LIMITAES
USO EM
AUDITORIA
Eletrnica Custo muito baixo
Possibilita eliminar digitao
das respostas
Mesmas vantagens da
pesquisa postal
No alcana pesquisados que
no possuem endereo
eletrnico
Limita acesso a pesquisados
de baixa escolaridade
Dificuldade de obter cadastro
atualizado de endereos
eletrnicos
Pode apresentar baixo
percentual de resposta
Possibilidade de ocorrncia de
problemas tecnolgicos
variados: bloqueio da
mensagem eletrnica por
firewall do pesquisado, baixo
desempenho da conexo com
a internet e outros.
Usada com
freqncia em
auditoria
Fonte: elaborao prpria e NAO (1999)
23. Quando a pesquisa aplicada por intermdio de contato pessoal, os aplicadores devem ser treinados.
Neste caso, h semelhanas entre os critrios para a aplicao de questionrios e para a realizao de
entrevistas, no entanto existem diferenas importantes. A aplicao do questionrio mediante
contato pessoal difere da entrevista no grau de interao com o entrevistado. Quem aplica o
questionrio no tem liberdade para alterar, suprimir ou adicionar perguntas e o grau de interao
com o pesquisado reduzido. Na entrevista, ocorre influncia recproca. O entrevistado tem maior
controle sobre a forma e a ordem segundo a qual presta as informaes, tornando o discurso mais
fluente e aumentando o grau de interao com o pesquiador (LDKE; ANDR, 1986).
24. Outra diferena relevante que o aplicador do questionrio, ao contrrio do entrevistador, nem
sempre faz parte da equipe de planejamento da auditoria, logo tem menor conhecimento sobre o
objeto de auditoria. O aplicador pode ser auditor do TCU, mas que no participou do trabalho desde
o incio ou pode ser um entrevistador contratado (Quadro 6). Nesses casos, o treinamento do
aplicador do questionrio inclui o seguinte:
24.1 instruo para evitar maneirismos verbais ou observaes tendenciosas, inclusive linguagem
corporal sugestiva de aprovao ou reprovao;
24.2 simulao da aplicao do questionrio, destacando procedimentos de apresentao,
conduo e agradecimento;
24.3 esclarecimento acerca do papel da superviso sobre o trabalho dos aplicadores.
TRIBUNAL DE CONTAS DA UNIO 12
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Quadro 5 - Exemplo de aplicao de questionrio por terceiros
Em 2003, o Tribunal de Contas da Unio (TCU), avaliou o Programa Morar Melhor, vinculado
Secretaria Nacional de Habitao do Ministrio das Cidades (TC 012.278/2003-1).
A metodologia contemplou consulta documentao e anlise de dados secundrios; observao direta
em 8 estados brasileiros (17 municpios); entrevista individual e em grupo com tcnicas sociais que
trabalhavam em 7 gerncias regionais da Caixa Econmica Federal; entrevistas estruturadas com 27
Gerncias e Escritrios Regionais da Caixa; pesquisa postal com 437 municpios (taxa de resposta de
46,5%); e pesquisa amostral com famlias beneficiadas em projetos implementados em agregados de
municpios do Rio Grande do Norte (Acari, Campo Redondo, Lagoa Nova, Pedro Avelino, Grossos,
Parnamirim e So Jos Mipibu), e nas cidades de Campo Grande/MS, Palmas/TO e So Bernardo do
Campo/SP.
A pesquisa com os beneficirios do Programa teve por finalidade levantar dados para verificao e
anlise dos resultados e impactos sociais das intervenes sobre as famlias entrevistadas. O foco da
pesquisa foi orientado para a verificao dos seguintes aspectos: a) equidade e incluso; b) condies de
habitabilidade; e c) satisfao dos beneficirios.
A coleta de dados com as famlias beneficirias foi conduzida por profissionais da rea social,
credenciados pela Caixa, com formao superior em servio social, sociologia, pedagogia ou psicologia
e experincia em coleta de dados. O custo dos servios de consultoria prestado pela Caixa, includos os
custos de aplicao dos questionrios e de superviso tcnica da equipe de entrevistadores, foi
compartilhado, cabendo ao TCU o valor de R$ 15.000,00, que foi pago mediante recursos de doao
internacional, sem nus para o Tribunal. A coleta de dados em campo aconteceu, de forma simultnea,
nas quatro unidades da federao, de 24 de setembro a 8 de outubro de 2003.
25. Quando o questionrio aplicado por telefone, a conciso das perguntas ainda mais importante. A dinmica do contato telefnico pode oferecer oportunidade para a ocorrncia de mal entendidos e de
perda de informao da resposta.
Quadro 6 - Exemplo de aplicao de questionrio por telefone
Em 2009, o Tribunal de Contas da Unio (TCU), por solicitao do Congresso Nacional, avaliou o
Programa de Resposta aos Desastres e Reconstruo, vinculado Secretaria Nacional de Defesa Civil Sedec (TC 008.556/2009-3).
A metodologia contemplou a anlise dos processos de transferncia obrigatria firmados de novembro
de 2008 a agosto de 2009, anlise de dados secundrios em sistemas informatizados da Sedec, bem
como do Siafi e do Sistema SigaBrasil do Senado; entrevistas individuais e em grupo com a titular e
tcnicos da Sedec e do Ministrio das Cidades; pesquisa via telefone com responsveis pela defesa civil
de estados e municpios que firmaram termos de compromisso com a Secretaria Nacional de Defesa
Civil at o dia 6 de agosto de 2009.
A pesquisa com os responsveis teve por finalidade investigar a estrutura e os recursos disponveis nos
rgos de defesa civil, sua capacidade operacional, as pricipais dificuldades enfrentadas, avaliao
qualitativa da atuao da Sedec, conhecimento sobre o programa federal avaliado. Houve retorno de
89% dos responsveis estaduais (8) e 87% dos responsveis municipais (27).
A equipe testou o questionrio de 17 perguntas com trs responsveis. O tempo de resposta foi
estimado em 15 minutos, no mnimo. Ao entrar em contato com os pesquisados, o auditor informava o
objeto da pesquisa, o nmero de perguntas e o tempo estimado para respond-las. A maioria dos
entrevistados respodeu a pesquisa na primeira tentativa e poucos pediram que fosse realizado contato
posterior.
TRIBUNAL DE CONTAS DA UNIO 13
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
26. Sempre que vivel, o pesquisado deve ser informado previamente sobre os objetivos da pesquisa e
sobre o tipo de informao que ser solicitada (ANEXO A EXEMPLO 5). Essa providncia
adotada especialmente nas seguintes situaes: a) para comunicar ao gestor (secretrio municipal ou
estadual, por exemplo) que unidades sob sua gesto recebero o questionrio, b) para informar ao
pesquisado sobre o tipo de informao que ele eventualmente ter que compilar.
COMO USAR A PESQUISA EM AUDITORIA
27. Para que o uso da pesquisa em auditoria contribua para responder as questes de auditoria,
necessrio seguir procedimentos de planejamento, elaborao, teste, aplicao e anlise do
questionrio. Seguir esses procedimentos aumenta a probabilidade de que as perguntas do
questionrio permitam coletar as informaes necessrias para responder as questes de auditoria e
que as informaes tenham validade e confiabilidade.
28. O passo-a-passo dos procedimentos de uso de pesquisa em auditoria encontra-se no Apndice A. Cabe aqui destacar alguns desses procedimentos em razo de sua importncia para o sucesso da
aplicao da metodologia:
28.1 teste o questionrio durante o teste piloto da auditoria para verificar se os pesquisados
entendem o que voc teve a inteno de perguntar, se o que voc perguntou era relevante, se
faltou perguntar algo;
28.2 codifique os questionrios postais para viabilizar o controle de resposta. A simples
numerao sequencial dos questionrios pode ser suficiente;
28.3 confira informaes-chave de identificao dos entrevistados com amostra de 25% deles,
caso a aplicao dos questionrios tenha sido por contato pessoal e terceirizada.
28.4 O questionrio deve ser enviado com prazo fixado para ser respondido. Controle as unidades
de pesquisa que no responderam no prazo e encoraje quem permaneceu em silncio. Depois
de expirado o prazo, telefone, envie mensagem eletrnica ou reenvie o questionrio pelos
correios. Deixe claro que a resposta dos pesquisados importante e desculpe-se
antecipadamente para o caso de a resposta j ter sido enviada (NAO, 1999).
Ateno
No deixe de realizar o teste piloto do questionrio. Apenas com a aplicao e anlise do questionrio de certo nmero de pesquisados possvel
identificar falhas que podero prejudicar a eficcia da pesquisa. Alm da qualidade das
perguntas, o teste permite identificar problemas de logstica para a realizao da pesquisa e
falhas no treinamento dos pesquisadores.
1 primeiro, teste o questionrio com colegas e com profissionais que tenham conhecimento sobre o tema pesquisado.
2 em seguida, faa um teste piloto, simulando as condies reais da pesquisa, com parcela da populao pesquisada. A amostra piloto de pelo menos 30 casos em grandes pesquisas
(NAO, 1999).
TRIBUNAL DE CONTAS DA UNIO 14
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
CRITRIOS DE ELABORAO DE PERGUNTAS
29. O contedo das perguntas o elemento principal na elaborao do relatrio, mas a forma segundo a
qual a pergunta formulada pode afetar decisivamente o sucesso da pesquisa. Siga as seguintes
orientaes referentes a contedo.
29.1 Beseie-se na matriz de planejamento. Colete informao til para responder as questes de
auditoria, de forma compatvel com os mtodos de anlise a ser usados.
29.2 Inclua perguntas que esclaream umas s outras, permitindo conferir a consistncia das
respostas.
29.3 No faa duas perguntas em uma s. Exemplo: voc pensa que a criao de centrais de
marcao eletrnica de consultas mdicas foi uma boa iniciativa e que elas funcionam bem?
Nesse caso, o pesquisado poderia responder sim, que considera uma boa iniciativa, mas que
elas no funcionam bem, por exemplo, em razo de problemas relacionados
implementao.
29.4 Evite perguntas cuja resposta dependa demais da memria do pesquisado. No caso de
perguntas sobre a freqncia segundo a qual certo evento ocorre, apresente opes para
facilitar a resposta (exemplo: nenhuma vez no ano passado; uma ou duas vezes; mais de duas
vezes). Mesmo com esse cuidado, esteja consciente de que a resposta ter alguma margem
de erro.
29.5 Evite perguntas embaraosas.
29.6 Evite perguntas ambguas, ou seja, que usem palavras cujo significado seja incerto e d
margem a diferentes interpretaes. Por exemplo: Numere de 1 a 5, do mais importante para
o menos importante, os cinco fatores que mais contribuiram para a ocorrncia de atrasos
nesse aeroporto ultimamente. Veja como eliminar a ambiguidade dessa pergunta no Anexo
A exemplo 10.
29.7 Evite perguntas que obriguem o pesquisado a levantar dados, apesar de isso ser possvel em
questionrios postais e eletrnicos (GAO, 1991, p. 22).
29.8 Assegure-se de que a pergunta permite obter a informao necessria anlise das questes
de auditoria.
Ateno
A questo de auditoria e o tipo de informao que voc precisa para respond-la determinam
o tipo de pergunta que deve ser formulada
No inverta essa lgica
TRIBUNAL DE CONTAS DA UNIO 15
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Quadro 7 - Exemplo de formulao de pergunta
30. A elaborao das perguntas do questionrio deve seguir os padres gerais de redao de relatrio, no que couber (BRASIL, 2010, p. 29-31), em especial o seguinte:
30.1 Clareza - ser de fcil compreenso para o pblico ao qual o questionrio destinado. Para aumentar a clareza e a compreenso das perguntas:
evite termos tcnicos;
evite termos eruditos e expresses em outros idiomas;
evite usar siglas e abreviaturas;
evite usar dupla negao;
use frases curtas, evitando perodos longos que se estendam por diversas linhas;
prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando oraes intercaladas, parntesis e travesses;
evite escrever em caixa alta;
organize as perguntas por meio do sequenciamento lgico dos temas, dispondo-as no questionrio em blocos identificados por ttulo sugestivo do
tema abordado.
Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno de
mamgrafos disponveis para o SUS (TC 011.587/2009-1). Havia indcios de que os equipamentos
eram subutilizados. Para dimensionar o problema, foi formulada a seguinte questo sobre o regime
de funcionamento do servio:
6. Qual a quantidade de perodos que o equipamento funciona POR MS (considerar a mdia do
primeiro semestre de 2009; PERODO corresponde a um turno, que pode ser uma manh, tarde ou
noite):
Essa pergunta foi formulada com base na experincia da equipe na fase de planejamento, inclusive
em estudo de caso realizado em Braslia, e considerando o fato de que os questionrios seriam
respondidos pelos chefes da radiologia, que possuiam alta escolaridade. Alm disso, a pesquisa foi
testada com hospitais do Estado do Amazonas. Apesar desses cuidados, foram recebidas respostas
que demostravam que a pegunta no havia ficado clara. Por exemplo, alguns responderam o nmero
de dias de funcionamento no ms, ou o nmero de horas, ou o nmero de perodos na semana ou
mesmo o nmero de dias de funcionamento no semestre.
Posteriormente, a equipe de auditoria chegou concluso de que teria sido melhor elaborar uma
questo fechada para que os pesquisados assinalassem uma combinao de dias e turnos:
6. Assinale com um X a combinao de dias e turnos nos quais o mamgrafo normalmente funciona
na semana.
Turnos
Dias
Manh Tarde Noite
Segunda
Tera
Quarta
Quinta
Sexta
Sbado
Domingo
TRIBUNAL DE CONTAS DA UNIO 16
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
30.2 Conciso - produzir enunciado de perguntas que no seja mais extenso do que o necessrio para transmitir a mensagem. Como critrio indicativo, o questionrio no deve ter mais do
que quatro pginas (frente e verso de duas folhas).
30.3 Relevncia - perguntar apenas o que tem importncia, considerando os objetivos da auditoria. No elabore perguntas que no sero analisadas nem contribuiro para responder
alguma questo de auditoria.
30.4 Tempestividade - cumprir o prazo previsto para elaborao do questionrio, sem comprometer sua qualidade nem o cronograma da auditoria.
30.5 Objetividade - produzir perguntas imparciais, equilibradas e neutras. A linguagem utilizada deve ser isenta de qualquer conotao tendenciosa ou ambgua, de forma a evitar atitude
defensiva e oposio.
TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO
31. As perguntas podem ser abertas (Quadro 10) ou fechadas (ANEXO A EXEMPLO 3). Cada uma serve a um prposito e tm seus pros e contras.
Quadro 8 Caractersticas das perguntas abertas e das fechadas
Pergunta aberta Pergunta fechada
Permite que o pesquisado use suas prprias palavras, o que
pode trazer informao adicional
Restringe a resposta s formulaes do elaborador do
questionrio
Mais apropriada para explorar a diversidade de idias e de
opinies
Mais apropriada para colher fatos e dados numricos
Pode ser analisada por meio de criao de categorias e
posterior codificao
Permite usar ampla variedade de tcnicas de anlise
quantitativa de dados
Exige menor tempo de elaborao Exige maior tempo de elaborao para evitar vieses, mal
entendidos, reducionismo
Trabalhosa para responder. A resposta pode no representar
bem o pensamento do pesquisado com baixo nvel de
escolaridade
Fcil de responder.
O processo de codificao e anlise d margem introduo
de vieses do pesquisador
-
Demanda anlise trabalhosa Normalmente, a anlise menos trabalhosa do que a das
respostas a perguntas abertas
32. As perguntas fechadas podem permitir resposta nica (ANEXO A EXEMPLO 3) ou mltipla (ANEXO A EXEMPLO 8). Em perguntas de resposta nica, possvel usar escalas. As mais usadas em Anop no TCU so as escalas tipo Likert, perguntas com escalas diversas e o diferenciador
semntico.
32.1 A escala de tipo Likert usada para medir o grau de concordncia ou discordncia do pesquisado sobre determinada afirmao acerca de uma situao, atitude, crena, juzo de
valor (ANEXO A EXEMPLO 4).
32.2 Na escala de diferenciador semntico, solicita-se que o pesquisado se posicione em uma escala que relaciona duas palavras de significado semntico oposto nos extremos (ANEXO
A EXEMPLO 9).
TRIBUNAL DE CONTAS DA UNIO 17
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
32.3 Os questionrios aplicados em Anop incluem com frequencia perguntas que usam escalas. Escalas so usadas para investigar as atitudes dos pesquisados. Ao usar escalas, formule
nveis equilibrados, isto , no formule mais nveis de um tipo que de outro (discordncia ou
concordncia). Inclua a opo equivalente a no aplicvel ou no sei, se for o caso. Inclua o ponto neutro, que no expressa discordncia nem concordncia, se a situao exigir.
Pode ser que o ponto neutro no seja uma resposta conveniente para a auditoria, mas o fato
que muito provavelmente existam pesquisados com essa opinio. A omisso do ponto neutro
quando ele possvel de ocorrer pode trazer vis para as respostas e para as anlises.
Usualmente, atribui-se um nmero a cada opo da escala e calcula-se a mdia das respostas.
Assim, possvel ordenar os diferentes itens julgados pelos pesquisados (ANEXO A EXEMPLO 4).
32.4 Escalas desequilibradas so usadas quando respostas negativas no so possveis. As respostas progridem a partir de um ponto de referncia, usualmente zero ou nenhum. o
caso dos dois primeiros exemplos do Quadro 9 (GAO, 1991, p. 27).
Quadro 9 Exemplos de escalas usadas em questionrios de Anop
33. Outro tipo de pergunta a de ordenao, que tem a particularidade de fornecer mais informao do que simplesmente um rol de respostas, pois classifica os itens (ANEXO A EXEMPLO10). A ordenao apresentada no significa que os itens estejam separados pela mesma distncia. Esta pode
ser um tipo de pergunta mais difcil para o pesquisado responder, especialmente em caso de haver
muitas opes. Sendo assim, d instrues claras de preenchimento e, se possvel, pea para marcar
os itens mais importantes (os trs mais importantes, por exemplo) (NAO, 1999). Uma alternativa
quando se tem muitos itens reformular a pergunta de ordenao como vrias perguntas de escala, e
orden-las posteriormente, como descrito no pargrafo 32.3 (GAO, 1991, p. 29).
Nunca, poucas vezes, muitas vezes, sempre
No atuante, pouco atuante, atuante, muito atuante
Pssimo, ruim, regular, bom, timo
Muito rpido, rpido, normal, demorado, muito demorado
Piorou muito, piorou, ficou inalterado, melhorou, melhorou muito
Muito satisfeito, satisfeito, nem satisfeito nem insatisfeito, insatisfeito, muito insatisfeito
Aumento da incidncia, incidncia inalterada, reduo da incidncia
TRIBUNAL DE CONTAS DA UNIO 18
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
ESTRUTURA E FORMATAO DO QUESTIONRIO
34. Em especial questionrios que devem ser preenchidos pelo pesquisado devem apresentar formatao e estrutura claras e atrativas, o que se justifica pelas seguintes razes:
34.1 elevar taxas de resposta;
34.2 facilitar a aplicao do questionrio pelo pesquisador;
34.3 padronizar comportamento dos pesquisadores;
34.4 favorecer a correo dos registros das informaes.
Estrutura
35. A estrutura do questionrio refere-se ordenao de seus elementos, principalmente ordem em que as perguntas so apresentadas no formulrio. Os questionrios so compostos das seguintes partes:
35.1 Mensagem explicativa: inicie o questionrio com informaes sobre a (1) motivao e os (2) objetivos da pesquisa, (3) como os dados sero usados (garantia de que o respondente no ser identificado), (4) quem deve responder o questionrio (por exemplo, em questionrio enviado para hospitais, o chefe do setor de radiologia), bem como o (5) contato com a equipe em caso de dvida (ANEXO A EXEMPLO 6).
35.2 Instruo sobre como enviar resposta ao questionrio: quando a pesquisa postal, necessrio fornecer instrues precisas sobre como a resposta deve ser encaminhada. Deve tambm ser enviado envelope resposta pr-pago para os pesquisados. O TCU tem contrato com os correios que permite esse tipo de correspondncia (ANEXO A EXEMPLO 7).
35.3 Formulrio de perguntas: esta parte do questionrio corresponde ao rol de perguntas a ser respondidas.
35.4 Agradecimento: corresponde a uma simples declarao do tipo Obrigado por sua colaborao ao final do questionrio. Objetiva reconhecer a ateno e o esforo do pesquisado em responder a pesquisa.
36. No formulrio, as perguntas devem ser agrupadas em sees, por tema. Estrutura-se o questionrio do geral para o especfico, do menos pessoal para o mais delicado e pessoal. Esta estrutura aplica-se ordenao dos temas no questionrio e ordenao das perguntas no tema (GNTHER, 2003).
36.1 Inicia-se o questionrio pelos temas que no abordam diretamente o problema.
36.2 Em seguida, passa-se a perguntas referidas ao tema, mas em termos gerais.
36.3 Em terceiro lugar, so apresentadas as perguntas que formam o ncleo do questionrio, as mais complexas e mais emocionais. Nesse ponto, espera-se que o pesquisado esteja mais envolvido com o tema.
36.4 Na ltima parte, recomenda-se formular uma pergunta aberta que deixe o pesquisado livre para abordar algum ponto que no tenha sido coberto pelas perguntas fechadas (Quadro 11 exemplo 2). Por fim, pode ser formulada pergunta sobre telefone ou endereo eletrnico de contato para posterior confirmao de respostas e envio do resultado da pesquisa.
Ateno
Somente pea dados socioeconmicos se realmente for analis-los e se so importantes para responder alguma questo de auditoria.
TRIBUNAL DE CONTAS DA UNIO 19
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Quadro 10 - Exemplo de pergunta sobre contato
37. Procure agrupar perguntas direcionadas para apenas um subgrupo dos pesquisados de forma a evitar
necessidade de que o pesquisado tenha que pular perguntas, obedecendo a comandos do tipo se ....
ento v para a pergunta .... O roteamento funciona melhor quando o questionrio aplicado por
pesquisadores ou por meio eletrnico que automatize o roteamento (NAO, 1999).
Formatao
38. Entre os cuidados de formatao que devem ser observados, citam-se:
38.1 Procure manter o questionrio com at 4 pginas, mas no sacrifique a clareza e o objetivo
da auditoria em razo do espao. Especialistas e gestores interessados no tema podem manter
o interesse em responder questionrios mais longos.
38.2 Numere as pginas do questionrio e as perguntas.
38.3 Use tipos e tamanhos diferentes de fontes para propsitos diferentes.
38.4 Procure registrar as opes das perguntas na vertical e no na horizontal.
38.5 Evite continuar uma pergunta em outra coluna ou pgina porque a parte final pode escapar
ao pesquisado.
38.6 No caso de questionrios longos e que sero digitados por prestadores de servio
especializados, pode ser necessrio discutir a formatao que facilite a digitao. Maiores
detalhes sobre formatao podem ser encontrados em IPEA (2005).
Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a
manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). A
informao sobre o contato dos pesquisados foi muito importante porque cerca de
15% dos repondentes foram entrevistados complementarmente por telefone para
esclarecer dados sobre os quais havia indcio de erro.
9. Por favor, informe nos campos abaixo um endereo de e-mail e um telefone para
possvel contato sobre as informaes desta pesquisa
E-mail: ______________________________
Telefone: ____________________________
TRIBUNAL DE CONTAS DA UNIO 20
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
COMO ANALISAR AS RESPOSTAS
39. A anlise das respostas aos questionrios pode ser realizada com grande liberdade na escolha de
tcnicas. Dessa forma, a equipe deve consultar a literatura especfica de cada tcnica. Esta seo
trata de providncias gerais de organizao e anlise preliminar que podem ser usadas em conjunto
com qualquer tcnica de anlise.
Planejamento da anlise
40. A anlise dos questionrios precisa ser planejada. Os tipos de variveis investigadas influenciam as
possveis tcnicas de anlise que podero ser usadas. Sendo assim, na fase de planejamento, devem
ser definidas as tcnicas de anlise que sero aplicadas, de forma a obter evidncias para responder
as questes de auditoria. Na prtica, o processo interativo. As perguntas so formuladas,
verificam-se quais tcnicas podem ser aplicadas para o tipo de varivel analisada e que tipo de
informao a anlise produzir. Se a concluso for insatisfatria, as perguntas so reformuladas para
permitir aplicar a tcnica que produzir a informao desejada. Esse processo inclui verificar se a
equipe possui as competncias necessrias para aplicar as tcnicas e se os recursos disponveis so
suficientes (como software adequado, por exemplo). Caso negativo, necessrio solicitar apoio
tcnico e novos recursos ou reformular o projeto de auditoria.
Codificao
41. A codificao a tarefa de atribuir nmeros s variveis e aos valores que estas possam assumir
dentro da faixa de variao (COHEN; FRANCO, 1993). Esses cdigos que so usados na prtica
quando aplicadas certas tcnicas de anlise de dados. Assim, a codificao tambm deve ser
planejada. Por exemplo, crie cdigos para diferenciar desconhecimento da resposta (9999) da falta
de resposta para a pergunta (99).
42. Outra providncia de codificao refere-se quela necessria anlise de perguntas abertas com
resposta textual. Com frequncia, a ltima questo do questionrio aberta e tem por finalidade
deixar o pesquisado expressar opinio sobre algum ponto no abordado pelo questionrio ou
apresentar sugestes de melhoria. Isso feito porque normalmente as perguntas so fechadas e
deixam pouco espao para a expresso desse tipo de informao. A codificao das respostas s
perguntas abertas realizada aps o recebimento dos questionrios, ao contrrio da codificao das
perguntas fechadas.
TRIBUNAL DE CONTAS DA UNIO 21
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Quadro 11 - Exemplos de codificao de varivel
Anlise de consistncia das variveis
43. Aps a tabulao, os valores registrados devem ser testados para verificar se se encontram na faixa
de variao possvel e so consistentes entre si (COHEN, FRANCO, 1993). A anlise de
consistncia pode revelar mal entendidos na formulao da pergunta (Quadro 7), marcaes
invlidas (marcao de duas opes, quando caberia apenas uma; marcao de X quando o
solicitado era preenchimento de informao numrica, por exemplo), concentrao de no-resposta
em alguma pergunta.
44. Quando as respostas so digitadas a partir de um questionrio respondido, 10% dos dados so
conferidos. Caso sejam encontrados erros de digitao, o percentual de questionrios a ser
conferidos deve ser aumentado. A anlise de consistncia envolve calcular estatsticas descritivas,
como valores mximo e mnimo, mdia e desvio padro, bem como elaborar grficos, como o box-
plot, para identificar observaes estranhas, fora do esperado e que devem ser investigadas. Esses
valores podem representar variveis de unidades de pesquisa de fato destoantes ou podem significar
erros de digitao ou de prestao de informao. A consistncia entre as variveis pode ser
verificada, por exemplo, pela construo de tabelas que cruzem os respectivos dados e pelo
confronto de estatsticas descritivas e propores. Esses dados podem ser analisados em confronto
com uma teoria ou comportamento hipottico esperado.
Exemplo 1 varivel numrica Pode haver perda significativa de informao caso seja formulada pergunta fechada no
questionrio e a equipe no tenha dados suficientes sobre a possvel faixa de variao
da varivel. Nesse caso, a equipe pode elaborar uma pergunta aberta no questionrio.
Posteriormente, quando da tabulao dos dados, e conforme a tcnica de anlise a ser
usada, possvel codificar as respostas e elaborar uma escala formada por faixas de
variao.
Exemplo 2 varivel textual
Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a
manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Foi
elaborada a seguinte pergunta para gestores de unidades de sade onde havia
mamgrafo registrado no Cadastro Nacional de Estabelecimentos de Sade CNES.
10. Caso ache necessrio, utilize o espao abaixo para discorrer sobre algum ponto que
no tenha sido abordado pelo questionrio, ou ento opinar acerca dos fatores que
possam contribuir para aumentar o nmero de mamografias realizadas pelo Sistema
nico de Sade:
Foram digitadas respostas de 42 gestores, de total de 249 respondentes, que fizeram
comentrios substantivos sobre o tema da auditoria. As respostas foram classificadas
em 6 categorias de anlise. As manifestaes serviram para interpretar as evidncias
quantitativas, decorrentes da tabulao das respostas s perguntas fechadas, e, em
alguns casos, foram transcritas no relatrio como evidncia e ilustrao. Categorias: 1)
atualizao do CNES; 2) treinamento de pessoal; 3) manuteno de equipamentos; 4)
processadora de filmes; 5) teto financeiro; 6) estrutura fsica.
TRIBUNAL DE CONTAS DA UNIO 22
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Teste da coerncia entre populao e amostra
45. Na quase totalidade das pesquisas realizadas pelo TCU, so enviados questionrios para todas as unidades de pesquisa da populao ou para uma amostra delas, com prazo para resposta. O
percentual de pesquisados que respondem pesquisa no prazo depende de vrios fatores, entre os
quais: a possibilidade de entrar em contato direto com os pesquisados para insistir na resposta, a
natureza da unidade pesquisada (se jurisdicionada ao TCU ou no), a localizao geogrfica dos
pesquisados, a qualidade do cadastro de endereos e outros. Nos exemplos apresentados nos quadros
2 a 6, a taxa de resposta variou de 44,5 a 100%.
46. O fato que as anlises so realizadas sobre as respostas obtidas, que nem sempre correspondem a uma amostra aleatria e representativa da populao. Os respondentes podem ser aqueles com
opinies mais extremadas ou que so mais interessados no tema. Dessa forma, podem no refletir a
populao (NAO, 1999).
47. Sendo assim, necessrio fazer algumas anlises para verificar se os respondentes guardam alguma correspondncia com a populao. Isso no garante que a amostra no seja enviesada, mas informa
ao leitor do relatrio sobre a qualidade dos dados obtidos.
48. O teste qui-quadrado permite testar se a distribuio dos respondentes segundo certa varivel (sexo, localizao geogrfica, renda, escolaridade) corresponde distribuio da populao segundo essa
mesma varivel. Caso essa hiptese no seja rejeitada, razovel concluir que a amostra
representativa da populao (ANEXO A EXEMPLO 12).
TRIBUNAL DE CONTAS DA UNIO 23
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS
1. definir populao alvo e meio de aplicao
2. elaborar as perguntas para testar as hipteses formuladas na fase de planejamento ou descrever como se desenvolvem processos ou como se caracteriza certa situao
3. selecionar pesquisados
4. testar questionrio com especialistas e colegas
5. ajustar questionrio
6. codificar respostas s perguntas fechadas
7. pilotar aplicao do questionrio e sua anlise
8. ajustar o questionrio, conforme indicado no piloto
9. avisar os pesquisados que recebero o questionrio
10. treinar aplicadores, se for o caso
11. aplicar/enviar questionrios
12. relembrar ou enviar questionrios pela segunda vez para no-respondentes
13. digitar respostas
14. codificar respostas s perguntas abertas
15. fazer primeira tabulao e anlise de consistncia das respostas
16. conferir com pesquisados algumas informaes-chave, se for o caso
17. analisar possveis padres da no-resposta
18. analisar dados (relao entre variveis, caracterizao de situaes ou grupos de pesquisados)
19. enviar aos pesquisados o resultado da auditoria
TRIBUNAL DE CONTAS DA UNIO 24
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
ANEXO A EXEMPLOS
Exemplo 1 - Marque um X na coluna correspondente a sua avaliao sobre a disponibilidade dos
seguintes equipamentos em seu posto de vigilncia.
Itens a serem avaliados No
existe
Existe, mas
no
satisfatrio
Existe, e
satisfatrio
No se
aplica*
No
sei
1. Veculos para as atividades de fiscalizao
2. rea que permita isolamento e segregao de cargas para tratamento fitossanitrio
3. rea que permita isolamento e segregao de cargas perigosas
4. Laboratrio para exame bsico de mercadorias
5. Local e equipamento de recebimento e isolamento de animais
6. Pedilvios
7. Rodolvios
8. Incineradores para destruio de produtos agropecurios em situao de risco
9. Cmaras de expurgo (fumigao)
10. Detector de material orgnico
11. Ambiente climatizado para inspees de mercadorias
12. Equipamentos de informtica que permitam acesso ao SISCOMEX
*Assinale esta opo caso o equipamento no seja necessrio em seu posto. Por exemplo, caso seu posto
no fiscalize trnsito de animais vivos, o item 4 no se aplica.
Fonte: adaptado do TC 012.488/2005-5.
TRIBUNAL DE CONTAS DA UNIO 25
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 2 - Preencha o quadro abaixo com o nmero total de equipamentos de diagnstico por imagem
existente no seu estabelecimento de sade e o nmero, desse total de equipamentos, que esto em
funcionamento:
Equipamentos de radiologia de TODAS as unidades do estabelecimento
de sade
Nmero total
de
equipamentos
existentes
Nmero de
equipamentos
em
funcionamento
Mamgrafo com comando simples
Mamgrafo com estereotaxia
Tomgrafo computadorizado
Ressonncia magntica
RX Mveis
RX Fixos
Raio X telecomandado (com fluoroscopia, contrastado, escopia)
Raio X para densitometria ssea (densitmetro)
Ultrassom Doppler colorido
Ultrassom ecgrafo
Fonte: adaptado do TC 011.587/2009-1
Exemplo 3 Qual a carga horria do curso de aperfeioamento para professores do qual voc participou em 2005?
igual ou inferior a 80 horas
entre 80 e 120 horas
igual ou superior a 120 horas
no sei
no participei de curso em 2005
Fonte: adaptado do TC 012.485/2005-3
TRIBUNAL DE CONTAS DA UNIO 26
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 4 Marque um X na coluna correspondente ao seu grau de concordncia ou discordncia com as afirmaes abaixo sobre o planejamento, a qualidade e o contedo do curso/evento de capacitao do
qual voc participou.
Afirmaes
Discordo
totalmente Discordo
Nem
concordo
nem
discordo
Concordo Concordo
totalmente No sei
1 2 3 4 5
O curso/evento ocorreu em local prximo ou
de fcil acesso para mim
Na poca da seleo, eu conhecia os critrios
que seriam usados para selecionar quem iria
participar do curso
Antes de iniciar o curso, eu j conhecia seu
programa
Participei do curso por minha prpria vontade
e iniciativa, sem imposio da minha escola
ou da Secretaria de Educao
Houve controle da freqncia dos treinandos
que participaram do curso
A freqncia foi um critrio utilizado na
avaliao dos alunos do curso
Os instrutores demonstraram ter
conhecimento sobre o contedo da disciplina
que estavam ministrando
Os instrutores demonstraram ter boa didtica
nas exposies em sala de aula
Fonte: adaptado do TC 012.485/2005-3
TRIBUNAL DE CONTAS DA UNIO 27
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 5 Mensagem de aviso sobre encaminhamento da pesquisa.
Senhor Secretrio,
Comunico a Vossa Senhoria que o Tribunal de Contas da Unio TCU est realizando, por solicitao do Congresso Nacional, auditoria operacional com o objetivo de avaliar a alocao, uso e
manuteno de mamgrafos e outros equipamentos de radiodiagnstico disponveis para o SUS. Um dos
objetivos do trabalho o conhecimento do panorama nacional da distribuio e funcionamento desses
equipamentos.
Para isso, estamos realizando pesquisa com os estabelecimentos de sade pblicos que
possuem equipamentos de mamografia. Assim sendo, unidades de sade sob a gesto dessa Secretaria
recebero questionrios, via postal, para a obteno das informaes necessrias.
Tendo em vista o cronograma estabelecido para realizao da auditoria, solicito a gentileza
de instruir os dirigentes das unidades sob gesto de Vossa Senhoria, e chefes dos servios de radiologia
respectivos, a enviar a resposta at o dia 10 de setembro de 2009.
O preenchimento com informaes fidedignas muito importante, pois a qualidade dos
resultados desta pesquisa depende das respostas das unidades de sade.
Nesse sentido, agradeo, antecipadamente, a colaborao que for prestada para o envio das
respostas pesquisa.
Contatos adicionais podero ser feitos com a coordenadora da auditoria, nome do(a) auditor(a), mediante o telefone (61) 3316-5463, ou nome do(a) auditor(a) (61) 3316-5132 ou endereo eletrnico equipamentos_saude@tcu.gov.br .
Atenciosamente,
Nome do titular da Unidade
Secretrio 4 Secex
Fonte: adaptado do TC 011.587/2009-1
TRIBUNAL DE CONTAS DA UNIO 28
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 6 Mensagem explicativa para o pesquisado.
Sr.(a). Responsvel Tcnico,
O Tribunal de Contas da Unio est realizando auditoria operacional na Poltica de Garantia de
Preos Mnimos PGPM. O foco do presente trabalho o processo de armazenamento dos produtos agrcolas adquiridos pela Conab. O objetivo principal analisar o processo de armazenagem de produtos,
para, em conjunto com a Conab, propor melhorias na execuo da PGPM.
Tendo em vista que o armazenamento dos produtos de essencial importncia para a PGPM, este
questionrio foi enviado a todos os armazns prprios da Conab, a fim de colher informaes e opinies
acerca dos temas abordados a seguir.
Ressaltamos que as respostas dadas a esse questionrio so sigilosas. Os dados coletados sero
tratados em conjunto. O desconhecimento das respostas de algumas questes no inviabiliza o
preenchimento das demais. Se houver alguma dvida, por favor, entre em contato com nome do(a) auditor(a), supervisor da auditoria, ou nome do(a) auditor(a), coordenador, pelo telefone 61-3316.7898 ou pelo e-mail seprog@tcu.gov.br.
Sua contribuio de grande importncia para o sucesso dos trabalhos e para a melhoria do
processo de armazenamento de estoques pblicos. Desde j, agradecemos sua participao.
Nome do titular da Unidade
Secretrio de Fiscalizao e Avaliao de Programas de Governo Seprog Tribunal de Contas da Unio TCU
Fonte: adaptado do TC 009.789/2009-0
Exemplo 7 Instruo para resposta ao questionrio.
Fonte: adaptado do TC 011.587/2009-1
INSTRUO PARA ENVIO DE RESPOSTA
Aps preencher o questionrio, por favor, envie-o pelos Correios usando o envelope pr-pago que o
acompanha.
Caso preferir, possvel escanear o questionrio respondido e enviar para o seguinte endereo
eletrnico equipamentos_saude@tcu.gov.br
TRIBUNAL DE CONTAS DA UNIO 29
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 8 Indique os critrios de prioridade usados pelo municpio para seleo de famlias beneficirias de programas de melhoria habitacional voltados populao de baixa renda. (admite mais
de uma resposta)
1. Chefe de famlia mulher
2. Idosos na famlia
3. Pessoas com deficincia na famlia
4. Renda per capita da famlia
5. Nmero de dependentes na famlia
6. Caracterstica tnico/racial do chefe da famlia
7. Famlias residentes em reas de risco
8. Famlias residentes em reas de degradao ou proteo ambiental
9. Famlias residentes em reas insalubres
10. Famlias que habitam domiclios rsticos ou improvisados
11. Tempo de residncia da famlia no municpio
12. Outros critrios
Fonte: adaptado do TC 012.278/2003-1
Exemplo 9 Marque um X na coluna correspondente ao grau de dificuldade que o municpio enfrenta para executar cada etapa do programa de tratamento de resduos slidos urbanos.
Etapa
Muito
fcil
1
2 3 4 Muito difcil
5
Cumprimento pelo municpio das condies para participar
do programa
Processo para o licenciamento ambiental
Obteno de terreno para implantao de aterro sanitrio
Elaborao do projeto pelo municpio
Execuo das obras pelo municpio
Operacionalizao do aterro pelo municpio
Manuteno do aterro pelo municpio (inclusive
equipamentos)
Cumprimento de contrapartidas pelos municpios
Articulao com o Programa Sade da Famlia
Articulao com o Programa Agentes Comunitrios de
Sade
Descontinuidade administrativa (troca de gesto
municipal)
Sustentabilidade econmica-financeira do aterro sanitrio
Sustentabilidade tcnica-operacional do aterro sanitrio
Controle social
Fonte: adaptado do TC 004.987/2006-9
TRIBUNAL DE CONTAS DA UNIO 30
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 10 Numere de 1 a 5, do mais importante para o menos importante, os cinco fatores que mais
contriburam para que vos tenham atrasado por mais de 30 minutos no seu aeroporto em 2007. Responda
apenas considerando a situao operacional nesse aeroporto (por exemplo, no considere o fato de o vo
j ter chegado atrasado a esse aeroporto).
( ) Manuteno no prevista de aeronaves
( ) Ptio de estacionamento de aeronaves
( ) Meio-fio de embarque
( ) Sala de embarque
( ) Balces de check-in
( ) rea de desembarque e esteiras de restituio de bagagem
( ) Meio-fio de desembarque
( ) Controle de passaportes
( ) Alfndega
( ) Controle de trfego areo
( ) Meteorologia
( ) Problemas operacionais das empresas
Fonte: adaptado do TC 014.799/2007-0
Exemplo 11 Marque um X na opo correspondente informao correta sobre o responsvel pela
famlia:
A - Sexo
Homem
Mulher
B Idade
at 25 anos
entre 26 e 30 anos
entre 31 e 40 anos
entre 41 e 50 anos
entre 51 e 65 anos
acima de 65 anos
C Escolaridade
At a 3 srie do 1 Grau
Da 3 srie a 7 do 1 Grau
1 Grau completo
2 Grau incompleto
2 Grau completo
Superior incompleto
Superior completo
Fonte: adaptado do TC 012.278/2003-1
TRIBUNAL DE CONTAS DA UNIO 31
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
Exemplo 12 Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno
de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Entre os procedimentos de coleta de dados
usados, foram enviados 420 questionrios para os estabelecimentos pblicos de sade que figuravam no
Cadastro Nacional de Estabelecimentos de Sade CNES como possuidores de mamgrafos. A pesquisa
foi respondida por 249 estabelecimentos. A equipe usou o teste qui-quadrado (STEVENSON, 1981) para
verificar se a distribuio dos estabelecimentos respondentes por Regio seguia a distribuio dos
estabelecimentos no CNES. A hiptese foi aceita. Sendo assim, sups-se que a amostra dos respondentes
era representativa dos estabelecimentos cadastrados.
Vale lembrar que a distribuio amostral poderia ter sido classificada segundo outras variveis e
testada em confronto com a distribuio da populao. Entre as variveis que poderiam ter sido usadas,
citam-se: tamanho dos estabelecimentos (em nmero de leitos, por exemplo), natureza do estabelecimento
(beneficiente, administrao direta, administrao indireta), tipo de estabelecimento (hospital geral,
centro de sade, policlnica, clnica especializada), esfera administrativa (federal, estadual, municipal,
privada) e outras variveis disponveis no CNES.
Para testar a hiptese de que a distribuio amostral segue a distribuio da populao, foram
seguidos os seguintes passos, usando o excel, conforme registrado na Tabela E:
1 Foi calculada a estatstica de teste (somatrio da ltima coluna da Tabela E) = 0,2273.
2 Calculou-se o grau de liberdade da distribuio qui-quadrado a ser usada da seguinte forma: (L-1)*(C-
1) = (5-1)*(2-1) = 4, onde L o nmero de classes segundo a qual os dados esto distribudos (5 Regies)
e C o nmero de distribuies que esto sendo comparadas (respondentes e cadastrados).
3 Foi obtido o valor da estatstica qui-quadrado (tabelada) no excel para 95% de confiana e 4 graus de
liberdade usando a seguinte funo: =inv.qui(0,05;4) , que resultou 9,4877.
4 Como a estatstica tabelada maior do que a estatstica de teste, aceita-se a hiptese de que as
respondentes e cadastrados seguem a mesma distribuio por Regio.
Tabela E - Nmero de estabelecimentos de sade pblicos que responderam a pesquisa e estabelecimentos possuidores de
mamgrafos, segundo o Cadastro Nacional de Estabelecimentos de Sade CNES em abril de 2009, por estado
Regio Respondentes Cadastrados no
CNES
Frequencia
relativa dos
respondentes %
(O)
Frequencia relativa
dos cadastrados no
CNES % (E)
Estatstica de
teste
(O-E)^2/E
Norte 16 27 6,43 6,43 0,0000
Nordeste 50 88 20,08 20,95 0,0363
Centro Oeste 17 33 6,83 7,86 0,1350
Sudeste 144 236 57,83 56,19 0,0479
Sul 22 36 8,84 8,57 0,0081
Total 249 420 100 100 0,2273
Nota: no foram considerados o Distrito Federal e o Amazonas porque todos os estabelecimentos de sade possuidores de
mamgrafos foram pesquisados em teste piloto
Fonte: adaptado do TC 011.587/2009-1
TRIBUNAL DE CONTAS DA UNIO 32
Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
REFERNCIAS
BRASIL. Tribunal de Contas da Unio. Tcnicas de amostragem para auditorias. Braslia: TCU, 2002.
______. Manual de auditoria operacional. Braslia: TCU, 2010.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.
FREITAS, H.; OLIVEIRA, M.; SACCOL, A.Z.; MOSCAROLA, J. O mtodo de pesquisa survey.
Revista de Administrao, So Paulo, v.35, n.3, p.105-112, jul./set. 2000.
GENERAL Accounting Office . Using structured interviewing techniques. Washington: GAO, 1991.
GNTHER, Hartmut. Como elaborar um questionrio Braslia: UnB, Laboratrio de Psicologia
Ambiental, 2003. (Planejamento de Pesquisa nas Cincias Sociais, n. 1)
INTERNATIONAL Organization of Supreme Audit Institutions. Implementation Guidelines for
Performance Auditing (ISSAI 3000). Viena: Intosai, 2004. Disponvel em:
. Acesso em: 8 set. 2008.
LDKE, Hermengarda A.; ANDR, Marli E. A. Pesquisa em educao: abordagens qualitativas. So
Paulo: EPU, 1986.
MEDEIROS, Marcelo. Questionrios: recomendaes para formatao. Braslia: IPEA, janeiro de 2005.
(Texto para Discusso, n. 1063)
NATIONAL Audit Office. Taking a survey. London: NAO, 1999.
RICHARDSON, R. J. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 1999.
STEVENSON, W.J. Estatstica aplicada administrao. So Paulo: Harper & Row do Brasil, 1981.
NOTAS EXPLICATIVAS
1 Este documento trata de pesquisa, que uma metodologia de coleta de dados conhecida na literaturatura em ingls por
survey. Em textos em portugus, possvel encontrar autores que no traduzem a expresso e outros que usam pesquisa survey
ou levantamento para designar a mesma metodologia.