AVALIAÇÃO EXTERNA MONITORAMENTO E ...‡ÃO EXTERNA, SISTEMA DE MONITORAMENTO E INDICADORES DO...
Transcript of AVALIAÇÃO EXTERNA MONITORAMENTO E ...‡ÃO EXTERNA, SISTEMA DE MONITORAMENTO E INDICADORES DO...
AVALIAÇÃO EXTERNA, SISTEMA DE
MONITORAMENTO E INDICADORES DO SISTEMA
BRASILEIRO DE TECNOLOGIA (SIBRATEC)
CRISTINA AKEMI SHIMODA UECHI CEZAR LUCIANO CAVALCANTI DE OLIVEIRA
JORGE MARIO CAMPAGNOLO SERGIO ROBERTO KNORR VELHO
Painel 18/054 Avaliação de resultados como política de governo: uma tendência
AVALIAÇÃO EXTERNA, SISTEMA DE MONITORAMENTO E
INDICADORES DO SISTEMA BRASILEIRO DE TECNOLOGIA (SIBRATEC)
Cristina Akemi Shimoda Uechi
Cezar Luciano Cavalcanti de Oliveira Jorge Mario Campagnolo
Sergio Roberto Knorr Velho
RESUMO
O Sistema Brasileiro de Tecnologia (SIBRATEC) tem o objetivo de apoiar o desenvolvimento tecnológico das empresas brasileiras. É organizado em três tipos de Redes: Extensão Tecnológica (ET), que soluciona gargalos
tecnológicos nas empresas; Serviços Tecnológicos (ST), que apoia a infraestrutura laboratorial e atividades de normalização e regulamentação
técnica; e Centros de Inovação (CI), cujo objetivo é realizar projetos cooperativos entre institutos tecnológicos e empresas. Atualmente, o SIBRATEC é composto por 54 redes. Entre 2009 a 2014, foram aportados no
SIBRATEC R$124 milhões. Em 2014, foi realizada avaliação externa do Programa por consultores contratados pela UNESCO, com a abordagem dos macrotemas: serviços prestados pelas Redes e seus modelos de governança e
gestão. Paralelamente, um estudo do CGEE forneceu subsídios para uma proposta de sistema de monitoramento e indicadores. Os resultados da
avaliação externa destacaram a importância do Programa, além de desafios, dificuldades e oportunidades de melhoria. Juntamente com o estudo do CGEE, esse processo trouxe insumos técnicos para subsidiar a proposta de novo
modelo para aprimoramento da política pública e do SIBRATEC.
INTRODUÇÃO
As empresas brasileiras necessitam de uma maior competitividade
frente ao cenário atual e futuro da economia mundial. Isso é um desejo, além
de uma necessidade, não somente do setor empresarial, representado pela
sua entidade máxima a Confederação Nacional da Indústria - CNI, como pelas
políticas de governo industrial e de ciência, tecnologia e inovação, expressas
no Plano Brasil Maior e na Estratégia Nacional de Ciência, Tecnologia e
Inovação 2012-2015.
São necessárias, assim, ações que incentivem a inovação nas
empresas brasileiras, principalmente as micro, pequenas e médias, com o
objetivo de melhorar sua competividade e produtividade e consequentemente o
crescimento econômico do País.
O governo brasileiro, com o objetivo de elevar o dispêndio
empresarial em pesquisa e desenvolvimento vem investindo em algumas
iniciativas de transferir o conhecimento represado nas ICT à indústria, para
gerar a inovação. É destaque, entre outros esforços, o Sistema Brasileiro de
Tecnologia (SIBRATEC), estratégico na ENCTI 2012-2015 (BRASIL, 2012a).
O Sistema Brasileiro de Tecnologia (SIBRATEC) tem o objetivo de
apoiar o desenvolvimento tecnológico das empresas brasileiras, por meio da
promoção de atividades de pesquisa, desenvolvimento e inovação de
processos e produtos; de serviços tecnológicos; e de extensão e assistência
tecnológica, atendendo aos objetivos das políticas industrial e de ciência,
tecnologia e inovação (BRASIL, 2008).
O objetivo principal do SIBRATEC é, portanto, o de proporcionar
condições para o aumento da taxa de inovação das empresas brasileiras e,
assim, contribuir para aumentar o valor agregado do seu faturamento, sua
produtividade e sua competitividade nos mercados interno e externo
(BRASIL, 2008).
Para o cumprimento desse objetivo, o SIBRATEC está organizado
na forma de três tipos de redes denominados componentes: Centros de
Inovação, Serviços Tecnológicos e Extensão e Assistência Tecnológica
(BRASIL, 2008).
Os clientes do SIBRATEC são as empresas brasileiras. O setor
empresarial participa do Sistema, não só como principal cliente, mas dando
contribuição efetiva na constituição das redes, nas áreas em que já consolidou
competências. Nesse sentido, cabe ressaltar que, em muitos setores,
empresas líderes vêm desenvolvendo trabalhos muito relevantes nas áreas
tecnológicas (BRASIL, 2008).
Entende-se que redes exigem confiança entre os atores e a
percepção de que se ganha no processo. É muito importante focá-las para
evitar que sejam meras figuras de retórica. O SIBRATEC busca consolidar as
instituições tecnológicas do País e articula-las com o modelo de
desenvolvimento, por meio da definição de temas e prioridades para a
implementação dessas redes. Na estruturação das redes, buscou-se articular
unidades ou grupos de excelência a potenciais emergentes, por meio de
mecanismos específicos de incentivo à colaboração (BRASIL, 2008).
O SIBRATEC é composto por três componentes: Extensão
Tecnológica - ET, Serviços Tecnológicos - ST e Centros de Inovação - CI.
As Redes SIBRATEC de Extensão Tecnológica (SIBRATEC-ET) tem
como objetivo promover assistência especializada ao processo de inovação,
por meio do acesso das micro, pequenas e médias empresas (MPME) a redes
de instituições especializadas na extensão e assistência tecnológica, que
forneçam soluções para gargalos existentes na gestão empresarial, projeto,
desenvolvimento e produção de bens e serviços. Entre 2008 e 2014, foram
apoiadas 22 Redes SIBRATEC-ET em 22 Estados: AM, PA, RO, TO, AL, PB,
PE, PI, RN, SE, CE, BA, GO, MT, MS, ES, SP, MG, RJ, RS, SC e PR.
As Redes SIBRATEC-ET são compostas por 54 Instituições
Científicas e Tecnológicas (ICT). Até 2014, foram empenhados
aproximadamente R$62 milhões e desembolsados R$30,0 milhões nas 22
Redes. Mais de 3.500 empresas já foram atendidas pelas Redes SIBRATEC-
ET em todo o território nacional.
As Redes SIBRATEC de Serviços Tecnológicos (SIBRATEC-ST)
tem como objetivo o fortalecimento da infraestrutura laboratorial e difusão da
cultura metrológica, considerando que serviços tecnológicos são
indispensáveis para a modernização da indústria, melhoria da qualidade
de produtos, processos e serviços das empresas, melhoria e garantia da
qualidade de vida do cidadão, suporte à inovação e à extensão tecnológica,
com consequente aumento da competitividade da indústria brasileira em âmbito
nacional e internacional. Entre 2008 e 2014, foram apoiadas 19 Redes
SIBRATEC-ST nos seguintes temas: Sangue e hemoderivados,
Compatibilidade Eletromagnética, Transformados Plásticos, TIC – TV digital,
comunicação sem fio, internet, Produtos para a Saúde, Produtos e Dispositivos
Eletrônicos, Produtos de Setores Tradicionais – Confecções, Calçados e
Móveis, Alimentos, Radioproteção e Dosimetria, Saneamento e Abastecimento
de Água, Defesa e Segurança, Insumos Farmacêuticos, medicamentos e
cosméticos, Instalações Prediais e Iluminação Pública, Biocombustíveis,
Monitoramento Ambiental, Desempenho Habitacional, Geração, Distribuição e
Transmissão de Energia.
As Redes SIBRATEC-ST são compostas por 215 laboratórios de
ensaios ou calibração, distribuídos em 14 Estados. Até 2014, foram
empenhados aproximadamente R$111 milhões e desembolsados R$62,6
milhões nas 19 Redes. Mais de 55 mil empresas já foram atendidas pelas
Redes SIBRATEC-ST em todo o território nacional.
Por fim, as Redes SIBRATEC de Centros de Inovação - SIBRATEC-
CI são compostas por unidades ou grupos de desenvolvimento pertencentes às
ICT com experiência na interação com empresas. Destinam-se, assim, a gerar
e transformar conhecimentos científicos e tecnológicos em produtos ou
processos produtivos com viabilidade comercial, tanto para apoiar o surgimento
de novas empresas de base tecnológica, quanto para possibilitar o
desenvolvimento de inovações radicais ou incrementais em produtos ou
processos produtivos (BRASIL, 2008). Entre 2010 a 2014, foram estruturadas
treze Redes SIBRATEC-CI, nos temas: Manufatura e bens de capital;
Eletrônica para produtos; Microeletrônica; Nanocosméticos; Equipamentos
médicos, hospitalares e odontológicos; Plásticos e borrachas; Insumos para
saúde e nutrição animal; Nanodispositivos e nanosensores; Nanomateriais e
nanocompósitos; Tecnologias digitais de informação e comunicação;
Tecnologias para veículos elétricos; Visualização avançada; e Vitivinicultura.
As Redes SIBRATEC-CI são compostas por 163 Instituições
Científicas e Tecnológicas (ICT), distribuídas em 18 Estados. Até 2014, foram
empenhados aproximadamente R$56,6 milhões e desembolsados R$31,6
milhões nas 13 Redes. 30 empresas já foram atendidas pelas Redes
SIBRATEC-CI em todo o território nacional.
A gestão do SIBRATEC é exercida, no âmbito nacional, por um
Comitê Gestor (CG-SIBRATEC), três Comitês Técnicos, sendo um para cada
componente operando articuladamente, e uma Secretaria Executiva,
atualmente exercida pela Secretaria de Desenvolvimento Tecnológico e
Inovação do Ministério da Ciência, Tecnologia e Inovação – SETEC/MCTI.
Outro ator fundamental na gestão é a função de agência executora, executada
pela Financiadora de Estudos e Projetos – FINEP.
Na 5ª reunião do Comitê Gestor do SIBRATEC, realizada em
dezembro de 2012, foi solicitada a realização de avaliação externa do
Programa, de forma a fazer cumprir a previsão disposta do Art. 38 da
Resolução nº 3 do Comitê Gestor do SIBRATEC (BRASIL, 2008b). A avaliação
das Redes por comissão independente tem como objetivo o aperfeiçoamento
da eficácia e eficiência da estrutura e operação do Programa como um todo,
assim como a conveniência sobre a sua continuidade.
Nesse contexto, foi articulada, no âmbito do Projeto 914 BRZ 2018 -
Ampliação e Atualização dos Processos Institucionais de Formulação,
Implantação e Avaliação das Políticas de Ciência, Tecnologia e Inovação no
Brasil com a Unesco, a contratação de consultores para realização de uma
avaliação minuciosa das práticas operacionais, estratégicas e de gestão de
cada uma das 54 Redes SIBRATEC vigentes na época. Foram selecionados
três consultores especialistas para avaliar cada uma das Redes dos
componentes – Extensão Tecnológica, Serviços Tecnológicos e Centros de
Inovação – do SIBRATEC.
Paralelamente, foi solicitado ao Centro de Gestão e Estudos
Estratégicos (CGEE) um estudo denominado “Sistema de Monitoramento e
Metodologia de Avaliação do SIBRATEC”, com o objetivo de avaliar o
Programa com uma visão macro e propor um sistema de monitoramento e uma
metodologia de avaliação, incluindo indicadores.
OBJETIVOS
O principal objetivo deste trabalho é apresentar os resultados da
avaliação externa do Programa SIBRATEC, em seus três componentes:
Extensão Tecnológica, Serviços Tecnológicos e Centros de Inovação.
As avaliações conduzidas tiveram dois macro-objetivos:
(i) Avaliar os serviços prestados pelas Redes SIBRATEC às
empresas; e
(ii) Avaliar o modelo de governança e gestão em seus diversos
níveis: atendimento às empresas, articulação da Rede,
articulação inter-redes e do Programa SIBRATEC.
METODOLOGIA
Para as avaliações propostas, foram levantados alguns pontos de
interesse considerando as particularidades de cada componente do
SIBRATEC. Os pontos de interesse foram propostos com base nas percepções
da Secretaria Executiva do Programa, relatadas em documentos
disponibilizados (BRASIL, 2013b).
Nas Redes SIBRATEC-ET, que tem o objetivo de solucionar
pequenos gargalos tecnológicos em MPME, foram considerados os seguintes
itens:
Estratégia e perspectivas de atendimento das empresas pela
Rede;
Perfil das empresas clientes da Rede;
Sobreposição ou complementariedade da utilização de outros
instrumentos de apoio a atividades de C,T&I pela Rede e seus
clientes;
Dificuldades e oportunidades da contratação e execução dos
atendimentos prestados pela Rede;
Acompanhamento pela Rede da qualidade de seu atendimento às
empresas clientes;
Percepção das empresas de sua satisfação com os atendimentos
prestados pela Rede;
Iniciativas da Rede para melhoria da qualidade de seus
atendimentos;
Limitações e resultados obtidos pelo modelo de governança e
gestão adotado pela Rede;
Necessidade do apoio público às atividades da Rede;
Efetividade da gestão financeira para operação da Rede;
Participação e contribuição das instituições da Rede em suas
atividades, governança e gestão, incluindo suas decisões;
Qualidade do fluxo operacional e financeiro para execução dos
atendimentos pela Rede;
Boas práticas aplicadas pela Rede e as práticas evitadas para
atingir melhores resultados;
Ações da Rede para acompanhamento e avaliação de sua
produtividade e de suas instituições;
Consequências das ações dos agentes públicos na governança e
gestão da Rede;
Interlocução da Rede com os agentes públicos responsáveis pela
Rede;
Iniciativas da Rede para melhoria de sua governança e gestão;
Razões pelas quais a Rede tem bom desempenho ou é deficiente
em seus objetivos;
Perspectivas de continuidade da Rede;
Limitações legais ou administrativas e boas práticas no fluxo
operacional e financeiro para apoio à Rede;
Suficiência da regulação e acompanhamento das atividades
técnicas, operacionais e financeiras da Rede;
O entendimento quanto ao funcionamento das instituições em
Rede e sua continuidade;
Percepção quanto aos esforços da Rede para execução de suas
responsabilidades e atividades; e
Qualidade da interlocução com os responsáveis pela Rede.
Nas Redes SIBRATEC-ST, com o objetivo de ofertar às empresas
serviços de avaliação da conformidade (calibração, ensaios, análises,
certificação) para auxiliá-las na superação de exigências técnicas para o
acesso aos mercados interno e externo, foram considerados os seguintes itens:
Comentários sobre a estratégia e perspectivas para captação de
empresas para ensaios de seus produtos na área temática da
Rede;
Diagnóstico do perfil das empresas clientes na área temática da
Rede;
Descrição sobre a representatividade e participação das
instituições na Rede;
Descrição sobre as razões que justificam a necessidade do apoio
governamental às atividades da Rede em sua área temática;
Descrição da sobreposição ou complementariedade da utilização
de instrumentos de apoio a atividades de C,T&I pelas instituições
da Rede e empresas, como os da FINEP, CNPq e BNDES;
Comentários sobre a qualidade do fluxo operacional e financeiro
para execução do Projeto;
Descrição sobre dificuldades identificadas na contratação e
execução dos serviços prestados pela Rede;
Avaliação da qualidade do atendimento da Rede às demandas
das empresas por ensaios em sua área temática;
Comentários sobre a percepção de satisfação das empresas com
os serviços prestados pela Rede;
Avaliação das consequências das ações dos agentes
governamentais na execução do Projeto;
Proposição de iniciativas para melhoria da qualidade dos serviços
prestados pela Rede;
Descrição da participação e contribuição das instituições das
Redes em sua governança e gestão;
Comentários sobre os resultados e desempenho da governança e
gestão das Redes;
Comentários sobre as boas práticas aplicadas pelas Redes e
aquelas que devem ser evitadas para atingir melhores resultados;
Descrição das ações das Redes para acompanhamento e
avaliação de sua produtividade e de suas instituições;
Avaliação das consequências das ações dos agentes
governamentais na governança e gestão das Redes;
Proposição de iniciativas para melhorar a governança e gestão
das Redes;
Comentários sobre as razões pelas quais a Rede desenvolve bom
desempenho ou é deficiente em seus objetivos, assim como
perspectivas de continuidade da Rede;
Nas Redes SIBRATEC-CI, cuja finalidade é realizar projetos
cooperativos entre Instituições Científicas e Tecnológicas e empresas, foram
considerados os seguintes itens:
Comentários sobre a estratégia e perspectivas da captação de
projetos cooperativos pela Rede;
Diagnóstico do perfil das empresas prospectadas, interessadas e
contratadas;
Comentários sobre o conteúdo tecnológico dos projetos de
cooperação das empresas propostos e contratados pela Rede;
Descrição sobre a representatividade e participação das
instituições da Rede nos projetos cooperativos;
Descrição da sobreposição ou complementariedade da utilização
de instrumentos de apoio a atividades de C,T&I pelas instituições
da Rede e empresas beneficiárias, tais como Lei do Bem, Lei da
Informática, Subvenção Econômica e Editais da FINEP e CNPq;
Comentários sobre a qualidade do fluxo operacional e financeiro
para contratação e execução dos projetos cooperativos;
Descrição sobre dificuldades identificadas na contratação e
execução dos projetos cooperativos;
Avaliação da qualidade do atendimento da Rede às demandas
empresariais;
Comentários sobre a percepção de satisfação das empresas com
os serviços prestados pela Rede;
Avaliação das consequências das ações dos agentes
governamentais na contratação e execução dos projetos
cooperativos;
Proposição de iniciativas para ampliar a quantidade de projetos
cooperativos contratados pelas Redes;
Descrição da participação e contribuição das instituições das
Redes em sua governança e gestão;
Comentários sobre os resultados e desempenho da governança e
gestão das Redes;
Comentários sobre as boas práticas aplicadas pelas Redes e
aquelas que devem ser evitadas para atingir melhores resultados;
Descrição das ações das Redes para acompanhamento e
avaliação de sua produtividade e de suas instituições;
Avaliação das consequências das ações dos agentes
governamentais na governança e gestão das Redes;
Proposição de iniciativas para melhorar a governança e gestão
das Redes; e
Comentários sobre as razões pelas quais a Rede desenvolve bom
desempenho ou é deficiente em seus objetivos, assim como
perspectivas de continuidade da Rede.
A metodologia de avaliação, realizada pelos consultores individuais
contratados pela Unesco, se iniciou com ampla análise documental a partir de
documentos oficiais ou disponibilizados pela Secretaria Executiva do
SIBRATEC, além de pesquisa bibliográfica sobre o tema. O levantamento de
informações quantitativas e qualitativas foi realizado por meio de visitas aos
principais atores envolvidos nas atividades das Redes, reuniões técnicas e
entrevistas com empresas clientes, com a utilização de questionários
semiestruturados para orientar as discussões. Algumas informações foram
coletadas a distância, com questionários estruturados com campos abertos
e fechados.
A avaliação dos componentes Centros de Inovação e Serviços
Tecnológicos foi realizada entre 11 de janeiro de 2014 a 06 de agosto de 2014.
Já a avaliação das Redes de Extensão Tecnológica ocorreu entre 30 de maio a
5 de dezembro de 2014.
O estudo com uma visão mais ampla do Programa SIBRATEC,
conduzida pelo CGEE, com uma visão top-down, seguiu outra lógica de
desenvolvimento, sinteticamente representada pelas etapas: (i) Planejamento e
definição da estratégia de avaliação; (ii) Diagnóstico, envolvendo levantamento
e sistematização dos dados e análise das informações; (iii) Proposta de
Diretrizes Metodológicas para a avaliação do programa; (iv) Identificação de
indicadores e proposta de sistemática para o monitoramento do Programa; (v)
Relatório final, incorporando avaliação da situação atual do Programa,
propostas e recomendações. O estudo do CGEE foi realizado no período de
janeiro a julho de 2014.
RESULTADOS
As avaliações realizadas evidenciaram distorções, dificuldades,
desafios, ganhos e oportunidades para os diversos atores envolvidos no
Programa SIBRATEC. A seguir são listadas as principais contribuições dos
trabalhos realizados.
Redes SIBRATEC de Extensão Tecnológica
Principais destaques:
O programa aponta para ganhos e benefícios efetivos para a
elevação do patamar tecnológico das empresas, bem como
aumento de competitividade;
O papel do Coordenador Técnico é vital para o bom desempenho
da Rede e o sucesso do Programa. Nas Redes visitadas e que
foram bem avaliadas essa vertente se destacou;
Avaliação bastante positiva do trabalho dos extensionistas que
realizam os atendimentos nas empresas. Os empresários
atestaram a competência técnica e elogiaram a dedicação e o
comprometimento.
Sugestões e recomendações:
Apoiar a consolidação da extensão tecnológica no Estado;
Evitar interrupções e demoras nos pagamentos e nos repasses de
recursos financeiros por parte da FINEP e dos cofinanciadores;
Esclarecer a fronteira entre a atividade de extensionismo
tecnológico e a prestação de serviços tecnológicos;
Fomentar, em regiões específicas, laboratórios para a certificação
de produtos de acordo com regulamentos técnicos nacionais ou
internacionais;
Elaborar manual técnico para definir conceitos e procedimentos
operacionais e financeiros;
Melhorar a divulgação e comunicação das Redes com seus
clientes (empresas);
Estabelecer indicadores consistentes (métricas) para medir o
desempenho das Redes;
Na articulação de uma Rede, considerar as particularidades
regionais e a realidade política-institucional de cada Unidade da
Federação;
Tratar a vertente da extensão tecnológica como um programa
contínuo, para aumentar a credibilidade do programa;
Potencializar a atuação em Rede – inter-rede, intra-rede e entre
os componentes do Sibratec;
Disseminar e adotar alguns procedimentos e “boas práticas”, na
forma de manuais e sistemas informatizados;
Flexibilizar a oferta de novas modalidades de atendimento, para
acompanhar a demanda, que é dinâmica;
Atuar para a manutenção de equipes de executores e
extensionistas capacitados e permanentemente atualizados;
Disponibilizar sistemas informatizados para avaliar o desempenho
das Redes em todas as suas etapas, principalmente no pós-
venda. A maioria das Redes não está estruturada para essa
avaliação e carecem de indicadores de desempenho.
Redes SIBRATEC de Serviços Tecnológicos
A avaliação identificou que as Redes são essenciais e fundamentais
por:
Disseminar a cultura da qualidade nos laboratórios;
Possibilitar a manutenção de grupo multidisciplinar para discussão
e proposição de soluções técnicas e gerenciais;
Atualizar e modernizar equipamentos e laboratórios;
Capacitação da equipe em temas técnicos, da qualidade e
gerenciais;
Promover a oferta de serviços tecnológicos acreditados;
Consolidar a estrutura em rede para apoio às empresas nas suas
demandas de metrologia, normalização e avaliação da
conformidade;
Aumentar o portfólio de serviços tecnológicos;
Promover a participação na elaboração de normas técnicas;
Promover a participação em eventos técnicos;
Possibilitar a manutenção da calibração de equipamentos;
Ainda, em termos da gestão das Redes, é fundamental manter o
apoio para a estruturação de uma secretaria-executiva da Rede.
Sugestões e recomendações:
Fazer a articulação, negociação e alinhamento do MCTI com
ministérios e agências reguladoras;
Potencializar a atuação em Rede, inter-rede, intra-rede e entre os
componentes do Sibratec;
Fortalecer as relações e o aumento do grau de confiança entre as
ICT e governo;
Promover os encontros entre as Redes ST para a interação entre
elas com apresentação de boas práticas e casos de sucessos,
sistematicamente;
Promover maior alinhamento das Redes com o setor produtivo;
Avaliar a atuação de cada instituição, do seu comprometimento e
interesse em trabalhar em rede – sanção versus incentivo;
Elaborar subprojetos para as universidades: prestação de ST ou
pesquisa e implantação de novos métodos e desenvolvimento de
produtos
Ampliar a Rede com a definição de critérios para os novos
entrantes.
Aprimorar a aproximação do governo com as Redes ST e entre
componentes, a fim de dar celeridade à solução dos problemas
que ocorrerem.
Redes SIBRATEC de Centros de Inovação
Principais destaques:
É um programa estruturante para o desenvolvimento tecnológico
e para geração de inovação, principalmente nas micro, pequenas
e médias empresas;
Gera benefícios diretos e indiretos para as empresas, podendo
propiciar a melhoria no desenvolvimento econômico e social do
País;
Há casos de sucesso de parceria entre ICT e empresas e inter -
redes.
Sugestões e recomendações:
Aperfeiçoar a estratégia de marketing das Redes;
Apoiar a figura de uma secretaria executiva da Rede atuante;
Diminuir a burocracia para aprovação dos projetos cooperativos;
Garantir a disponibilidade de recursos para execução dos projetos
cooperativos;
Transformar os núcleos de coordenação das Redes em
“observatórios da inovação”, para acompanhar as tendências e
oportunidades de mercado;
Promover maior interação entre as Redes para troca de
experiências.
Sistema de Monitoramento e Metodologia de Avaliação do SIBRATEC
Sugestões:
Criar uma unidade de gestão adequada, vinculada ao MCTI, com
agilidade administrativa e financeira, bem como contar com os recursos
humanos e financeiros necessários, com as seguintes atribuições:
Secretariar os colegiados dos três componentes do Sibratec;
Tratar dos sistemas de informação dos componentes, interagindo
com os atores de cada um deles.
O Sistema de Monitoramento e a metodologia de avaliação devem
contemplar:
Níveis de análise: distinguir o monitoramento e avaliação por
componentes – incluindo referências, indicadores e análises; a
avaliação geral do programa deve conjugar aspectos específicos
com as particularidades dos componentes. A avaliação de
resultados deve ser feita, necessariamente, por componentes e,
posteriormente, realizada uma análise que corresponda aos
objetivos gerais do Programa.
Abrangência - Focos de análise: na concepção aqui adotada, o
monitoramento e a avaliação devem ser abrangentes. Em
primeiro lugar, isso significa que, para a avaliação do Programa (e
de cada componente), é necessário focalizar os vários aspectos
intervenientes no respectivo desempenho, sejam internos ou
externos.
Tipos de análise – para um monitoramento e avaliação assim
concebida, é imprescindível conjugar indicadores quantitativos
com análises qualitativas.
Momentos da avaliação – análises parciais, para verificar se as
metas intermediárias têm sido alcançadas, observar dificuldades
ou fatores externos que interferem no planejamento maior ou em
atividades específicas, indicando-se correções de rumo, se
necessárias. Por sua vez, a avaliação final – de resultados e
impactos (neste caso, muitas vezes ainda parciais) – se dá ao
final do programa/projeto, identificando os resultados finais e os
impactos que porventura já possam ser observados.
Mecanismos – os mecanismos e instrumentos para o
monitoramento e avaliação de programas podem ser muito
facilitados pela construção de um sistema de informação
adequado, que atenda aos requisitos para a construção dos
indicadores selecionados.
Utilização dos resultados do monitoramento e avaliação – os
esforços de monitoramento e avaliação só fazem sentido como
parte de uma estratégia de gestão que leve em conta a
necessidade contínua de reflexão sobre o que foi inicialmente
planejado e sobre como está ocorrendo na prática, se há
necessidade de intervenção para aperfeiçoamentos ou correções
de rumo, com vistas aos objetivos estabelecidos. É importante
ressaltar também, que esse monitoramento e avaliação pode
gerar subsídios para a gestão de políticas ou de outros programas
voltados para temas e objetivos no campo em que se insere o
SIBRATEC.
Sistema de informação – é necessário estabelecer um sistema de
informação que dê conta das informações consideradas
essenciais para a construção dos indicadores selecionados, por
componentes, e que integre sites oficiais (MCTI, Portal da
Inovação e outros), evitando multiplicação de sistemas isolados.
Na fase atual do SIBRATEC, há várias tentativas, algumas delas
induzidas pelo próprio programa, visando desenvolver um sistema
aplicável ao programa. É necessário revisar essas iniciativas e
reunir coordenadores e/ou representantes dos três componentes
para avaliar o que foi proposto, de forma a verificar a
aplicabilidade e atendimento aos requisitos necessários.
Indicadores – a escolha dos indicadores, bem como a definição
dos processos para sua construção (definição dos dados e
informações necessários, coleta e tratamento dos dados) e
análise (o que se fará com esses indicadores? O que mostra cada
um deles? Como consolidar a análise de vários indicadores) são
passos imprescindíveis para um efetivo processo de
monitoramento e avaliação do programa e de seus componentes.
Os indicadores foram elaborados segundo as dimensões dos 6 “E” de
desempenho: eficiência, eficácia, efetividade, economicidade, excelência e
execução (Martins & Marini apud MPOG, 2009), conforme ilustrado na Figura 01.
Figura 01 – Categorias que compõem os 6E do desempenho Fonte: Martins & Marini. Guia de Governança para Resultados (apud MPOG, 2009)
Cada indicador é composto pelas seguintes características:
Componente do SIBRATEC (Extensão Tecnológica, Serviços Tecnológicos ou
Centros de Inovação), Dimensão de desempenho, Subdimensão, Categoria,
nome do indicador (Indicador e Subindicador, se houver), Objetivo, Memória de
cálculo, Unidade de Medida, Meta, Periodicidade, Fonte, Responsável pela
apuração do indicador, Análises transversais do Indicador relacionado,
Observação.
Foram sugeridos 18 indicadores, apresentados na Tabela 01, sendo
dois na dimensão de execução, oito na dimensão da eficiência, sete de eficácia
e um de excelência. Na proposta inicial, não foram avaliadas as dimensões de
efetividade e economicidade do Programa.
Tabela 01 – Indicadores do Programa SIBRATEC propostos pelo estudo do CGEE
Proposta de indicadores para o Monitoramento do Programa SIBRATEC
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
1 Execução Execução
orçamentária Operacionalização
Planejamento e Execução orçamentária
A) Percentual de Recursos recebidos frente ao orçamento aprovado B) Percentual de Recursos gastos ou
comprometidos frente ao orçamento recebido
Monitorar a execução
orçamentária dos recursos recebidos, gastos e/ou comprometidos, frente ao
orçamento aprovado para a análise de gestão das redes e do Programa.
CI, ST, ET
2 Execução Execução das
atividades Operacionalização
Planejamento e Cumprimento de metas
Percentual de metas físicas realizadas pelas Redes em relação às metas
estabelecidas, nos tempos previstos
Monitorar a execução das
atividades e o cumprimento das metas físicas estabelecidas no plano de trabalho das redes
CI, ST, ET
3 Eficiência Recursos humanos
Insumos (talentos)
Índice de Rotatividade dos
colaboradores das redes (Turnover) Percentual dos colaboradores que se
renova em um determinado período de tempo.
Monitorar a rotatividade e o ritmo de renovação dos colaboradores das redes
(Recursos humanos).
CI, ST, ET
Continua
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
4 Eficiência Articulação e
colaboração Resultados
Grau de articulação e colaboração entre as redes SIBRATEC e com
outras entidades A) Número de interações (atividades)
intra e inter redes e inter componentes - por tipo de atividade B) Número de interações (atividades)
das redes com outras entidades, programas ou iniciativas similares - por entidade
- por tipo de atividade (incluindo participação em Comitês Técnicos)
Monitorar a interconectividade entre componentes e destes com
outros atores importantes no processo de desenvolvimento tecnológico e inovação.
CI, ST, ET
5 Eficiência Divulgação Resultados
Número de realizações e
participações em eventos Total de eventos realizados para
divulgação das Redes e total de participações em eventos
Monitorar as realizações e as participações em atividades de divulgação das/pelas redes ao
longo da execução dos projetos
CI, ST, ET
6 Eficiência Divulgação Resultados
Publicidade e marketing dos
serviços prestados pelas redes Número de atividades de publicidade e
marketing dos serviços prestados pelas redes, segundo o meio ou veículo de comunicação utilizado
Monitorar as atividades de divulgação das redes ao longo
da execução dos projetos CI, ST, ET
Continua
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
7 Excelência Qualidade dos atendimentos
realizados Resultados
Satisfação dos usuários Pesquisa de opinião
Realizar pesquisa de opinião com as empresas atendidas pelas Redes, para verificar a
qualidade dos serviços e resultados dos trabalhos realizados pelas redes.
CI, ST, ET
8 Eficiência
Distribuição da
qualificação dos
Colaboradores
envolvidos nas redes
Insumos (talentos)
Perfil dos colaboradores das redes
segundo formação profissional Distribuição percentual dos
colaboradores envolvidos nas redes segundo o grau de qualificação: - Técnico: nível médio / nível superior:
graduação, mestrado, doutorado - Administrativo
1) Monitorar o uso das competências disponíveis nas ICT envolvidas na rede
2) Verificar a adequação do perfil dos colaboradores às competências específicas
necessárias a cada rede
CI
9 Eficiência Prazo Operacionalização Tempo decorrido entre a
apresentação das propostas e a
contratação dos projetos
Verificar o tempo de tramitação para contratação
dos projetos, buscando a diminuição do período total entre a submissão pelas
empresas e a contratação.
CI
10 Eficácia Atendimento à
demanda Resultados
Percentual de projetos contratados
em relação ao número de projetos aprovados pelo núcleo de coordenação (NC) da rede
- por porte da empresa: micro, pequena, média, grande
Verificar a capacidade de resposta/atendimento das redes às demandas do setor
empresarial.
CI
Continua
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
11 Eficiência Origem dos
projetos Resultados
Caracterização da origem da demanda
A) Percentual de projetos de iniciativa do setor empresarial no SIBRATEC em relação ao total de projetos em
desenvolvimento de produtos e processos pelas ICT da rede. B) Percentual de projetos cooperativos
do Sibratec de iniciativa das ICT em relação ao total de projetos cooperativos em desenvolvimento.
Caracterizar a iniciativa dos Projetos de Inovação e
identificar a origem da demanda.
CI
12 Eficácia Apoio à
inovação Resultados
Geração e melhoria de produtos e
processos A) Percentual de projetos associados à
melhoria de produtos e processos (em relação total de projetos contratados) - por segmento
B) Percentual de projetos associados à geração de novos produtos e processos (em relação ao total de projetos
apoiados) - por segmento C) Percentual de projetos associados ao
conhecimento tácito adquirido durante o processo de desenvolvimento dos projetos (em relação ao total de projetos
apoiados) - por segmento
Monitorar os resultados dos projetos apoiados pela Rede no
que se refere ao desenvolvimento de novos produtos ou novos processos
(inovações radicais), por segmento apoiado pelo SIBRATEC.
CI
Continua
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
13 Eficácia Apoio à
inovação Resultados
Geração de propriedade intelectual
A) Relação entre número de patentes requeridas e os projetos realizados
B) Relação entre número de patentes concedidas e os projetos realizados
Verificar o grau de inventividade e indícios dos esforços para a inovação,
visando à proteção intelectual.
CI
14 Eficácia Apoio à
inovação Resultados
Percentual dos serviços realizados
em relação ao número de serviços demandados pelas empresas - por tipo: ensaios ou calibração
- por porte da empresa: micro, pequena, média, grande
1) Verificar o atendimento à
demanda. 2) Monitorar os resultados correspondentes aos produtos
esperados das atividades finalísticas para Serviços Tecnológicos.
3) Analisar o fortalecimento dos serviços laboratórios.
ST
15 Eficiência Capacitação
das redes Resultados
Percentual de capacitações dos colaboradores realizadas em relação aos itens financiáveis do projeto
Verificar a capacitação dos
colaboradores das redes em relação às ações resultantes dos itens financiáveis do
projeto
ST
Continua
Conclusão
Nº do Indicador
Dimensão do desempenho
Subdimensão Categoria Indicador Objetivo Abrangência
16 Eficácia Apoio à
inovação Resultados
Percentual de atendimentos realizados por modalidade em relação ao total de atendimentos do projeto
- por modalidade de atendimento (unidades móveis, adequação do produto
ao mercado interno, adequação do produto ao mercado externo, gestão do processo produtivo, produção mais
limpa)
Verificar o atendimento à
demanda por parte do componente.
ET
17 Eficácia Atendimento à
demanda Resultados
Percentual de atendimentos solicitados pelas empresas em
relação ao número de atendimentos realizados pelas redes
- por modalidade de atendimento (unidades móveis, adequação do produto ao mercado interno, adequação do
produto ao mercado externo, gestão do processo produtivo, produção mais limpa)
Verificar o atendimento à
demanda por parte do componente.
ET
18 Eficácia Atendimento à
demanda Resultados
Relação entre os atendimentos
realizados e as empresas atendidas - por porte: micro, pequena, média, grande
A) Número de empresas atendidas B) Número de atendimentos realizados
por empresa
Verificar o atendimento à
demanda. ET
25
CONCLUSÕES
O processo de avaliação trouxe uma ampla gama de insumos de
diretrizes técnicas para subsidiar a elaboração de proposta de novo modelo para
aprimoramento da política pública voltada à inovação e do SIBRATEC.
Novos modelos de fomento e de articulação estão sendo testados em
projetos pilotos, a fim de superar algumas das dificuldades identificadas na avaliação
externa. As Redes apoiadas mais recentemente - a saber, as Redes SIBRATEC-CI
de Nanomateriais e Nanocompósitos e em Nanodispositivos e Nanosensores, a lém
da Rede SIBRATEC-ST de Desempenho Habitacional – já contam com
acompanhamento mais focados nos pontos apontados pelas avaliações como mais
críticos para o sucesso de uma Rede SIBRATEC.
Enquanto as avaliações de cada Rede realizadas pelos consultores
trouxeram a tona dificuldades operacionais e a visão estratégica dos Coordenadores
das Redes, o Estudo realizado pelo CGEE trouxe insumos macro para melhoria da
gestão do Programa e análise segundo dimensões de interesse da gestão pública:
eficiência, eficácia, efetividade, economicidade, excelência e execução.
Apesar de estar previsto em regulamento do Comitê Gestor do
SIBRATEC, os instrumentos operacionais da execução da avaliação externa não
estavam definidos, o que exigiu grande esforço para viabilizar a execução de tal
atividade.
Todo esse processo gerou um amadurecimento, principalmente em
termos metodológicos, que certamente serão aprimorados na realização do próximo
ciclo de avaliação externa, contribuindo para a melhoria da política pública.
26
REFERÊNCIAS
BRASIL, Ministério da Ciência e Tecnologia. Resolução do Comitê Gestor do SIBRATEC nº 001, de 17 de março de 2008. Aprova as Diretrizes Gerais do Sistema
Brasileiro de Tecnologia - SIBRATEC, 2008a. Publicada no DOU, em 03 de abril de 2008, Seção 1, p. 7.
BRASIL, Ministério da Ciência e Tecnologia. Resolução do Comitê Gestor do
SIBRATEC nº 003, de 9 de abril de 2008. Aprova o Regulamento do Sistema Brasileiro de Tecnologia, 2008b. Publicada no DOU, em 14 de abril de 2008, Seção
1, p. 12.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Guia referencial para medição de desempenho e manual para construção de indicadores. Brasília: 2009.
BRASIL. Ministério do Desenvolvimento, Indústria e Comércio Exterior. Plano Brasil Maior, 2011. Disponível em: http://www.brasilmaior.mdic.gov.br/ . Acesso em:
18/03/2013.
BRASIL. Ministério da Ciência, Tecnologia e Inovação. Estratégia Nacional de Ciência, Tecnologia e Inovação 2012-2015, 2012a. Disponível em:
http://www.mct.gov.br/upd_blob/0218/218981.pdf Acesso em: 18/03/2013.
BRASIL, Ministério do Planejamento, Orçamento e Gestão. Instituto Brasilerio de
Geografia e Estatística. Pesquisa Industrial 2010, v. 29, n.1, Empresa, Rio de Janeiro, 2012b. Disponível em: ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_ Transformacao/Pesquisa_Industrial_Anual/Empresa2010/piaempresa2010.pdf
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos - SPI. Indicadores de programas: Guia
Metodológico. Brasília: 2012c.
BRASIL, Portal Brasil. Site Oficial do Governo Federal Brasileiro, 2013a. Disponível em: http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-
cientifica Acesso em: 09/05/2014.
BRASIL, Ministério da Ciência, Tecnologia e Inovação. Secretaria de
Desenvolvimento Tecnológico e Inovação. Relatório de gestão do programa SIBRATEC-2013, 44p. Disponível em: http://www.mct.gov.br/upd_blob/0229/ 229551.pdf Brasília, 2013b.
BRASIL, Ministério do Planejamento, Orçamento e Gestão. Instituto Brasi lerio de Geografia e Estatística. Pesquisa de Inovação PINTEC 2011. Disponível em:
http://www.pintec.ibge.gov.br/ index.php? option=com_content&view=article&id= 45&Itemid=12 Rio de Janeiro, 2013c.
27
BRASIL, Decreto Presidencial de 02 de setembro de 2013. Qualifica como Organização Social a Associação Brasileira de Pesquisa e Inovação Industrial – EMBRAPII, 2013d. Publicada no DOU, em 03 de setembro de 2013, Seção 1, p. 8.
CENTRO DE GESTÃO E ESTUDOS ESTRATÉGICOS. Relatório Final. In: Sistema de Monitoramento e Metodologia de Avaliação do SIBRATEC. Brasília, 2014.
CNI, Confederação Nacional da Indústria. A indústria e o Brasil: uma agenda para crescer mais e melhor, 235p. ISBN 978-85-7957-025-4, Brasília, 2010.
CNI, Confederação Nacional da Indústria. Reunião do Comitê de Líderes Empresariais da MEI. São Paulo, 2011. Disponível em: http://arquivos.portalda industria.com.br/app/conteudo_18/2013/03/ 14/3317/20130314100846457673i.pdf Acesso em: 20/01/2014.
CARVALHO, R. de Q.; SANTOS, G. V., BARROS NETO, M. C. Funil de Inovação Aplicado à Gestão Estratégica de Projetos de P&D Focados no Desenvolvimento de Tecnologias: Uma Experiência no Setor Elétrico Brasileiro. XXXV Encontro da ANPAD, Rio de Janeiro, 2011.
CEBRI, Centro Brasileiro de Relações Internacionais. Inovação para Pequenas Indústrias. Estudo de Benchmarking Internacional, Micro e Pequenas Empresas, Rio de Janeiro, 2013. Estudo realizado pelo Centro Brasileiro de Relações Internacionais com exclusividade para o Serviço Brasileiro de Apoio às Micro e Pequenas Empresas. Disponível em: http://ois.sebrae.com.br/wp-content/uploads/2013/12/ CEBRI-Sebrae_Relatorio_Final_Inova% C3%A7%C3%A3o-rev2.pdf.
DESIGN colaborativo. Open Innovation, 2013. Apresenta artigos sobre design colaborativo. Disponível em: http:// http://designcolaborativo.blogspot.com.br/ . Acesso em: 10/02/2013.
DE NEGRI, F. e CAVALCANTE, L. R., Nota Técnica n°15 – Análise dos dados da Pintec 2011, 9p. Instituto de Pesquisa Econômica Aplicada, 2013.
IBPT, Instituto Brasileiro de Planejamento Tributário. Empresômetro – Censo das Empresas e Entidades Públicas e Privadas Brasileiras, 2012. Disponível em: https://www.ibpt.org.br/img/uploads/ novelty/estudo/372/CENSODASEMPRESASE ENTIDADESOUTUBRO2012V9FINAL.pdf Acesso em: 10/02/2014.
MANTEGA, G. O BNDES e o Novo Ciclo de Desenvolvimento. Revista do BNDES, V. 12, N. 23, P. 3-16, JUN. 2005. Rio De Janeiro, 2005. Disponível em: http://www.bndes.gov.br/SiteBNDES/export/ sites/default/bndes_pt/Galerias/ Arquivos/conhecimento/revista/rev2301.pdf Acesso em 10/02/2014.
SEBRAE, Serviço Brasileiro de Apoio às Micro e Pequenas Empresas. Taxa de sobrevivência das Empresas no Brasil, Coleção Estudos e Pesquisas, Out/11, Brasília, 2011. Disponível em: http://bis.sebrae.com.br/GestorRepositorio/ ARQUIVOS_CHRONUS/bds/bds.nsf/45465B1C66A6772D832579300051816C/$File/NT00046582.pdf Acesso em: 10/02/2014.
28
UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura.
Avaliação das Redes do Sistema Brasileiro de Tecnologia (SIBRATEC) em seu componente Centros de Inovação. PROJETO 914BRZ2018 – Política de Ciência,
Tecnologia e Inovação no Brasil. Brasília, 2014a.
UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura. Avaliação das Redes do Sistema Brasileiro de Tecnologia (SIBRATEC) em seu
componente Serviços Tecnológicos. PROJETO 914BRZ2018 – Política de Ciência, Tecnologia e Inovação no Brasil. Brasília, 2014b.
UNESCO, Organização das Nações Unidas para a educação, a ciência e a cultura. Avaliação do Desempenho das Redes do Componente Extensão Tecnológica do Sistema Brasileiro de Tecnologia SIBRATEC. PROJETO 914BRZ2018 – Política de
Ciência, Tecnologia e Inovação no Brasil. Brasília, 2014c.
VELLOSO, J. Mestres e Doutores no País: Destinos profissionais e políticas de pós-
graduação. Núcleo de estudos sobre o ensino superior e Faculdade de Educação da Universidade de Brasília. Cadernos de pesquisa V.34, n.123, p.583-611, set/dez 2004. Brasília, 2004. Disponível em: http://www.scielo.br/pdf/cp/v34n123/a05v
34123.pdf Acesso em 10/02/2014.
ZUCOLOTO, G. F. e NOGUEIRA, M. O. Davi x Golias: Uma análise do perfil
inovador das empresas de pequeno porte. Radar 25: tecnologia, produção e comércio exterior. ISSN: 2177-1855. P.45-54. Instituto de Pesquisa Econômica Aplicada. Brasília, 2013.
29
___________________________________________________________________
AUTORIA
Cristina Akemi Shimoda Uechi – Ministério da Ciência, Tecnologia e Inovação.
Endereço eletrônico: [email protected]
Cezar Luciano Cavalcanti de Oliveira – Ministério da Ciência, Tecnologia e Inovação.
Endereço eletrônico: [email protected]
Jorge Mario Campagnolo – Ministério da Ciência, Tecnologia e Inovação.
Endereço eletrônico: [email protected]
Sergio Roberto Knorr Velho – Ministério da Ciência, Tecnologia e Inovação.
Endereço eletrônico: [email protected]