¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

20
We were running for the money and the fleshLeonard Cohen ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada? Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014 Nicolás Robinson-García [email protected]

description

Mesa redonda 'La evaluación de políticas científicas' celebrada en Valencia el 29 de septiembre y organizada por la asociación Joves Investigadors

Transcript of ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Page 1: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

‘We were running for the money and the flesh’ Leonard Cohen

¿Se pueden evaluar los resultados de investigación y la

dotación económica asignada?

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Nicolás Robinson-García

[email protected]

Page 2: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Guión

Por qué y qué se evalúa

Tipos de evaluación

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 3: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Por qué se evalúa

Governments absorbed, in the 1990s, the “new management” ideology that focused on the

evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment

Gingras, 2014

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 4: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Por qué se evalúa

Los indicadores basados en citas y publicaciones

El prestigio de los científicos es proporcional al prestigio de su obra

Las citas como expresión del reconocimiento de la obra <- MERTON

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 5: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Por qué se evalúa

Los indicadores basados en citas y publicaciones

+ PAPERS + CITAS ≈ + RIQUEZA

El INPUT y el CONTEXTO son importantes

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 6: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Por qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 7: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

• Investigadores • Infraestructura • Presupuesto

• PIB regional • % gasto empresarial

• % población activa

• Publicaciones • Citas • Q1 • Altamente citados

Page 8: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

• Investigadores • Infraestructura • Presupuesto

• PIB regional • % gasto empresarial

• % población activa

• Publicaciones • Citas • Q1 • Altamente citados

Page 9: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Tipo de indicador

Tipo de medida Unidad de análisis

Publicaciones

Citas

Actividad

Impacto

Relacional

Nivel micro

Nivel meso

Nivel macro

Page 10: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 1. Políticas de evaluación

Jiménez-Contreras et al., 2003

Page 11: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 2. Investigadores

Costas & Noyons, 2014

Page 12: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Qué se evalúa

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ejemplo 3. Países

King, 2004

Page 13: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Page 14: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Ex ante Ex post

Peer Review Ciego

Doble ciego

Abierto

Bibliometría Rendimiento

Impacto

Transferencia

Page 15: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tipos de evaluación

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Los proyectos del Plan Nacional se conceden en función del rendimiento investigador del IP

Los indicadores que más influyen son el nº de publicaciones y papers en revistas Q1

Page 16: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

La evaluación científica debe de aplicarse en función a unos objetivos

La metodología aplicada debe evolucionar según evolucione el sistema. Ejemplo: Sexenios

No hay un indicador global, sino que deben aplicarse baterías de indicadores por tipo de medida

Page 17: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Tipos de resultados

Tipos de indicadores

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out

Page 18: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out Jiménez-Contreras et al., 2011 > Umbrales de referencia por áreas

3 años 5 años 7 años

P50 P75 P90 P50 P75 P90 P50 P75 P90

Page 19: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

Tips & hints

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Algunas propuestas

Rafols et al., 2012 > Opening up & broadening out Jiménez-Contreras et al., 2011 > Umbrales de referencia por áreas Leiden Manifesto – Septiembre 2014 > Buenas prácticas en la evaluación de la actividad científica

Page 20: ¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?

‘We were running for the money and the flesh’ Leonard Cohen

Muchas gracias por su atención.

Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

Nicolás Robinson-García

[email protected]