(except logo’s)

Impact – the game Traditionele en alternatieve mogelijkheden

Ellen Fest & Bianca Kramer

Workshop VoginIP lezing, Amsterdam, 20170309

3.1

Macro

-Inve

rtebrate D

ecline in

Surface W

ater P

ollu

ted w

ith Im

idaclo

prid

P

loS O

ne 8

.5 (2

01

3): e6

23

74

.

24

citation

s in 2

01

5

@MsPhelps @EllenFest

programma

• vraag aan deelnemers

• inleiding bibliometrics

• spel ronde 1

• inleiding altmetrics

• spel ronde 2

• zelf aan de slag

• vraag opnieuw

• afsluiting

Hoe zouden we we wetenschappelijk

onderzoek moeten beoordeelden?

INLEIDING BIBLIOMETRICS

Eugene Garfield – 1925- 2017

By Chemical Heritage Foundation, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=39819056

Bekende bibliometrische indicatoren

1. Journal Impact Factor

2. h-index

3. aantal citaties / citaties per publicatie

Hoe vergelijken we citatie-aantallen?

• Onderzoekster Willemijn Wiskunde heeft een publicatie uit 2007 met 22 citaties

• Onderzoekster Beatrix Biologie heeft eem publicatie uit 2011 met 24 citaties

→ Welke onderzoekster heeft met haar publicatie de meeste impact?

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12

cum

mu

lati

ef a

anta

l cit

atie

s

aantal jaar na publicatie

baseline

TOP10%

TOP1%

Baseline vakgebied wiskunde

Baseline vakgebied moleculaire biologie

0

50

100

150

200

250

300

350

400

450

500

0 2 4 6 8 10 12

cum

mu

lati

ef a

anta

l cit

atie

s

aantal jaar na publicatie

baseline

TOP10%

TOP1%

Journal Impact factor: DEFINITIE

Journal Impact factor in jaar t is gedefinieerd als de ratio tussen:

• het aantal citaties in jaar t naar publicaties in het tijdschrift in de twee voorgaande jaren, en;

• het aantal publicaties in het tijdschrift in de twee voorgaande jaren.

Voorbeeld:

• een tijdschrift heeft in 2013 en 2014 in totaal 100 publicaties

• in 2015 hebben deze publicaties samen 200 citaties gekregen

• de impact factor is 200 / 100 = 2

11

12

Impact factor: Weaknesses

• geen normalisatie naar vakgebied → gebruik de kwartielen

• citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews, editorials, news articles) in de teller maar niet in de noemer → voordeel voor de tijdschriften met veel editorial material

• gevoelig voor "uitbijters"

• review journals zijn sterk in het voordeel

h-index

balans tussen productiviteit en geciteerdheid

om het effect van een of twee extreem geciteerde publicaties uit te sluiten

niet alleen toepasbaar op auteurs

effect van vakgebied en leeftijd niet gecorrigeerd

serieuze twijfel over robuustheid

*Waltman, L. & N. J. van Eck (2011). The inconsistency of the h-index. Journal of the American Society for Information Science and Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678

maar de h-index is overal

waar worden deze "metrics" gebruikt?

• beoordeling financieringsaanvragen (NWO, ERC)

• sollicitatieprocedures (intern beleid, sterk verschillend)

• tenure track procedures (intern beleid, sterk verschillend)

• beoordeling onderzoeksgroepen / faculteiten (SEP) → veel vrijheid voor eigen invulling

• university rankings (m.n. citatie-aantallen)

Meer lezen over NWO en gebruik van de Impact Factor? https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/

waar het toe leidt:

Nature newsblog http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html

waar het toe leidt:

Retraction Watch d.d. 17-02-2017 http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/

waar het toe leidt:

De Volkskrant, 6-3-2017 http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769

Let’s play!

Let’s play!

Scheefheid citaties: citaties in 2015 van papers uit 2013-2014

bron: Larivière et al. 2016

Scheefheid citaties: citaties in 2015 van papers uit 2013-2014

bron: Larivière et al. 2016

INLEIDING ALTMETRICS

2 trends in beoordeling van wetenschappelijk onderzoek

Bewustzijn van onjuist gebruik van de IF voor de beoordeling van

individuele onderzoekers

• San Francisco Declaration on Research Assessment (DORA)

• Leiden Manifesto (Hicks et al., 2015)

• Metric Tide report (Wilsdon et al., 2015)

Meer aandacht voor maatschappelijke impact van wetenschappelijk

onderzoek en verschuiving naar meer "Open Science"

• Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU →

"Grotere en systematischere aandacht voor maatschappelijke

relevantie"

• NWO en EU beleid verschuift langzaam richting "Open Science"

• Nationaal Plan Open Science gepresenteerd op 9 februari jl.

Altmetrics Manifesto

• geen algemene definitie

• ‘metrics and qualitative data that are complementary to traditional, citation-based metrics’ (altmetric.com)

• verzameling van metrics

• gebaseerd op online gebruik / platforms

• alternatief voor bibliometrics

J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto

welke bronnen? type

referentie managers, bookmarking Mendeley, CiteULike, Delicious

video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr, DailyMotion

social netwerken Facebook, Google+

blogs Nature blogs, Scientific American blogs, PLOS blogs, Research Blogging, Google blogs, Wordpress

microblogging Twitter, Sina Weibo,

peer review systemen Publons, PubPeer

recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews

online encyclopedie Wikipedia

repositories. PMC, Figshare, RePEc, SSRN

Source code Repositories GitHub, SourgeForge, Bitbucket

others beleidsdocumenten, nieuwsberichten

(Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)

altmetrics aggregators

a) Altmetric.com

b) Impactstory

c) Plum Analytics

d) PLOS ALM

e) Kudos

f) Mendeley

g) …

Altmetric.com

Impactstory

Plum Analytics

PLOS ALM

KUDOS

www.growkudos.com

Mendeley

beleidsdocumenten

ook overheid.nl

verder lezen?

• Kramer, B. 2015. Altmetrics. Handboek Informatiewetenschap 710. doi:10.5281/zenodo.31899

• Konkiel et al. 2016. Altmetrics for Librarians: 100+ tips, tricks, and examples. doi:10.6084/m9.figshare.3749838

• Glauch & Blümel. 2016. OPENing UP new methods, indicators and tools for peer review, impact measurement and dissemination of research results. http://openup-h2020.eu/2017/03/03/establishment-altmetrics-term/

LET'S PLAY – DE 2E HELFT

Altmetric voorbeeld

Altmetric voorbeeld

Relaties tussen citaties, Altmetric score en Mendeley readers

Who is using (alt)metrics tools ?

Altmetrics – tools / applications

- Niet alle onderzoeksoutput kan getraceerd worden

- Niet alle gebruik kan getraceerd worden

- Hoe robuust zijn de data ?

- Niet het getal, maar het verhaal is belangrijk

Altmetrics – tools / applications

- Niet alle onderzoeksoutput kan getraceerd worden

- Niet alle gebruik kan getraceerd worden

- Hoe robuust zijn de data ?

- Niet het getal, maar het verhaal is belangrijk

Altmetrics – tools / applications

http://tinyurl.com/VoginIP2017-altmetrics

Wat is de context waarin onderzoekers kunnen kiezen voor open & reproduceerbare workflows?

political support at (inter)national level •

pressure from funders •

public stance on Open Science by institution •

user-friendly and powerful tools •

interoperability •

role models •

attention for positive effects •

• assessment criteria • institutional policies/culture • PI demands • learning curves • agreements with collaborators • uncertainty over effects & legitimacy

San Francisco Declaration on Research Assessment

adap

ted

fro

m:

Mar

ina

No

ord

egra

af –

Op

en S

cien

ce: o

p z

oek

naa

r d

e sc

hat

ten

Vo

gin

cu

rsu

s 2

01

6

Open Science

articles posters

presentations

blog posts

social media conversations

study registrations

protocols funding proposals

data management plans

lab notebooks

research data

peer review

Open Science in de gehele onderzoekscyclus

preparation

analysis

writing publication

outreach

assessment discovery

Rounds of grant writing and application

Iterations of search and reading

Drafting, receiving comments,rewriting

Submit, peer review, rejection, resubmitting

Rounds of experiments and measurements

Nationaal Plan Open Science

Hoe zouden we we wetenschappelijk

onderzoek moeten beoordeelden?

Met de kennis van nu: