Ocena nauki i uczonych w systemie komunikacji naukowej
-
Upload
marek-nahotko -
Category
Documents
-
view
359 -
download
1
Transcript of Ocena nauki i uczonych w systemie komunikacji naukowej
dr hab. Marek Nahotko
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 1
Ocena nauki i uczonych w
systemie komunikacji naukowej
Trzy tendencje rozwojowe
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 2
Na rozwój nauki w kontekście komunikacji
naukowej wpływają w wielkim stopniu trzy
czynniki:
Wzrost liczby uczonych (a więc także autorów)
Wzrost liczby publikacji
Wzrost ilości i dostępności danych oraz procesów
ich przetwarzania
Trzy tendencje
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 3
Korelacja zjawisk
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 4
Ware 2006
Wzrost liczby uczonych
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 5
Na „zwykły” rozwój nauki nakłada się wzrost publikacji związany z publikowaniem w Sieci:
Redukcja barier publikowania i dystrybucji.
Ocena po opublikowaniu, a nie przed.
Zacieranie różnic między uczonym a amatorem:
Dostępność narzędzi do analizy danych, jak Many Eyes i Google Maps i pakietów statystycznych, jak STATA;
Dostępność platform współpracy, jak Walkaround, Google Docs.
Liczba członków matematycznych towarzystw naukowych
1930 1960 1990 2010
USA 1.926 6.725 25.623 29.000
Polska 216 555 - 1.900
Wzrost liczby publikujących
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 6
Wg Pelli, Bigelow 2009
Wzrost liczby publikacji
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 7
Fragmentacja wyników badań:
Dotąd: „Work. Finish. Publish” (Faraday) lub
„Publish or Perish” (Harnad) – recenzowany artykuł
„złotym standardem” publikowania;
Teraz: wiele mniejszych, mniej formalnych form
publikowania (blogi, twitty, raporty).
„Płynna” nauka: syndrom „beta wersji” – wyniki
rozpowszechniane jako drafty, dla zebrania uwag
i dalszej modyfikacji; rozwój open science i jej
nowych narzędzi.
Wzrost ilości danych i przetwarzania
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 8
Łatwiejszy dostęp do danych (np. rządowych).
Znaczny wzrost podaży danych, w tym nieoficjalnych.
Olbrzymie zasoby danych oficjalnych i nieoficjalnych
do potencjalnego wykorzystania w badaniach
naukowych.
Problemy: dane o krótkotrwałej wartości, bardzo
szczegółowe, dane na poziomie mikro: osobiste,
instytucjonalne.
Nowe metody badań: data mining, odszukiwanie
korelacji między danymi w heterogenicznych bazach
danych, zamiast tradycyjnych eksperymentów.
Konieczność selekcji
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 9
Wielkie ilości danych i publikacji zmuszają do poszukiwań nowych sposobów dostępu do nich.
Potrzeba wiarygodnych serwisów filtrujących treści.
Filtracja oparta na reputacji: Reputacja jako czynnik ściągający uwagę,
zapewniający uznanie i źródła finansowania;
Niezbędne łączenie czynników ilościowych i jakościowych;
Powstają zewnętrzne systemy dynamicznej ewaluacji reputacji uczonych, m.in. na podstawie danych z Sieci (ImpactStory, ScienceCard).
Autorytety kognitywne
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 10
Autorytety kognitywne to ludzie (ale także teksty i instrumenty), których osądom ufamy w określonej sytuacji lub sprawie.
Bycie autorytetem kognitywnym zależy od wielu czynników, w tym od rodzaju odbiorców (sieci praktyk).
Sposoby określania poziomu autorytetu tekstu: Przejęcie autorytetu od osób odpowiedzialnych za tekst
(autorzy, redaktorzy, recenzenci); Historia tekstu: np. publikacja przez prestiżowe
wydawnictwo w prestiżowym czasopiśmie, afiliowanym w prestiżowym stowarzyszeniu;
Przydatność dla użytkownika: przedstawianie ważnych idei w dobrze sformułowany sposób.
System reputacji
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 11
Tworzenie autorytetów kognitywnych:
Reputacja uczonego
Reputacja instytucji naukowej, zatrudniającej
uczonych
Reputacja w działalności wydawniczej (czasopisma,
redakcji, wydawcy)
Reputacja uczonego
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 12
Pozycja uczonego budowana poprzez wiele
czynników: wskaźników ilościowych,
jakościowych: reputacji, „widzialności” i „wpływu”
w otoczeniu.
Reputacja uzyskiwana w środowisku otwartym –
potrzeba uzyskania szerszej publiczności; ryzyko
przedostawania się teorii popularnych, ale mało
naukowych.
Szczególna potrzeba oceny uczestników badań w
otwartych inicjatywach współpracy naukowej.
Reputacja uczonego
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 13
Reputacja uczonego
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 14
Reputacja uczonego
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 15
Reputacja uczonego (ScienceCard)
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 16
System oceny reputacji IBM
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 17
Reputacja instytucji
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 18
Czynniki
reputacji
czasopisma
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 19
Björk, Holmström, 2006
Przydatność oceny publikacji
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 20
W świecie druku kontrola jakości niezbędna dla wydawców w celu selekcji materiałów do druku w sytuacji nadmiaru podaży tekstów w stosunku do możliwości technicznych i ekonomicznych.
Kontrola jakości dla uczonych ma różne znaczenie – np. w trakcie komunikacji nieformalnej między specjalistami podobnego poziomu i specjalizacji jest w ogóle zbędna.
Kontrola przydatna dla urzędników podejmujących decyzje o przyznawaniu funduszy itp. celów.
Ocena tradycyjna
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 21
Przed opublikowaniem:
Brak oceny (stosunkowo częste dla mat.
konferencyjnych);
Przegląd dokonywany przez redaktora lub zespół
redakcyjny;
Recenzowanie realizowane w różnych wariantach.
Po opublikowaniu: cytowania.
Sposoby te pozostają „w długim cieniu
Oldenburga”.
Nowe formy oceny
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 22
Powstały formy oceny typowe dla środowiska
elektronicznego.
Ocena dokonywana przed opublikowaniem.
Ocena dokonywana po opublikowaniu.
Ocena na każdym etapie badań.
Ocena przed opublikowaniem
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 23
Recenzowanie otwarte (komentarze) tekstów
zamieszczanych w Sieci przed oficjalnym
opublikowaniem – możliwość oceny oceniających,
co pozwala uzyskiwać im reputację.
Systemy mieszane, łączące recenzowanie
tradycyjne z komentowaniem; ostateczna wersja
powstaje na podstawie uwag z recenzji,
komentarzy i modyfikacji autora.
Ocena po opublikowaniu
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 24
Komentarze i adnotacje po opublikowaniu (PLoS,
Annotea, Faculty of 1000).
Zakładki do stron publikacji naukowych (Zotero,
CiteUlike, Connotea, Mendeley).
Punktowanie przez czytelników (Digg, PLoS).
Ocena stopnia wykorzystania publikacji: metody
webometryczne:
Liczba dostępów (otwarcia: ilość, czas,
skopiowania, wydruku);
Cytowania (bibliografie, hiperlinki).
A.nnotate
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 25
Komentarze – scholarly skywriting
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 26
Kom
enta
rze
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 27
Ko
me
nta
rze
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 28
Wady komentarzy
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 29
Mała popularność tej metody oceny:
Brak gotowości do publicznej krytyki ze strony
uczonych;
Komentarze nie uwzględniane w dorobku.
Zasada 90-9-1:
90% zainteresowanych tylko obserwuje,
9% bierze skromny udział,
tylko 1% bierze aktywny udział.
Komentarze – inaczej? – reddit.com
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 30
F1000: rekomendacje i punktowanie
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 31
Ocena: recenzowanie
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 32
Mia
ry o
ceny a
rtykułu
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 33
Mia
ry o
ceny c
d.
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 34
Application Programming Interfaces
(API)
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 35
Sta
tysty
ki użytk
ow
ania
art
ykułu
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 36
Sta
tysty
ki użytk
ow
ania
ina
cze
j
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 37
Ocena na każdym etapie badań
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 38
Wnioski
V Seminarium CPI Badania naukowe,
Warszawa 21.11.2012 39
Jakość publikacji naukowych nie zależy od medium, w jakim są publikowane.
Zasadnicze znaczenie ma dostępność danych w środowisku otwartym.
Potrzeba meta-serwisu dla nauki, integrującego wszystkie miary ocen.
Nowe formy oceny jakości powodują zmianę od preselekcji do publikacji ku opiniom środowiska po opublikowaniu.
Wzrost jawności oceny.
Czas jednym z najważniejszych czynników wpływających na sposób prowadzenia kontroli.