Post on 19-Oct-2019
Zasady oceny parametrycznej jednostek naukowych, a lista czasopism punktowanych
Konferencja „Sukces Czasopisma Naukowego…”, Warszawa 27-28 październik 2017 r.
Leszek Stypułkowski leszek.stypulkowski@indexcopernicus.com
1. Historia tzw. „Listy czasopism punktowanych”
- wykres prezentujący historię listy czasopism punktowanych MNiSW
- historia ewaluacji czasopism naukowych
- plany dotyczące rozwoju czasopism naukowych w Polsce
- ustawa 2.0.
2. Wpływ punktacji czasopism naukowych na kategorię jednostek naukowych – klasypunktowe na liście czasopism punktowanych
- klasy punktowe na liście czasopism punktowanych
- struktura publikacji w klasach punktowych a kategoria jednostki naukowej
- oczekiwania Ustawodawcy w zakresie publikacji (3N-2N0)
- wady zasady dziedziczenia prestiżu – punktacja czasopism a liczba cytowań
3. Przyszły kształt listy czasopism punktowanych
- spodziewany termin publikacji nowej listy czasopism naukowych
- nowa lista czasopism punktowanych, a sprawa polska
Agenda
Historia listy czasopism punktowanych
ETAP I (do roku 2012) ETAP II (2012 – 2015) ETAP III (2016 – dziś) ETAP IV (ustawa 2.0)
Przed pierwszą oceną parametryczną jednostek
naukowych
Ewaluacja czasopism w ramach projektu POL-on
Ewaluacja czasopism po zakończeniu projektu POL-
on
Lista czasopism w kontekście ustawy 2.0
Lista A – ocena czasopism z listy filadelfijskiej
Lista B – ocena pozostałych czasopism polskich i zagranicznych
2012Lista A - ocena w oparciu oposiadany IFLista B - ankieta złożona onlineLista C - baza ERIH
2013Lista A - ocena w oparciu oposiadany IFLista B - ankieta złożona onlineLista C -baza ERIH
2014brak przeprowadzonej oceny
2015Lista B - ograniczona do krajowych czasopism naukowych oraz dodanie oceny eksperckiej i podniesienie maksymalnej oceny do 15 pkt
2016brak przeprowadzonej oceny
2017 brak przeprowadzonej oceny
ujednolicony wykaz czasopism na potrzeby oceny jednostek naukowych (2013-2016)
Założenia:
Lista A i C zastąpiona przez ministerialny wykaz czasopism indeksowanych w międzynarodowych bazach
Lista B ujednolicona punktacja dla czasopism spełniających jedynie wymogi formalne
Definicja funkcjonalna czasopisma naukowego
Funkcja celu działania czasopisma naukowego (Index Copernicus):
• dotarcie z opublikowanym w czasopiśmie artkułem naukowym do jak
największej liczby odbiorców (naukowców) na świecie, którzy wyniki
opublikowanej pracy mogą zastosować w swoich własnych badaniach i –
później – publikacjach.
Jedynym uznanym „dowodem” na osiągnięcie celu jest odnotowanie publikacji
w kolejnym artykule naukowym – zacytowanie.
Dotąd nie przeprowadzono kompleksowego zliczenia cytowań w skali kraju,
uwzględniającego analizę wszystkich notacji opublikowanych prac we wszystkich
wydanych pracach naukowych.
Ocena parametryczna jak podstawa dopuszczenia czasopism na listę „B”
Cele Kryterium oceny parametrycznej (lista B) Efekty spełnienia kryterium
Digitalizacja
Indeksacja w bazach danych zniesienie ograniczeń dostępności czasopisma w kraju spowodowanych niskim nakładem drukowanymWersje on-line
Internacjonalizacja
Język publikacji Zniesienie ograniczeń dostępnościczasopisma na arenie międzynarodowej oraz promocja czasopisma za granicą Umiędzynarodowienie recenzentów
Kooperacja
Umiędzynarodowienie recenzentów Budowanie międzynarodowej pozycji czasopisma poprzez wykorzystanie synergii między niezależnymi instytucjami naukowymi, zaangażowanie w rozwój czasopisma osób spoza jednostki – w tym z zagranicy
Liczba artykułów naukowych publikowanych/rok
Częstotliwość/regularność wydawania
Plany dotyczące rozwoju polskich czasopism naukowych n podstawie pierwszej oceny parametrycznej za rok 2012
2016201520142013
3
1 2
4
Rozpoczęcie pracy nad stworzeniem systemu do gromadzenia danych do PWW
Re
kom
en
dac
je
Zgromadzenie 20% polskich cytowań w PWW
Zgromadzenie 50% polskich cytowań w PWW
Zgromadzenie 80% polskich cytowań w PWW
Komunikacja celów stawianych przez MNiSW polskim czasopismom naukowym nie posiadającym obliczonego wskaźnika cytowalności
Podniesienie poziomu realizacji kryteriów oceny niezbędnego do uzyskania punktów. Zwiększenie udziału PWW w ocenie parametrycznej do 20%
Kolejne podniesienie poziomu realizacji kryteriów oceny. Zwiększenie udziału PWW w ocenie parametrycznej do 50%
Zwiększenie udziału PWW w ocenie
czasopism do 80%
(Digitalizacjia, Internacjonalizacja i Kooperacja staną się
warunkiem koniecznym).
Krótka międzynarodowa kariera listy B
Polska87%
UE154%
UEnowi
członkowie2%
reszta świata7%
Zagraniczne czasopisma doceniły metodykę oceny czasopism naukowych prowadzonej przez MNISW
Polska68%
UE156%
UEnowi
członkowie5%
reszta świata
21%
2012 2013
Krótka historia Polski jako regionalnego ośrodka ewaluacji nauki
1 Polska 20272 Indie 2663 Wielka Brytania 934 Stany Zjednoczone 915 Rumunia 766 Ukraina 547 Szwajcaria 368 Litwa 329 Turcja 2610 Chiny 2011 Włochy 2012 Iran 1813 Grecja 1614 Słowacja 1415 Czechy 1316 Niemcy 1317 Serbia 1218 Hongkong 1119 Rosja 1120 Hiszpania 10
Polska liderem ewaluacji czasopism naukowych w regionie
IzraelLibiaCzarnogóraMacedoniaOmanPeruSingapurWenezuelaRPA
FrancjaIndonezjaMarokoPortugaliaFinlandiaWęgryJaponiaHolandiaAustriaAzerbejdżanAlgieriaEgipt
BułgariaNigeriaKanadaChorwacjaPakistanSłoweniaBrazyliaTajlandiaBangladeszKolumbiaMalezjaBośnia i Hercegowina
Korea PołudniowaŁotwaMołdawiaNepalSzwecjaZjednoczone Emiraty ArabskieAlbaniaAustraliaBelgiaBoliwiaEtiopiaIrlandia
• Publikacje w czasopismach naukowych wchodzą do karty oceny w kryterium I
(osiągnięci naukowe i twórcze), decydują o katgorii jednostki naukowej od 60%
do 80%
• Obowiązuje zasada dziedziczenia prestiżu – publikacja w czasopiśmie
naukowym jest warta tyle, ile czasopismo, którego redakcja zdecydowała się
na opublikowanie danej publikacji
o Punkty za publikacje tzw. wielośrodkowe są rozdzielane między jednostki
naukowe, do których publikację afiliują autorzy
• Punkty za publikacje naliczane są automatycznie (członkowie Zespołów
Oceniających KEJN mogą podjąć decyzję o nieuznaniu danej publikacji, ale nie
mogą zmienić jej oceny punktowej)
Punktacja czasopism naukowych, a ewaluacja jednostek naukowych
Co oznacza ograniczenie liczby publikacji, które mogą wejść do karty oceny
(utrzymane w zasadach ewaluacji od roku 2009)?
3N-2N0
1. Ustawodawca oczekuje, że każdy naukowiec zgłosi 3 najlepsze publikacje
wydane w ciągu 4 lat objętych ewaluacją;
2. Wskaźnikiem oceny dorobku publikacyjnego nie jest więc łączna suma
punktów za publikacje, ale średnia wartość punktów 3 najlepszych publikacji
przygotowanych w ciągu 4 lat;
Oczekiwania ustawodawcy w zakresie liczby publikacji
Klasy punktowe publikacji – porównanie jednostek z grupy HS1EK w poszczególnych kategoriach bieżącej parametryzacji znormalizowane do wielkości jednostki N=100
Lista MNISW Punktacja
Liczba publikacji 2013-2016
Nauki humanistyczne i społeczne (HS1EK)
Kategoria A+ Kategoria A Kategoria B Kategoria C
List
a A
50 1 0 0 0
45 4 0 0 0
40 13 1 4 1
35 10 0 4 0
30 35 0 1 2
25 31 2 1 2
20 44 5 0 2
15 41 0 7 1
List
a B
ora
z C
15 21 77 5 0
14 83 152 54 9
13 18 45 23 17
12 45 70 60 19
11 21 54 43 13
10 67 193 96 45
9 94 164 181 27
8 72 81 44 204
7 14 63 27 23
6 7 27 42 26
5 13 9 30 10
4 6 1 0 3
3 1 0 0 0
2 0 0 0 4
1 0 0 0 0
Łączna liczba publikacji 1124 1656 1155 604
Źródło: ICI Science Evaluation – dane wystandaryzowane do wielkości N=100
Struktura publikacji, a kategoria naukowa jednostek naukowych
Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych
Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych
Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych
Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych
Rozkład punktowy publikacji w latach 2013-2016w zależności od uzyskanej kategorii naukowej jednostki
Klasy punktowe publikacji – przykładowa struktura
Lista MNISW Punktacja
Liczba publikacji 2013-2016
Nauki humanistyczne i społeczne (HS1EK)
Kategoria A+ Kategoria A Kategoria B Kategoria C
List
a A
50 1 0 0 0
45 4 0 0 0
40 13 1 4 1
35 10 0 4 0
30 35 0 1 2
25 31 2 1 2
20 44 5 0 2
15 41 0 7 1
List
a B
15 21 77 5 0
14 83 152 54 9
13 18 45 23 17
12 45 70 60 19
11 21 54 43 13
10 67 193 96 45
9 94 164 181 27
8 72 81 44 204
7 14 63 27 23
6 7 27 42 26
5 13 9 30 10
4 6 1 0 3
3 1 0 0 0
2 0 0 0 4
1 0 0 0 0
Łączna liczba publikacji 1124 1656 1155 604
Liczba publikacji nieuwzględnionych w karcie oceny
483 712 533 196
Odsetek nieuwzględnionych publikacji 43% 43% 46% 32%
Punktacja czasopism, a liczba cytowań
– dziedzina nauk prawniczych
https://journals.indexcopernicus.com
Punktacja czasopism, a liczba cytowań
Cytowania pochodzące z lat
2010 – 2015
Liczba czasopismw przedziale
0 11
1 – 15 62
16 – 30 26
31 – 60 33
61 – 100 25
101 – 200 22
201 – 300 16
301 – 600 13
601 – 1 000 7
1 000 – 3 000 6
Łącznie 221
0
10
20
30
40
50
60
70
Czasopisma z liczbą cytowań w danym przedzialeDyscyplina: Prawo
Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals
Punktacja czasopism, a liczba cytowań
Cytowania pochodzące
z lat1993 - 2015
Punktacja MNiSW
2015
Liczba czasopism
% badanej populacji
Mniej niż 120
Od 8do 15
59 27%
Ponad120
Od 0do 7
24 11%
Ponad500
Od 8do 15
12 5%
Źródło: Opracowanie własne na podstawie danychz systemu ICI World of Journals
Punktacja czasopism, a liczba cytowań
Case study
Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały ponad 8 punktów, 73% czasopism ma poniżej 221 cytowań.
Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały mniej niż 8 punktów, 33% czasopism ma powyżej 68 cytowań.
Tytuł
Cytowania pochodzące
z lat1993 - 2015
Punktacja MNiSW
2015
Prokuraturai Prawo
2679 4
Przegląd Prawa Handlowego
2535 11
Państwoi Prawo
1878 13
Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals
1. Jednolita lista czasopism punktowanych - Wykaz Czasopism Naukowych
2. Ministerialna lista wydawnictw punktowanych (na potrzeby wydawania
monografii) – Wykaz Wydawców Naukowych
3. Przekształcenie listy B w nisko punktowany ryczałt
4. Program wsparcia dla najlepszych polskich czasopism
5. Pierwsze listy zostaną opublikowane po wejściu w życie Ustawy 2.0, a w
kolejnych latach listy publikowane będą na początku roku, żeby punktacja za
publikacje była z góry znana
6. Program „Pakiet technologiczny dla czasopism” mający pomóc czasopismom
naukowym w konkurowaniu na światowym rynku nauki
Główne założenia dotyczące listy czasopism punktowanych w propozycji Ustawy 2.0
1. Jaką wymierną korzyść ma polska nauka z tego, by polscy naukowcy
publikowali głównie (masowo) w zagranicznych czasopismach?
2. Czy jest wymierna korzyść dla polskiej nauki, by czasopisma zagraniczne
wspierać lub promować bardziej, niż polskie czasopisma naukowe?
3. Czy polskie czasopisma mogą stać się pożądanym forum dla promocji
światowej nauki?
4. Co powinny zrobić wydawcy polskich czasopism, by ich periodyki osiągnęły
międzynarodowe uznanie i zachęciły zagranicznych autorów do publikowania?
Międzynarodowe czasopisma naukowe, a „sprawa polska”
Znalezienie się na wykazie czasopism punktowanych MNiSW w roku 2018:
1. Zapewnienie czasopismu miejsca w grupie „najlepszych czasopism”:
1.1 Wykazanie siły oddziaływania czasopisma poprzez uzyskanie wyliczonego
wskaźnika cytowań
1.2 Indeksacja w międzynarodowych bazach danych, które zostaną uwzględnione jako
bazy referencyjne oraz uzyskanie odpowiedniego ratingu
2. Aktywny udział w dyskusji dotyczącej roli czasopism naukowych afiliowanych
do polskich instytucji nauki w przyszłej ocenie parametrycznej.
Sukces czasopisma naukowego w perspektywie Ustawy 2.0.
Dziękuję za uwagę!
Leszek Stypułkowski – główny autor
Paulina Najdychor – współautorka, asystentka naukowa