Prezentácia_Jana Ilavská
Transcript of Prezentácia_Jana Ilavská
Jana Ilavská
Univerzita Komenského v Bratislave
Ako hodnotiť humanitné a spoločenskovedné odbory na vysokých školách?
Bratislava, 18. máj 2011
EvaluEvaluácia publikačnej činnosti ácia publikačnej činnosti v humanitných a spoločenskovedných odborochv humanitných a spoločenskovedných odboroch
WoK ... SCOPUS WoK ... SCOPUS ... Google Scholar ...... Google Scholar ...
... ... lokálne databázylokálne databázy …… CREPČCREPČ …… ??????
Hodnotenie publikačnej činnostiHodnotenie publikačnej činnosti
kvantitatívne (bibliometrické a scientometrické kritériá: počet a typ publikácií, počet a typ citácií a pod.)
kvalitatívne (peer review)
Bibliometria, scientometriaBibliometria, scientometriaWeb of Knowledge, SCOPUSWeb of Knowledge, SCOPUS
PLUSY+ objektivita – medzinárodné dáta ťažko
ovplyvniteľné domácimi inštitúciami, výskumníkmi
+ ekonomické riešenie – šetrí HR, efektívnosť SW funkcií, použiteľné rozhranie
+ odbornosť – systém vytvorený bibliometrickými a informačnými profesionálmi
+ kvalita – systematický zber dáta, spoľahlivé aplikácie metrík, kvalitatívny výber časopisov evidovaných v rámci WoS, CCC i SCOPUS
+ možnosť relevantného medzinárodného porovnávania (rovnaké kritériá)
MÍNUSY− neúplné a nerovnomerné
zastúpenie jednotlivých vedných disciplín, jazykov, geografických oblastí
− absencia určitých typov publikácií
− klasifikácia časopisov podľa disciplín (edície, série),
− zmeny názvov časopisov, inštitúcií
− problematika menovcov, rôzne formy názvov a mien
− neúmerné, selektívne, negatívne a chybné citovanie, autocitácie
PLUSY+ objektivita – medzinárodné dáta ťažko
ovplyvniteľné domácimi inštitúciami, výskumníkmi
+ ekonomické riešenie – šetrí HR, efektívnosť SW funkcií, použiteľné rozhranie
+ odbornosť – systém vytvorený bibliometrickými a informačnými profesionálmi
+ kvalita – systematický zber dáta, spoľahlivé aplikácie metrík, kvalitatívny výber časopisov evidovaných v rámci WoS, CCC i SCOPUS
+ možnosť relevantného medzinárodného porovnávania (rovnaké kritériá)
MÍNUSY− neúplné a nerovnomerné
zastúpenie jednotlivých vedných disciplín, jazykov, geografických oblastí
− absencia určitých typov publikácií
− klasifikácia časopisov podľa disciplín (edície, série),
− zmeny názvov časopisov, inštitúcií
− problematika menovcov, rôzne formy názvov a mien
− neúmerné, selektívne, negatívne a chybné citovanie, autocitácie
Hodnotenie publikačnej činnostiHodnotenie publikačnej činnosti
1. najprv určiť ciele => potom zvoliť vhodné indikátory
Multidimenzionálna matrica hodnotenia výskumu (Moed, 2011)
Bibliometrické indikátoryBibliometrické indikátory
1. generácia – základné= počty publikácií/citácií
2. generácia – normalizované = počet publikácií/citácií normalizované na tvorivého pracovníka, vednú disciplínu a pod.
3. generácia - zohľadňuje celú publikačnú a citačnú sieť = EigenFactor, mapy/atlasy vedy
Bibliometria, scientometria Bibliometria, scientometria vs. vs.
humanitné a spoločenskovedné odbory (1)humanitné a spoločenskovedné odbory (1)
Potrebné zohľadniť špecifiká vednej disciplíny (pri hodnotení publikačných výstupov i citačnej analýze)
Problémové oblasti: slabšie zastúpenie HUM/SPOL v rámci WoK, SCOPUS
Bibliometria, scientometria Bibliometria, scientometria vs. vs.
humanitné a spoločenskovedné odbory (2)humanitné a spoločenskovedné odbory (2)
Potrebné zohľadniť špecifiká vednej disciplíny
(pri hodnotení publikačných výstupov i citačnej analýze)
Problémové oblasti: národne/regionálne orientovaný predmet výskumu jazyk
CCC – 16 “slovenských“ časopisov (+3) SOC/HUM - Organon F, Sociológia, Studia Psychologica, Historický časopis, Filozofia
Bibliometria, scientometria Bibliometria, scientometria vs. vs.
humanitné a spoločenskovedné odbory (3)humanitné a spoločenskovedné odbory (3)
Potrebné zohľadniť špecifiká vednej disciplíny
(pri hodnotení publikačných výstupov i citačnej analýze)
Problémové oblasti: širšia cieľová skupina rozdiely v publikačných modeloch, citačnom správaní rôzne publikačné kanály netextové výstupy (noty, video)
Google ScholarGoogle Scholar
akademická literatúra: články, knihy, abstrakty, záverečné práce
hodnotenie publikácií – váhovanie plných tetxov (podľa vydavateľstva, autora, citácií),
citácie z iných ako anglických publikácií: GS - 6,94%, WoS – 1,14%, SCOPUS – 0,70%
Lokálne databázy VŠLokálne databázy VŠ
Smernica č. 13/2008-R zo 16. októbra 2008 o bibliografickej registrácii a kategorizácii publikačnej činnosti, umeleckej činnosti a ohlasov
84 kategórií publikácií, 9 kategórií ohlasov
lokálne db - online prístup cez webové stránky akademických knižníc
veľká distribuovanosť, rôzne systémy/rozhrania
http://www.crepc.skhttp://www.crepc.sk
Prispôsobenie sa publikačného správaniaPrispôsobenie sa publikačného správania
riziko nadhodnocovania, fabulácie, plagiátorstva kvantita na úkor kvality zníženie rôznorodosti
publikačných výstupov
Vedecká monografia:Za vedeckú monografiu sa považujú pôvodné monotematické vedecké práce v rozsahu najmenej 3 AH...
- potreba peer review
PPotreba lokálneho indexu, databázy (1)otreba lokálneho indexu, databázy (1)
1. identifikácia zdrojových dokumentov (časopisov, zborníkov) a vydavateľstiev => vytvorenie autoritatívnej databázy [ISSN, ISBN]
2. posúdenie významu, kvality => nastavenie váh, úrovní [porovnateľná metrika]
3. hodnotenie (body), využitie
Potreba lokálneho indexu, databázy (2)Potreba lokálneho indexu, databázy (2)
hodnotenie publikačných kanálov (časopis, vydavateľstvo) - potrebné zohľadniť: jazyk, náklad, distribúcia
[Garantuje sa prístup relevantnej cieľovej skupiny k týmto publikáciám? Zahraničné publikácie v cudzom jazyku?]
peer-review proces alebo iné kvalitatívne hodnotenie miera zastúpenia autorov jednej inštitúcie
[komunikačný kanál s viac ako 2/3 autorov z jednej inštitúcie by mal mať nižšiu váhu, resp. by nemal byť vôbec braný do úvahy]
formálne kritériá [ISSN, ISBN]
Diferencované kritériá pre zaradenie publikácií do Diferencované kritériá pre zaradenie publikácií do vyššie hodnotenej úrovnevyššie hodnotenej úrovne
Návrh kategorizácie Návrh kategorizácie
1. karentované publikácie (WoK – Current Contents Connect) 2. publikácie (monografie, články, zborníky)
klasifikované podľa národného indexu, databázy:i. mienkotvorné, významné, zviditeľnené ii. ostatné
3. VŠ učebnice, skriptá 4. pozvané konferenčné príspevky 5. ostatné konferenčné príspevky 6. abstrakty 7. ostatné publikácie
Slovenský „Web of Knowledge“Slovenský „Web of Knowledge“
agregované/deduplikované dáta z VŠ komplexnosť - zahrnuté všetky publikačné výstupy VŚ transparentnosť, zrozumiteľnosť, otvorený prístup spolupráca, deľba zodpovednosti/kompetencií –
indikátory vytvorené/zvolené v spolupráci inštitúcií, riadiacich orgánov a odborníkov
viacnásobná využiteľnosť - CV, žiadosti o granty, evaluácie, výročné správy, bibliografie, atď.
prepojenie na úplné texty (inštitucionálne repozitáre?) systém – vlastný? TR/Elsevier? Invenio? Iný?
Ďakujem za pozornosť[email protected]