Üniversitelerde Akademik Performansın Değerlendirilmesi · •Toplam Makale Etkisi (AIT) hesabı...
Transcript of Üniversitelerde Akademik Performansın Değerlendirilmesi · •Toplam Makale Etkisi (AIT) hesabı...
Üniversitelerde Akademik Performansın Değerlendirilmesi
Prof. Dr. Canan ÇilingirURAP Çalışma grubu üyesi/ İBÜ Endüstri Müh. Blm. Yarı zamanlı Öğ.Üyesi
2 Nisan 2018İstanbul Bilgi Üniversitesi
Giriş
• Üniversitelerin kıyaslanması ve performanslarının analizi;• Araştırmacıların• Yüksek öğretim politikalarına yön veren üst kuruluşlarının• Basının• Yüksek öğretim adaylarının ve velilerinin
uzun süredir ilgi odağında • Üniversite yöneticileri gelişim stratejilerini bu verilere dayandırmakta
Üniversite sıralama sistemleri
• Dünya genelinde 20.000 civarı yüksek öğretim kurumu (Türkiye’de 185)
• Sayılardaki artış akademik kuruluşların değerlendirmesine yönelik talebe neden oldu
• İlk ulusal sıralama 1983 (US News and World Report)
• İlk dünya sıralaması 2003 (ARWU, Jiao Tong University, Çin): 500 Üniversite
• Webometrics 2004 (İspanya)
Üniversite sıralama sistemleri
• Leiden Ranking (2007): 500 üniversite, 750 üniversite (2014’ten beri)
• THE (Times Higher Education) – QS World Ranking (2004-2009)
• THE and QS 2010’dan beri farklı sıralama sistemleri
• US News and World Report (Best Global Universities): 2014’ten beri dünya sıralaması
URAP (University Ranking by AcademicPerformance)• 2009 yılında ODTÜ Enformatik Enstitüsü
bünyesinde kuruldu
• Farklı disiplinlerden gelen araştırmacılardan oluşan gönüllü bir ekiple çalışmaktayız
• Genel amaç: • Türk üniversitelerine ve gelişmekte olan ülkelerdeki üniversitelere
akademik performansları bakımından öz değerlendirme yapma imkanısunmak• Bilim ve yayın kültürünün gelişmesine katkıda bulunmak
Urap amaçları
• Türk Üniversiteleri’nin akademik performansları ve gelişmeye açık yönleriyle ilgili farkındalık yaratmak
• Üniversitelerimizin dünya üniversiteleri arasındaki konumlarınıbelirlemelerine yardımcı olmak
• Amacımız üniversitelerimizi iyi veya kötü olarak nitelemek değildir
URAP Çalışmalarının Genel Görünümü• URAP Türkiye Sıralaması• URAP Dünya Sıralaması• URAP Alan Sıralaması• Yayın verileri üzerine bibliyometrik araştırmalar• Dünya sıralamalarında Türk üniversitelerinin konumunu özetleyen
raporlar• Araştırmalar gönüllü bir araştırma ekibi tarafından ODTÜ’nün sağladığı
altyapı desteği ile yürütülmektedir
URAP Türkiye Üniversiteleri Sıralaması• 148 üniversite sıralamaya dahil edilmektedir
• Sıralamaya dahil edilme kriterleri• 4 yıllık lisans programı olması ve mezun vermiş olması• YÖK veri tabanında öğretim üyesi ve öğrenci sayılarının yer alıyor olması
• Türk üniversitelerinin özelliklerine göre alt sıralamalar• Devlet/Vakıf Üniversiteleri• Tıp fakültesi olan, olmayan üniversiteler• 2000 yılından önce ve sonra kurulan üniversiteler• Doktora programı olan/olmayan üniversiteler
URAP Türkiye Üniversiteleri Sıralaması
Kriter Kapsam
1 Makale Sayısı Araştırma
2 Öğretim Üyesi Başına Düşen Makale Sayısı Araştırma
3 Atıf Sayısı Araştırma
4 Öğretim Üyesi Başına Düşen Atıf Sayısı Araştırma
5 Toplam Bilimsel Doküman Sayısı Araştırma
6 Öğretim Üyesi Başına Düşen Toplam Bilimsel Doküman Sayısı Araştırma
7 Doktora Öğrenci Sayısı Eğitim ve Araştırma
8 Doktora Öğrenci Oranı Eğitim ve Araştırma
9 Öğretim Üyesi Başına Düşen Öğrenci Sayısı Eğitim
URAP Dünya Sıralaması
İndikatör Kapsam
Makale Sayısı Bilimsel Üretim
Atıf Sayısı Araştırma Etkisi
Toplam Doküman Bilimsel Üretim
Toplam Makale Etkisi Araştırma Kalitesi
Toplam Atıf Etkisi Araştırma Kalitesi
Uluslararası İşbirliği Uluslararası Tanınırlık
URAP Dünya Sıralaması
• Toplam Makale Etkisi (AIT) hesabı• AIT yayın başına düşen atıf sayısı ile ağırlıklandırılmış makale
sayısıdır
• 23 alan için, o alanda kurumun CPP değeri alandaki dünya CPP değerine oranlanıp, ilgili alandaki makale sayısıyla çarpılarak bu değer elde edilmektedir
URAP Dünya Sıralaması
• Toplam Atıf Etkisi (CIT) hesabı• CIT yayın başına düşen atıf sayısı ile ağırlıklandırılmış toplam atıf
sayısıdır
• Üniversitenin yayın başına atıf sayısı dünya ortalaması ile oranlanarak toplam atıf sayısı ile çarpılmaktadır
¡ Alan tanımları Avustralya Yükseköğrenim Kurumu’nun belirlediği ERA dergi sınıflamasına dayanmaktadır (23 Alan)
URAP Dünya Sıralaması
• Ağırlıkların belirlenmesinde Delphi yöntemi kullanılmıştır
İndikatör Ağırlık (%)
Makale Sayısı 21Atıf Sayısı 10Toplam Doküman 21Toplam Makale Etkisi 18Toplam Atıf Etkisi 15Uluslararası İşbirliği 15
URAP Dünya Sıralaması
• Ülkelere göre üniversiteler (2017-2018 sıralaması)
Ülke Top 100 Top 500 Top 1000 Top 2500
A.B.D. 36 114 192 368Çin 9 54 123 376Hollanda 7 12 13 14İngiltere 6 26 47 87Almanya 5 39 53 67Fransa 5 22 47 93Kanada 5 19 28 51Avustralya 5 22 28 39İtalya 2 25 45 66Japonya 2 15 44 152… … … … …Türkiye 15 86
Ulusal ve uluslararası sıralama sistemlerinde kullanılan performans göstergelerinin çözümlemesi• Çok sayıda ülke üniversitelerinin performansını değerlendirmekte• Bazı ülkeler birden fazla değerlendirme sistemine sahip• Analiz için kullanılan ulusal sistemlerin özellikleri• Sıralama yöntemi hakkında yeterince basılı materyal• Değerlendirmenin sürdürülebilirliği- en az 2 yıl sonuçları yayınlanmış • Sistemin kıyaslama (benchmarking) değil sıralama yapması
Analiz edilen 13 ulusal sistem
Sistemin adı Yayınlayan kurum ülke kurum
Folha’s University Ranking Folha Brezilya Medya
EI Mercurio El Mercurio Şili Medya
Greater China Ranking ARWU Çin Bağımsız(NGO)
Ranking of Higher Education Institutions in Kazakhstan
Independent Kazakhstan Quality Assurance Agency for Education (IQAA)
Kazakistan Devlet (GO)
Veidas Veidas Litvanya Medya
Macedonian HEIs Ranking ARWU Makedonya Bağımsız(NGO)
Setera Malaysian Qualifications Agency Malezya Devlet (GO)
HEC Higher Education Commission Pakistan Devlet(GO)
Perspectywy Perspectywy Education Founding Polonya Bağımsız(NGO)
Complete University Guide Mayfield University Consultants UK Bağımsız(NGO)
U.S. News College Rankings U.S. News & World Report USA Medya
URAP URAP Turkey Bağımsız(NGO)
.
Ulusal sistemlerde kullanılan gösterge sayıları; 12 sistemde 190 farklı gösterge
National Ranking Systems Indicators
UK - Complete University Guide 42USA - The U.S. NEWS COLLEGE 39Macedonia - Macedonian HEIs Ranking 35Malaysia - Setera 32China - Greater China Ranking 22Poland - Perspectywy 19Kazakhstan - Ranking of Higher Education Institutions in Kazakhstan 18
Turkey - URAP-TR 18Brazil - RUF Folha’s University Ranking 12Lithuania - Veidas 12Chile - EI Mercurio 9Pakistan - HEC 9Ortalama(SD)
22.3 (11.8)
Uluslararası sistemlerde kullanılan gösterge sayıları; 8 sistemde 44 farklı gösterge
Global Ranking Systems Indicators
THE-Times Higher Education 13
ARWU 10
LEIDEN 7
SCImago 7
QS 6
URAP 6
HEEACT 5
WEBOMETRICS 4
Ortalama(SD)
7.25(2.73)
Ulusal ve Uluslararası gösterge sayıları
Gösterge sayısı
Yalnız ulusal sistemlerde 166
Yalnız uluslararası sistemlerde 20
İkisinde birlikte 24
TOPLAM 210
Ulusal ve uluslararası sistemlerde en fazla kullanılan 10 gösterge
Ulusal Sistemler Sıklık
Öğrenci/öğretim üyesi(Full Time) 10Kabul edilen öğrencilerin kalitesi 8Doktoralı akademisyen (%) 8Yayın sayıları (SCI, SSCI) 5Uluslararası öğrenci yüzdesi 5Uluslararası yayın/Öğretim üyesi 5Öğrenci başına harcama 4Akredite edilmiş doktoraprogramı sayısı
4
Toplam atıflar 3Eğitim kalitesi 3
Uluslararası Sistemler Sıklık
Toplam atıflar 3Yayın sayıları (SCI, SSCI) 3Mükemmeliyet derecesi (SCImagoTop10%)
2
Araştırma mükemmeliyetanketleri
2
Öğrenci/Öğretim üyesi(Full Time) 2Yayın sayıları (SCI, SSCI)/Öğretimüye sayısı
2
Uluslararası öğrenci yüzdesi 2Uluslararası öğretim üyesi yüzdesi 2Başka kurumlarca verilen internetbağlantısı
1
Atıf sayısı/Öğretim üyesi 1
Göstergeler ile ilgili saptamalar
• Ulusal göstergeler ülkenin ihtiyaçları dikkate alınarak belirlenirken uluslararası göstergeler dünyada genel kabul gören göstergelerden seçilmektedir• Ulusal sistemler uluslararası sistemlerin bir alt kümesi değildir, bu
yüzden iki sistem farklı sonuçlar verebilir• Aynı göstergeler farklı adlandırılmış olabilir bu da birden fazla
sayılmaya yol açabilir• Yüksek öğretimi regüle eden bir merkezi örgüt varsa ayrıntılı objektif
veriye ulaşmak daha olasıdır
Sıralamalarda kullanılan göstergelerin sınıflandırılması • Kapsama göre• Ulusal: Yalnız ulusal sıralamalarda kullanılanlar• Uluslararası: Yalnız uluslararası sıralamalarda kullanılanlar• Ulusal &Uluslararası: İki sistemde de kullanılanlar
• Büyüklüğe göre• Büyüklükten bağımsız (Size-independent) göstergeler• Büyüklüğe bağlı (Size-dependent indicators) göstergeler• Subjektif göstergeler (anket sonuçlarından elde edilen)
sınıflandırılma (devam)
Göstergelerin girdi/çıktı özelliklerine göre• Çıktılar: araştırma çıktıları(örnk. yayın sayıları) ve eğitim çıktıları(örnk. Yıllık
doktora mezun sayıları, işverenlerin mezunlara ilişkin memnuniyet düzeyi)• Süreçler: eğitim, yönetim ve araştırma süreçleri(örnk. akademik yönetişim,
müfredatın kurumsal değerlendirilmesi)• Girdiler: mali, eğitim ve araştırmaya ayrılan kaynaklar(örnk. bütçe, araştırma
fonları)• Kurumsal özellikler: kuruma özel kapasite ve yetenekler (örnk. Program
sayıları, Öğretim üyesi/personel oranları)
Alt göstergeler
• Araştırma göstergeleri• Yayınlar& etki (Impact)• Araştırma yeteneği & Fonlar• Teknoloji Transferi
• Eğitim göstergeleri• Öğrenci Profili & Sunulan Servisler• Akademik Programlar & Akreditasyon• Mezunlar• Öğretim kalite güvence & değerlendirmesi• Lisansüstü Öğrenci Profili
• Kurumsal veriler (Facts & Figures)• Öğretim Üyesi Profili & Gelişimi• Eğitim altyapısı & Kaynaklar• Yönetimsel & Örgütsel Faaliyetler
Ulusal Sıralamalarda Kullanılan Göstergelerin ağırlıkları (% ağırlıklandırma kullanım sıklığından daha bilgilendirici)
Indicator Categories Size Dependent Size Independent Subjective Total Ratio %
Input Output Inst. Prop. Process
Input Output Inst. Prop Process
Input Output Inst. Prop Process
Publication, citation 7.12 10.47 17.59
Faculty quality & training 0.21 0.83 1.17 0.42 0.69 0.83 6.57 10.72
Patent, technology transfer 1.00 1.25 0.08 2.33
Student diversity & quality,services
0.07 1.06 8.91 4.32 7.76 1.32 0.35 1.25 25.04
Programs, accreditation,diversity
3.39 0.50 1.29 1.46 6.64
Alumni, graduates 0.63 1.14 0.42 3.26 0.25 5.70
Facilities, infrastructure,budget
0.42 0.61 2.68 1.36 5.07
Research funds, researchcapacity
1.01 0.61 1.75 2.42 0.14 0.56 6.49
Managerial, institutional 0.17 0.25 0.25 0.14 0.88 1.68
PhD, graduate degrees,students
1.00 0.93 1.08 2.22 5.23
Teaching quality, qualityassurance
1.04 1.22 4.42 3.33 3.51 13.52
TOTAL 1.71 11.35 7.15 2.92 14.70 19.49 20.88 4.87 0.00 8.24 3.68 5.01 100.00
Uluslararası Sıralamalarda Kullanılan Göstergelerin ağırlıklarıIndicator Categories Size Dependent Size Independent Subjective Total
Ratio %Input Output Inst. Prop
Process Input Output Inst. Prop
Process Input Output Inst. Prop
Process
Publication, citation 39.52 22.74 62.26Faculty quality &training
5.71 0.57 1.07 7.36
Patent, technologytransfer
0.00
Student diversity &quality, services 4.57
4.57
Programs, accreditation,diversity
0.00
Alumni, graduates 1.43 0.29 1.71Facilities, infrastructure,budget 9.52 9.52
Research funds,research capacity 1.54 8.29
9.82
Managerial,institutional
0.00
PhD, graduate degrees,students
0.86 0.32 1.18
Teaching quality, qualityassurance 1.43 2.14
3.57
TOTAL0.00 46.67 0.00 0.00 1.54 24.45 15.49 0.00 0.00 1.43 10.43 0.00
100.00
Çıkarımlar• Uluslararası sıralama sistemlerinin yaygın olarak kullandığı göstergeler:
• Yayın sayıları ve etkisi (impact) (%62.3),• Araştırma yeteneği ve fonlar (%9.8), • Eğitim alt yapısı ve kaynaklar(%9.5), • Öğretim üye kalitesi(%7.4) • Öğrenci profili(%4.6)
• Ulusal sıralama sistemlerinin yaygın olarak kullandığı göstergeler:• Öğretim üyesi ve öğrenci profili (%25.0) • Öğretim kalitesi(%13.5), • Yayın sayıları ve etkisi (impact)(%17.6%)
İncelenen uluslararası sistemlerde kullanılmayan göstergeler; Teknoloji transferi,program akreditasyonu,yönetsel ve kurumsal özellikler,
Bu göstergeler ulusal sistemlerde %10.6 oranında yer almakta
Ulusal ve Uluslararası Sistemlerin FarklarıRakamlar % 0larak verilmiştir
Ulusal UluslararasıBüyüklük Bağımsız 59.9 41.5
Büyüklük Bağımlı 23.2 46.7
Subcektif 16.9 11.8
Toplam 100.0 100.0
Ulusal UluslararasıÇıktı 39.1 72.5Süreç 12.8 0.00Girdi 16.4 1.54KurumsalÖzellikler
31.7 25.9
Toplam 100.0 100.0
Büyüklük Girdi/Çıktı
Araştırma-Eğitim-Kurumsal Verilerin Dağılımı
25,8%
45,8%
28,5%
Ulusal Sıralama Sistemleri
ResearchEducationInstitutional Facts & Figures
72,1%
15,8%
12,1%
Uluslararası Sıralama Sistemleri
ResearchEducationInstitutional Facts & Figures
URAP ve Diğer Sıralama Sistemlerinde Göstergelerin % ağırlıkları
Gösterge Türü
Büyüklük Girdi/Çıktı Özellikleri Temel göstergeler
Yaln
ız U
lusla
rara
sı
Ulu
sal&
U
lusla
rara
sı
Büyü
klük
Ba
ğım
sız
Büyü
klük
Ba
ğım
lı
Subc
ektif
Çıkt
ı
Kuru
msa
l Ö
zelli
kler
Gird
i
Süre
ç
Araş
tırm
a
Eğiti
m
Kuru
msa
l Ve
riler
URAP-TR 33 67 56 44 0 67 33 0 0 67 11 22
ULUSAL SİSTEMLERİNORTALAMASI
75 25 66 26 8 36 35 19 10 27 53 21
URAP ULUSLARARASI
50 50 0 100 0 100 0 0 0 100 0 0
ULUSLARARASISİSTEMLERİNORTALAMASI
39 61 48 44 8 69 27 4 0 63 24 13
Sıralama Sistemleri ile İlgili Gözlemler Ulusal sistemler• Kullanılan göstergeler sayısal olarak önemli farklılıklar sergilemekte
(en az 9, en çok 42) (URAP-TR 18 gösterge kullanıyor)
• Büyüklük bağımsız göstergeler tercih edilmekte (URAP-TR büyüklük bağımlı ve bağımsız göstergeleri eşit kullanıyor)
• Çıktılara ve kurumsal özelliklere eşit önem verirken, girdiler ve süreçlere daha az önem vermekte (URAP-TR çıktılara daha fazla ağırlık veriyor)
• Eğitime yönelik göstergelere araştırmadan daha fazla ağırlık vermekte (URAP-TR araştırmaya ağırlık veriyor)
Sıralama Sistemleri ile İlgili Gözlemler Uluslararası sistemler• Kullanılan göstergeler sayısal olarak farklılıklar sergilemekte (en az 4,
en çok 13) (URAP 6 gösterge kullanıyor)• Büyüklük bağımlı ve bağımsız göstergeler eşit ağırlıkla kullanılmakta
(URAP büyüklük bağımlı göstergelere ağırlık veriyor) • Ağırlıklı olarak çıktılara yönelik göstergeler kullanılmakta• Araştırma göstergelerine eğitim göstergelerinden daha çok ağırlık
verilmekte • Göstergelerin sayı ve ağırlık farkları bir üniversiteyi değişik sıralama
sistemlerinde çok farklı sıralarda göstermekte• Sistemlerde kapsanan üniversite sayıları önemli farklılıklar göstermekte
(500-2500) (URAP 2500 üniversiteyi kapsıyor)• Uluslararası sistemlerdeki sıralamalar ulusal sıralamayı yansıtmamakta
Sıralama Sistemleri: Gelişmeler
• 2015 yılında Türkiye’deki üniversitelerin uluslararası sıralamalardaki yerinde düşüşler gözlendi• ODTÜ ve Boğaziçi Üniversitesi 100lerden 300lere düştü• Üst sıralardaki çok sayıda üniversite benzer bir düşüş
yaşadı
• Nedenleri• THE sıralama sistemi veritabanını değiştirdi• Yayın başına atıf sayısı yerine toplam atıf kullanılmaya başlandı• 500 üzeri yazarlı CERN ve tıp makaleleri sıralamalardan çıkarıldı
(URAP bu düzeltmeyi 2014 yılından beri yapıyor)
CERN Etkisi
• CERN yayınları (2011-2015): 5661 makale, 97082 atıf• Ortalama yazar sayısı: 459 (medyan: 7)• 1000+ yazarlı 869 makale (en yüksek yazar sayısı 5154)
Dergi Etki Dilimleri
• URAP sıralamalarında yeni kullanmaya başladığımız bir indikatör• Amaç: daha nitelikli dergilerde yapılan
yayınlara önem vermek• 250 Web of Science kategorisinde yer alan
dergilerin etki faktörüne göre sıralanarak hangi %25’lik dilimde yer aldığı tespit edildi• Bir dergi birden fazla alanda yer alıyorsa, en
yüksek dilimde yer aldığı alan dikkate alındı
Dergi Etki Dilimleri
0%5%
10%15%20%25%30%35%40%45%50%
İlk %25 İkinci %25 Üçüncü %25 Son %25
Dünya Türkiye
2012-2016 yılları arasında yayımlanan makalelerin yer aldığı dergilerin etkinlik çarpanı dilimine göre dünya genelinde ve Türkiye’de oransal dağılımı.
Dergi Etki DilimleriURAP Dünya sıralamasında en çok üniversitesi yer alan ülkelerde 2012-2016 yılları arasında yayımlanan makalelerin yer aldığı dergilerin etkinlik çarpanı dilimine göre oransal dağılımı. (İran Rusya Türkiye benzerliği)
0%10%20%30%40%50%60%70%80%90%
100%
A.B.
D. Çin
Holla
nda
İngi
ltere
Alm
anya
Avus
tral
ya
Fran
sa
Kana
da
İtaly
a
Japo
nya
İspan
ya
Güne
y Ko
re
Tayv
an
Brez
ilya
İran
Avus
tury
a
Rusy
a
Polo
nya
Hind
istan
Türk
iye
İlk %25 İkinci %25 Üçüncü %25 Son %25
Dergi Etki DilimleriURAP 2012-2016 tarihli makaleler değerlendirmeye alındığında ilk %25’lik dilimde en çok yayını bulunan ilk 20 Türk üniversitesi
0100020003000400050006000700080009000
ORTA DOĞU TEKNİK ÜNİVERSİTESİ
İSTANBUL T
EKNİK ÜNİVERSİTESİ
İSTANBUL Ü
NİVERSİTESİ
HACETTEPE ÜNİVERSİTESİ
İHSAN DOĞRAMACI B
İLKENT…
EGE ÜNİVERSİTESİ
GAZİ ÜNİVERSİT
ESİ
ANKARA ÜNİVERSİTESİ
BOĞAZİÇİ Ü
NİVERSİTESİ
DOKUZ EYLÜL Ü
NİVERSİTESİ
KOÇ ÜNİVERSİTESİ
YILDIZ TEKNİK ÜNİVERSİT
ESİ
ERCİYES ÜNİVERSİT
ESİ
ATATÜRK ÜNİVERSİTESİ
MARMARA ÜNİVERSİTESİ
SELÇ
UK ÜNİVERSİTESİ
SABANCI Ü
NİVERSİTESİ
KARADENİZ TEKNİK ÜNİVERSİTESİ
AKDENİZ ÜNİVERSİT
ESİ
ULUDAĞ ÜNİVERSİT
ESİ
İlk %25 İkinci %25 Üçüncü %25 Son %25
Dergi Etki DilimleriURAP 2017-2018 Dünya Sıralaması’ında ilk 20’de yer alan üniversitelerin %25’lik dilime düşen yayın oranına göre sıralaması (2012-16 tarihli makaleler değerlendirmeye alınmıştır).
0%10%20%30%40%50%60%70%80%90%
100%
Massa
chuse
tts In
stitu
te of…
Universi
ty of C
aliforn
ia Berkeley
Imperia
l Colle
ge Lo
ndon
Harvard
Unive
rsity
Universi
ty of C
ambridge
Stanfo
rd U
niversi
ty
Universi
ty of O
xford
Universi
ty of C
aliforn
ia San D
iego
Columbia Unive
rsity
Universi
ty of P
ennsylva
nia
Universi
ty of W
ashingto
n Seattl
e
Universi
ty Colle
ge London
Universi
ty of C
aliforn
ia Los A
ngeles
Pierre &
Marie
Curie U
niversi
ty -…
Cornell U
niversi
ty
Universi
ty of M
ichigan
Johns H
opkins U
niversi
ty
Universi
ty of T
oronto
Tsinghua U
niversi
ty
Shanghai Ji
ao Tong Unive
rsity
%Q1 %Q2 %Q3 %Q4
Dergi Etki DilimleriURAP 2017-2018 Dünya Sıralaması’ında ilk 20’de yer alan
üniversitelerin %25’lik dilime düşen yayın sayılarına göre sıralaması
(2016 tarihli makaleler değerlendirmeye alınmıştır).
0
5000
10000
15000
20000
25000
Harv
ard
Univ
ers
ity
Pie
rre &
Marie C
urie U
niv
ers
ity -…
Univ
ers
ity o
f Toro
nto
Univ
ers
ity C
ollege London
Univ
ers
ity o
f O
xfo
rd
Sta
nfo
rd U
niv
ers
ity
Univ
ers
ity o
f M
ichig
an
Johns Hopkin
s Univ
ers
ity
Univ
ers
ity o
f Cam
bridge
Univ
ers
ity o
f W
ash
ingto
n S
eatt
le
Mass
achuse
tts In
stitute
of…
Imperial College L
ondon
Tsinghua U
niv
ers
ity
Univ
ers
ity o
f Pennsy
lvania
Univ
ers
ity o
f Califo
rnia
Los Angele
s
Colu
mbia
Univ
ers
ity
Univ
ers
ity o
f Califo
rnia
Berk
ele
y
Shanghai Jiao T
ong U
niv
ers
ity
Univ
ers
ity o
f Califo
rnia
San D
iego
Corn
ell U
niv
ers
ity
Q1 Q2 Q3 Q4