Opini: Bibliometrik dan Pemeringkatan Universitas Tidak Dapat Diandalkan untuk Menilai Kinerja Akademisi
Goodhart’s law — “When a measure becomes a target, it ceases to be a good measure” — citations are gamed.
Opini Ivan Oransky dan rekan-rekannya berpendapat bahwa untuk meningkatkan kualitas ilmu pengetahuan, harus dilakukan dengan mengurangi pentingnya sitasi dalam mempromosikan, membiayai, dan merekrut ilmuwan.
Sitasi sering dianggap sebagai ukuran prestasi dalam dunia akademis, meskipun nilai sebenarnya sulit ditentukan dan dapat dimanfaatkan dengan berbagai cara.
Saat ini sistem peringkat universitas — seperti THE, QS–dan bibliometrik banyak didasarkan pada publikasi dan sitasi. Ini kebanyakan digunakan dan mempengaruhi pendanaan dan keberhasilan akademik, serta menciptakan insentif yang seringkali manipulatif. Upaya memanipulasi ini termasuk pembentukan kartel sitasi, jual beli authorship, jurnal kloning untuk mengecoh peneliti, atau mengutip pekerjaan mereka sendiri secara berlebihan (self-citation).
Situasi ini mendorong hubungan transaksional di universitas dengan memberikan “bonus” kepada dosen yang menerbitkan makalah di jurnal berperingkat tinggi. Beberapa institusi bahkan dikabarkan menyusun skema untuk merekrut akademisi ternama yang menambahkan afiliasi pada karya mereka atau beralih pekerjaan. Sitasi diri sendiri juga umum terjadi.
Masalah ini memicu tindakan yang merugikan integritas penelitian, seperti munculnya publikasi rendah kualitas dan persaingan yang tidak sehat dalam dunia penelitian.
Penyelesaian masalah ini memerlukan perubahan sistem insentif, di mana pentingnya sitasi dalam promosi, pendanaan, dan perekrutan ilmuwan dikurangi atau ditempatkan secara proporsional.
Bagaimana dengan penerbitan ilmiah?
Mereka juga harus bergerak jauh dari model yang hanya berfokus pada volume untuk mendapatkan keuntungan. Universitas dan penyandang dana juga dapat memberikan penghargaan atas perilaku yang sejalan dengan praktik penelitian yang baik, seperti berbagi data dan koreksi — misal: penerapan prinsip sains terbuka (open science), beberapa prinsip FAIR
Meskipun ada perkembangan baru dalam upaya ini, seperti di UK yang membatasi dominasi pentingnya publikasi dalam penilaian proposal riset , serta dukungan terhadap Deklarasi tentang Penilaian Penelitian (DORA) — sfdora.org dan Manifesto Leiden, masih ada jalan yang harus ditempuh untuk mewujudkannya.
Upaya ini penting untuk mendukung ilmu pengetahuan yang memiliki dampak positif dan mendorong perilaku sesuai dengan praktik penelitian yang baik.
— —
Resume dari artikel:
Opinion: How bibliometrics and school rankings reward unreliable science https://www.bmj.com/content/382/bmj.p1887
