Hasil Penelitian Yang Mungkin Dikutip Salah Lebih Dari Hasil Yang Kuat, Studi Menemukan | Ilmu

Hasil penelitian ilmiah yang mungkin salah menarik lebih banyak perhatian daripada hasil yang kuat, menurut para akademisi yang menduga batas publikasi mungkin lebih rendah untuk artikel dengan kesimpulan yang lebih menarik.

Studi di jurnal ilmiah, psikologis dan ekonomi terbaik yang tidak bertahan ketika orang lain mengulanginya, rata-rata, dikutip lebih dari 100 kali lebih sering dalam artikel lanjutan daripada karya yang bertahan dalam ujian waktu.

Hasilnya – yang dengan sendirinya tidak terlepas dari kebutuhan untuk pemeriksaan – telah membuat penulis menduga bahwa artikel yang lebih menarik lebih mudah disebarluaskan oleh kritikus dan editor jurnal dan, setelah diterbitkan, menarik lebih banyak perhatian.

“Ini bisa membuang-buang waktu dan sumber daya,” kata Dr. Marta Serra-Garcia, yang mempelajari ekonomi perilaku dan eksperimental di University of California, San Diego. “Tetapi kami tidak dapat menyimpulkan bahwa ada sesuatu yang benar atau tidak berdasarkan studi dan replikasi.” Yang dibutuhkan, kata dia, adalah cara sederhana untuk mengecek seberapa sering studi tersebut diulangi dan apakah hasil aslinya sudah dikonfirmasi atau tidak.

Studi di Kemajuan ilmiah adalah yang terakhir menyoroti “Krisis replikasi” di mana hasilnya, terutama dalam ilmu sosial dan kedokteran, gagal bertahan ketika peneliti lain mencoba mengulangi eksperimen. Menyusul artikel berpengaruh di tahun 2005 berjudul Mengapa Sebagian Besar Hasil Pencarian Yang Dipublikasikan Salah, tiga proyek besar menemukan tingkat replikasi serendah 39% di jurnal psikologi, 61% di jurnal ekonomi, dan 62% dalam ilmu sosial diterbitkan di Nature and Science, dua jurnal paling bergengsi di dunia.

Bekerja dengan Uri Gneezy, profesor ekonomi perilaku di UCSD, Serra-Garcia menganalisis seberapa sering studi dari tiga proyek replikasi utama dikutip dalam makalah penelitian berikutnya. Studi yang gagal replikasi mencatat rata-rata 153 lebih banyak kutipan selama periode peninjauan dibandingkan dengan hasil yang berkelanjutan. Untuk studi ilmu sosial yang diterbitkan dalam Science and Nature, mereka yang gagal replikasi biasanya mendapat 300 kutipan lebih banyak daripada yang menolak. Hanya 12% kutipan yang mengakui bahwa proyek replikasi gagal untuk mengkonfirmasi temuan yang relevan.

Sistem universitas meminta jurnal dan peneliti untuk mempublikasikan temuan yang menarik, dan kutipan dipertimbangkan untuk promosi dan masa jabatan. Tetapi sejarah menunjukkan lebih dari itu hasil yang dramatis, itu lebih mungkin mereka menjadi salah. Dr Serra-Garcia mengatakan menerbitkan nama editor di surat kabar dapat membantu memperbaiki situasi.

Profesor Gary King, seorang ilmuwan politik di Universitas Harvard, mengatakan temuan terbaru ini bisa menjadi kabar baik. Dia ingin para peneliti memfokuskan upaya mereka pada klaim yang rawan ketidaksepakatan, sehingga mereka dapat mengumpulkan lebih banyak data dan mengungkap kebenaran. “Kalau begitu, dalam beberapa hal kita harus menganggap hasil artikel yang menarik ini sebagai berita bagus bagi kesehatan komunitas universitas,” ujarnya.

Profesor Brian Nosek dari Universitas Virginia, yang mengepalai Kolaborasi Sains Terbuka untuk menilai reproduktifitas dalam penelitian psikologi, menyerukan agar berhati-hati. “Kami berasumsi bahwa sains mengoreksi dirinya sendiri. Yang kami maksud adalah bahwa kesalahan akan terjadi secara teratur, tetapi sains menghapusnya dan menekannya dalam dialog berkelanjutan antara ilmuwan yang melakukan, melaporkan, dan mengutip penelitian satu sama lain. Jika hasil yang lebih dapat direproduksi cenderung tidak dikutip, ini mungkin menunjukkan bahwa sains tidak gagal untuk mengoreksi dirinya sendiri; itu bisa pergi ke arah yang salah.

“Bukti tidak cukup untuk menarik kesimpulan seperti itu, tetapi harus menarik perhatian kita dan membuat kita melihat lebih dekat bagaimana sistem sosial ilmu pengetahuan mempromosikan koreksi diri dan bagaimana mereka dapat ditingkatkan,” tambahnya.