Mandeep Mehra, penulis utama kedua artikel tersebut, mencoba melakukan review kembali data yang dianalisis dengan mengundang pihak ketiga dengan ijin Sapan Depai, pimpinan Surgisphere yang juga menjadi penulis dalam artikel tersebut.[i] Sayangnya, Surgisphere justru tidak dapat memberikan akses ke set data sehingga review tidak dapat dilakukan. Mehra kemudian menarik artikel tersebut dan meminta maaf kepada publik.
Sebenarnya, apa persoalannya? Mengapa Lancet dan NEJM yang dikenal ‘ganas’ itu sampai bobol dan gagal menyaring artikel yang sebenarnya bermasalah?
Ada dua hal utama menyangkut persoalan ini. Pertama, masalah tsunami ilmu COVID-19 yang sulit dibendung dan membuat banyak saintis tenggelam di dalamnya. Kedua, masalah kepentingan publik karena artikel yang terbit di Lancet mengenai hidroksikuinolon membuat Badan Kesehatan Dunia (WHO) menghentikan studi ujicoba solidaritas mereka yang dilakukan di banyak negara.
Tsunami ilmu COVID-19
Sejak COVID-19 muncul di akhir tahun 2019 dan menyebar ke seantero dunia di bulan Januari 2020, aktivitas ilmiah mulai memberi fokusnya kepada virus ini – mulai dari molekuler, modeling penyebaran virus, pengobatan, vaksin, hingga kebijakan dalam konteks mikro dan makro. Jumlah artikel tentang COVID-19 yang terbit sejak Januari hingga awal Mei 2020 sudah mencapai 23 ribu artikel, dan terus bertambah sekitar 20 artikel per hari.[ii] Jika digabungkan dengan artikel pre-print – artikel yang disebarkan ke publik sebelum melalui review – dan artikel terkait COVID-19 yang terbit sebelum 2020, jumlahnya mencapai 59 ribu artikel.
Di satu sisi, banyaknya jumlah artikel terkait COVID-19 ini adalah berkah keilmuan di masa pandemi. Banyak saintis berlomba menulis dan menyampaikan hasil pengamatan dan penelitian mereka. Gairah itu muncul seketika sehingga publik akademia dan pelaksana kebijakan publik mendapatkan banyak pengetahuan baru yang dapat menjadi dasar penelitian selanjutnya dan basis kebijakan yang akan diimplementasikan.
Di sisi lain, gelombang artikel tentang COVID-19 menyimpan masalah keilmuan. Karena para saintis berkejaran dengan waktu untuk dapat mengatasi pandemi COVID-19, kualitas artikel menjadi taruhannya. Banyak jurnal merespons pandemi ini dengan membuka jalur cepat (fast track) dan menggeser fokus mereka menjadi COVID-19-oriented dengan membuka peluang lebih besar bagi artikel terkait COVID-19 untuk diterbitkan. Salah satu konsekuensinya adalah memadatnya waktu yang disediakan untuk melakukan peer review.
Proses peer review pada prinsipnya adalah upaya menjaga kualitas penelitian yang diterbitkan. Jadi, sebelum sebuah artikel dianggap layak terbit, artikel tersebut harus melewati proses kajian oleh sesama saintis di bidang yang sama untuk dinilai basis dan latar belakangnya, kebaruannya, ketepatan metodologinya, interpretasi hasilnya, kesesuaian dengan temuan sebelumnya, dan penyimpulan atas temuannya. Dengan banyaknya artikel yang masuk dan target untuk dapat menerbitkan sebanyak-banyaknya artikel, banyak jurnal juga harus memutar otak bagaiman tetap dapat memastikan peer review berjalan dengan baik.
Persoalannya adalah ketersediaan peer, kolega sesama saintis, yang bersedia mengkaji tulisan yang jumlahnya membludak itu. Ketika nyaris semua orang sibuk dengan penelitiannya masing-masing, waktu mereka untuk melakukan peer review juga menjadi semakin terbatas. Melakukan peer review adalah kegiatan sukarela para saintis. Mereka tidak dibayar untuk melakukan pengkajian. Sebagian saintis menganggap kegiatan ini adalah wujud kontribusi mereka terhadap masyarakat atau altruisme saintifik. Sebagian lagi menganggap ini adalah wujud imbal balik dalam proses penerbitan ilmiah atau simbiosis mutualisme. Ketika seorang saintis menulis, ada orang lain yang mengkaji sehingga ketika ada permintaan untuk mengkaji orang lain, maka ia merasa harus melakukannya sebagai imbal balik saintifik. Sebagian lagi – terutama periset pemula – mengambil kesempatan ini karena iming-iming yang ditawarkan jurnal, misalnya dijanjikan akan mendapat prioritas jalur cepat, reduksi biaya publikasi, atau acknowledgment di platform peer reviewsemacam Publons.
Sayangnya, proses peer review ini memakan waktu yang tak singkat. Bergantung pada tingkat kompleksitas artikel, kegiatan melakukan pengkajian ini dapat memakan waktu 1-8 jam. Pengkaji, atau reviewer, harus membaca dengan teliti sebelum memberikan umpan balik terhadap artikel tersebut. Dan karena beratnya beban pengkajian ini, para saintis umumnya membatasi diri dalam menerima tawaran mengkaji artikel. Umumnya, maksimal tiga artikel dalam sebulan. Itu pun sudah dianggap terlalu banyak karena dapat mengganggu aktivitas utama para saintis. Satu artikel per bulan adalah angka yang lumrah dan masuk akal.
Dengan keterbatasan jumlah saintis yang dapat melakukan peer review, dan saintis-saintis top pun sibuk dengan penelitian mereka, maka jurnal berupaya mencari alternatif reviewer. Imbasnya, reviewer yang dipilih sangat mungkin bukan orang yang memahami secara detail subyek tersebut. Pada kondisi di luar pandemi pun, kejadian ini sangat mungkin terjadi. Artikel tentang subyek A ditelaah oleh saintis bidang B yang pemahamannya tentang subyek A terbatas. Apalagi pada situasi seperti ini ketika kebutuhan peer reviewmelonjak drastis sedangkan sumber daya pengkaji sangat terbatas.
Jika pun ternyata masih ada saintis top yang bersedia melakukan review, pengkajian mereka memiliki keterbatasan. Peer review tidak ditujukan untuk dapat mendeteksi set data yang dianggap anomali. Pengkajian dilakukan untuk menilai apakah data yang ditampilkan masuk akal, interpretasi dilakukan dengan tepat, dan pengambilan simpulan dapat dipertanggungjawabkan. Reviewer tidak memiliki hendaya untuk membuktikan kecurangan atau ketidakjujuran dalam set data meski banyak jurnal mensyaratkan keterbukaan data itu sendiri.
Proses peer review ini pun pada dasarnya memang proses yang pelan dan melibatkan pengkajian yang hati-hati. Bahkan, seringkali dilakukan berulang-ulang. Reviewer memberikan komentar dari hasil kajiannya, menyampaikannya ke penulis artikel, lalu penulis artikel membuat revisi dan mengirim balik hasil revisinya, kemudian pengkajian dilakukan kembali. Bisa beronde-ronde. Bisa memakan waktu berbulan-bulan. Maka, cukup aneh dan ajaib ketika satu artikel dapat diproduksi dalam waktu tiga pekan, dimasukkan ke jurnal, melalui peer review selama beberapa hari, lalu terbit. Pasti ada kualitas yang direduksi dalam proses yang karbit ini.
Artikel ini contohnya. Sebuah systematic review dan meta-analisis terkait physical distancing, face mask dan eye protection.[iii] Mereka menyaring artikel yang terbit hingga 3 Mei 2020 dan mendapatkan 604 artikel yang sesuai kriteria untuk dinilai setelah penyaringan. Pada pengkajian utama, ada 172 artikel untuk dimasukkan systematic review dan 44 artikel untuk meta-analisis. Artikel ini kemudian berhasil terbit pada 1 Juni 2020, kurang dari satu bulan sejak analisis dilakukan. Orang yang pernah melakukan systematic review dan meta-analisis pasti akan terkagum-kagum dengan proses superkilat ini. Berapa lama rentetan penulis itu melakukan analisis, menuliskannya, menyepakati semua interpretasi di dalamnya? Berapa lama peer review dilakukan?
Bias politik
Inilah yang dapat dikaitkan dengan permasalahan utama kedua: seberapa besar dampaknya artikel-artikel tersebut terhadap kebijakan global. Masalah kualitas artikel yang telah dijelaskan di awal adalah sebuah keniscayaan. Tapi, mengapa tidak semua artikel tersebut dikaji kembali, dimintakan review pihak ketiga, atau bahkan diminta untuk ditarik? Karena tidak semua artikel yang terbit memiliki imbas terhadap kebijakan global. Ini yang disebut sebagai bias politik sains.
Apa yang diterbitkan oleh Mehra terkait hidroksikuinolon berdampak besar terhadap kebijakan WHO yang kemudian menghentikan sementara ujicoba solidaritas hidroksikuinolon di banyak negara. Ini memantik perhatian banyak saintis yang kemudian mengkaji artikel tersebut lebih mendalam. Persoalan ketidakjelasan data pun akhirnya terungkap karena banyak mata tertuju dan banyak kepentingan yang berkaitan dengannya.
Tetapi, berapa banyak artikel dengan proses yang serupa luput dari perhatian banyak orang?
Kita layak berterima kasih terhadap skandal ini. Banyak orang kemudian kembali membuka matanya bahwa membaca artikel secara kritis harus tetap menjadi bekal utama para saintis dan pembuat kebijakan. Kita tidak lantas dengan mudah terpukau pada nama jurnal, nama penulis, atau nama institusi. Kita tidak menyerahkan beban kritik sepenuhnya kepada proses peer review untuk dengan mudah menelan mentah-mentah artikel yang telah terbit. Mata pisau analisis tetap harus diasah dalam membaca semua artikel yang tersaji. Skeptisme harus tetap dipelihara ketika menerima bukti-bukti baru. Bukan untuk tidak mempercayai segala yang telah terbit, tetapi untuk mengolah berlimpahnya pengetahuan yang ada saat ini menjadi pemahaman yang utuh.
Pengetahuan saintifik yang tersaji saat ini adalah kumpulan kebenaran relatif. Banyak faktor yang membuatnya nampak seperti kebenaran. Mata pisau analisis kita dapat mengubahnya, memodifikasinya, bahkan membantahnya sebagai kebenaran relatif yang lain. Dan di tengah tsunami ilmu COVID-19 yang berjalan saat ini, kita tak pernah tahu sebanyak apa kebenaran relatif yang ada, kita terhanyut dan terombang-ambing di dalamnya. Kadang begini, kadang begitu. Hari ini A, besok dapat berubah jadi Z.
Namun, tetap ada hikmah di balik semuanya. Kita memulai belajar kearifan. Jika ilmu pengetahuan itu superfisial, kita menggalinya lebih dalam, merangkumnya, mengkoneksikannya satu sama lain demi pemahaman yang komprehensif. Pada satu titik, kita akan menemukan substansi, intisarinya: kearifan.
Tulisan ini akan ditutup dengan doa yang diajarkan pengasuh kami di pesantren ketika menuntut ilmu. Sebagai pengingat. Allahummaftah ‘alaynaa futuuhal ‘aarifiina bilhikmah wansyur ‘alaynaa min khazaaini rahmatika wazakkirnaa maa nasiinaa ya Dzal Jalaali wal Ikraam. Ya Allah, bukakanlah pintu kearifan dengan hikmah kebijaksanaan, taburkanlah atas kami dari khazanah perbendaharaan rahmat kasih sayangMu, dan ingatkanlah apa-apa yang terlupa dari kami, wahai Pemilik Kebesaran dan Kemuliaan.
Ahmad Fuady
Rotterdam 1441
[i] Mehra MR, Rutszichka F, Patel AN. Retraction—Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis. https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31324-6/fulltext
[ii] Brainard J. Scientists are drowning in COVID-19 papers. Can new tools keep them afloat?https://www.sciencemag.org/news/2020/05/scientists-are-drowning-covid-19-papers-can-new-tools-keep-them-afloat
[iii] Chu DK, Akl EA, Duda S, et al. Physical distancing, face masks, and eye protection to prevent person-to-person transmission of SARS-CoV-2 and COVID-19: a systematic review and meta-analysis. https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31142-9/fulltext
Luar biasa padat tulisan ini. Terima kasih Ustadz Doktor…..