Tekrarlanabilirlik Krizi ve Veri Paylaşımının Faydası

Yayımlanan birçok bulgunun tekrarlanması zordur ve gizli veri bunun büyük nedenlerinden biridir. Tekrarlanabilirlik krizinin ne olduğunu, neden ortaya çıktığını ve açık veri ile şeffaf yöntemlerin araştırmaya güveni nasıl yeniden inşa ettiğini öğrenin.

Tekrarlanabilirlik krizi nedir

Son on yılda birçok alandaki araştırmacılar, yayımlanan sonuçların endişe verici bir bölümünün tekrarlanmasının zor ya da olanaksız olduğunu — yani aynı yöntemleri izleyen bağımsız ekiplerin aynı bulgulara ulaşamadığını — fark etti. 2010'lardan bu yana geniş biçimde tartışılan bu örüntüye sıkça tekrarlanabilirlik krizi denir. Bu, bilimin çoğunun yanlış olduğu anlamına gelmez; ama bilimi denetleyen sistemin gerçek boşlukları olduğu anlamına gelir.

Sonuçlar neden tekrarlanamaz

Sorunu besleyen birkaç etken vardır:

Gizli veri. Altta yatan veri hiç paylaşılmazsa, kimse çözümlemeyi yeniden çalıştıramaz.
Eksik yöntemler. Makalelerde çoğu zaman çalışmayı yinelemek için gereken tam adımlar, kod ya da parametreler bulunmaz.
Seçici raporlama. Ağırlıkla olumlu ya da şaşırtıcı sonuçları yayımlamak kaydı çarpıtır.
Küçük ya da gürültülü örneklemler. Sınırlı veriden çıkan bulgular yeniden test edildiğinde ayakta kalmayabilir.

Bunların ne kadarının paylaşılmayan şeye dayandığına dikkat edin.

Açık veri ve şeffaflık nasıl yardımcı olur

Veriyi paylaşmak

Bir makalenin arkasındaki veri kümesi — kalıcı bir tanımlayıcı ve net bir lisansla — açıkça erişilebilir olduğunda, herkes sonucu yeniden üretmeyi deneyebilir. Tekrarlanabilirlik varsayımsal olmaktan çıkıp mümkün hâle gelir.

Yöntem ve kodu paylaşmak

Açık, ayrıntılı yöntemler ve çözümleme kodu, başkalarının ham veriden sonuca giden tam yolu izlemesine olanak tanır ve "benim makinemde çalışıyordu" boşluğunu kapatır.

Sürümleme ve köken

Verinin nereden geldiğini ve zaman içinde nasıl değiştiğini kaydetmek, bir sonucun onu üreten tam girdilere kadar izlenebilmesi demektir.

Açık değerlendirme

Şeffaf, imzalı hakem değerlendirmesi, sorunları kapalı bir değerlendirmenin arkasına gizlemek yerine daha erken ve açıkça ortaya çıkarır.

Çıkarılacak ders

Tekrarlanabilirlik krizi büyük ölçüde bir paylaşım krizidir. Bir araştırmacının elindeki en güçlü tek yanıt açıktır: verinizi ve yöntemlerinizi açıkça yayımlayın, kalıcı biçimde kimliklendirin ve net biçimde lisanslayın. Şeffaf araştırma, tekrarlanabilir araştırmadır — ve kalıcı güveni kazandıran şey tekrarlanabilir araştırmadır.