Malzeme Bilimi Modellerinde Bibliyografik Veri Sızıntısı Tespiti
Materials-confounding-check CLI'si, Clever Materials testini kullanarak malzeme bilimi ML modellerinin kimya yerine yazar, dergi veya yıl gibi bibliyografik ipuçlarını öğrenip öğrenmediğini ortaya çıkarıyor.
Malzeme bilimi için eğitilen makine öğrenmesi modelleri bazen kimyasal yapıyı değil, veri setindeki bibliyografik 'membrete' (yazar, dergi, yıl) desenlerini öğrenebiliyor. Bu durum literatürde 'bibliyografik confounding' veya metadata sızıntısı olarak adlandırılıyor; model kağıt üzerinde iyi görünür ama gerçek dünyada başarısız olur. Jablonka ve arkadaşlarının Clever Materials (2026) çalışması, bu deseni beş farklı malzeme bilimi görevinde yaygın olarak gösterdi.
Bu bulguyu operasyonelleştirmek için geliştirilen materials-confounding-check, mcc check komutuyla çalışan bir CLI aracı. Dört alt testten oluşuyor: kimyasal tanımlayıcılardan bibliyografik bilgiyi tahmin etmeye çalışan bir metadata sınıflandırıcısı, sadece tahmin edilen metadata ile kimyasal tanımlayıcı tabanlı modelin performansını karşılaştıran 'bibliyografik iz' testi, yazar/yıl bazında ayrılmış veri bölmesiyle performans düşüşünü ölçen bir test ve son olarak düşük/orta/yüksek risk skoru veren bir karar mekanizması.
Araç, keyfi eşik belirleme tuzağına (Clever-Hans anti-pattern) düşmemek için istatistiksel titizliğe önem veriyor: 100 permütasyonluk deterministik bir sıfır dağılımı kullanılıyor ve karar yüzde 95'lik dilime göre veriliyor. Ayrıca kasıtlı olarak sızıntı enjekte edilmiş bağımsız bir test fixture'ı ile doğrulama yapılıyor ve sonuç dört farklı seed'de tutarlı çıkıyor. Giskard gibi genel tabular sızıntı araçları bu tür domain'e özgü bibliyografik testi kapsamadığından, bu araç malzeme bilimi topluluğu için özel bir boşluğu dolduruyor. Proje AGPL-3.0 lisansıyla açık kaynak olarak sunuluyor ve %88 test kapsamına sahip.