Meskipun cross-validation adalah teknik yang sangat berguna dalam machine learning dan statistika, metode ini juga memiliki beberapa keterbatasan yang perlu diperhatikan oleh para praktisi. Pemahaman terhadap keterbatasan ini penting agar penggunaan cross-validation tetap tepat guna.
Permasalahan Komputasi
Cross-validation, terutama jenis seperti LOOCV, dapat sangat mahal secara komputasi, terutama pada dataset yang besar. Hal ini bisa menjadi kendala dalam eksperimen model yang memerlukan waktu respons yang cepat.
Tidak Selalu Cocok untuk Semua Data
Pada data dengan struktur khusus, seperti time series, cross-validation standar seperti K-Fold dapat menyebabkan kebocoran informasi dan menghasilkan estimasi performa yang tidak akurat. Penyesuaian metode diperlukan untuk jenis data seperti ini.
Potensi Bias pada Data Tidak Seimbang
Pada dataset dengan distribusi kelas yang tidak seimbang, metode cross-validation standar dapat menghasilkan hasil yang bias. Untuk mengatasi masalah ini, diperlukan varian seperti Stratified K-Fold Cross-Validation yang menjaga proporsi kelas di setiap fold.