İlin Jeolojik yapısında kalkerli oluşumlar önemli yer tuttuğundan pek çok sayıda mağara oluşmuştur. Bunların bir bölümünde, insanlarca konut olarak kullanıldığını gösterir izlere rastlanmaktadır. Suya karşı direnci az olan kalkerlerin erimesi ile ortaya çıkan bu doğal mağaralar genellikle vadi boylarında yoğunlaşmıştır. Bunların en ünlüleri Botan Mağaralarıdır.