เป็นถ้ำที่เกิดขึ้นจากธรรมชาติทั้งหมดบริเวณรอบถ้ำทั้งสองจะเป็นป่าดงดิบ มีต้นไม้น้อยใหญ่ขึ้นหนาทึบทั่วไป ในป่าข่อย(ดงข่อย) สาเหตุที่มีการขนานนามว่าดงข่อยคือ ทั่วบริเวณป่านี้จะมีเเต่ต้นข่อยขึ้นหนาทึบเเผ่กิ่งก้านทั่วเต็มป่าเเละบริเวณป่านี้จะเป็นซอกหิน เป็นหน้าผาทั้งหมดต้นข่อยก็ข้นตามซอกหิน หน้าผา การเดินทางต้องปีนป่ายผาเเละเดินลัดตามซอกหินผา มีถ้ำอยู่ 2 เเห่งด้วยกัน คือ
 1.ถ้ำพระ ชื่อนี้มาจาก เมื่อครั้งเเรกที่มีผู้คนไปพบเห็นถ้ำเเห่งนี้ ได้เจอวัตถุโบราณเป็นจำนวนมาก เช่น ถ้วยโถโอชาม มีด ดาบ หม้อดิน รวมถึงพระื พระพุทธรูปที่มีทั้งทำจากไม้ ดิน หิน โลหะ ซึ่งในวัตถุที่เจอนี้มากที่สุดคือ พระพุทธรูป จึงทำให้ชื่อว่าถ้ำพระ เอกลักษณ์ของถ้ำพระนี้ คือ เป็นห้องโถงหลายห้อง ช่องทางเข้าห้องโถงเเคบเเต่ภายในห้องโถงกว้าง เหมาะสำหรับเป็นที่หลบซ่อน จากตำนานสันนิษฐานว่า ครั้งเมื่อสมัยโบราณ สมัยสงครามเเย่งชิงดินเเดนเเคว้นสิบสิงปันนาหรือเมืองล้านช้าง ได้มีผู้คนมาหลบซ่อนอยู่ในถ้ำเเห่งนี้ตอนหนีสงคราม รวมถึงวัตถุต่างๆที่พบ เเละได้ทิ้งหลักฐานไว้ ในประวัติศาสตร์ไม่ทราบเเน่ชัดว่าบุคคลเหล่านั้นเป็นใครมาจากไหน
2.ถ้ำเสา ลักษณะเด่นของถ้ำนี้คือ เป็นถ้ำที่มีความสวยงามมาก ภายในถ้ำมีหินงอกหินย้อยสลับซับซ้อน เป็นรูปร่างต่างๆ หากเราฉายไฟไปยังหินงอกหินย้อยเหล่านี้จะื เห็นเสมือนประกายเพชรเเวววับ สวยงามจับตา ลักษะพิเศษสุดคือมีเสาหินที่เกิดจากธรรมชาติที่เกิดขึ้นอยู่กลางห้องโถงของถ้ำ ลักษณะของเสาค่อนข้างกลม ความสูงของเสาประมาณ 5 ฟุต รัศมีประมาณ 1 ฟุต มีเเสงกระพริบวับวาว เมื่อสะท้อนกับเเสงไฟจึงให้ชื่อว่า"ถ้ำเสา"