เป็นวัดที่มีความเก่าแก่มากแห่งหนึ่ง สร้างขึ้นเมื่อราว ๆ ปี พ.ศ. 2458 โดยหลวงพ่อพรหม ถาวโร พระเกจิชาวพระนครศรีอยุธยา ซึ่งหลังจากที่ท่านได้มรณภาพแล้ว บรรดาศิษยานุศิษย์ได้นำร่างละสังขารแต่ไม่เน่าเปื่อยของท่านมาให้ผู้เลื่อมใสศรัทธากราบไหว้ที่วัดนี้ กลายเป็นไฮไลท์ที่ดึงดูดนักท่องเที่ยวได้เดินทางเข้ามาเยี่ยมชมวัดนี้กันมากมาย รู้จักหลวงพ่อพรหม หลวงพ่อพรหม ถาวโร ถือกำเนิดในปี พ.ศ. 2427 ในจังหวัดพระนครศรีอยุธยา เมื่อเยาว์วัยได้ศึกษา อ่านเขียนกับพระในวัดใกล้บ้าน โดยศึกษาอักษรขอมควบคู่กับภาษาไทยตั้งแต่ก่อนอุปสมบท ต่อมาได้ศึกษาเล่าเรียนภาษาขอมจนชำนาญ และเริ่มปฏิบัติวิปัสสนากรรมฐานพร้อมกับเริ่มศึกษาวิชาไสยศาสตร์และคาถาอาคมกับอาจารย์ที่เป็นฆราวาส ครั้นท่านได้อุปสมบทแล้วจึงได้ศึกษาอสุภกรรมฐาน สมถะกรรมฐาน วิปัสสนากรรมฐาน โดยหลวงพ่อพรหมนั้นจะเดินธุดงค์ทั้งเส้นทางใกล้และไกล ครั้งหนึ่งเคยเดินธุดงค์ไปประเทศพม่าถึงเมืองร่างกุ้ง และธุดงค์อยู่ในประเทศพม่าเป็นเวลานาน จึงเดินทางกลับประเทศไทย ขณะเดินเรื่อย ๆ ไปจนถึงเขาช่องแค จังหวัดนครสวรรค์ เกิดฝนตกหนัก หลวงพ่อได้หลบเข้าไปอยู่ในถ้ำซึ่งเป็นถ้ำเล็ก ๆ ซึ่งเป็นสถานที่ที่ท่านเห็นว่ามีความวิเวกเหมาะสำหรับการบำเพ็ญธรรม จึงเริ่มบำเพ็ญเพียร ณ ช่องเขาแห่งนี้ตั้งแต่นั้นเป็นต้นมา ขณะที่หลวงพ่อจำศีลปฏิบัติธรรมอยู่นั้น ที่วัดช่องแคมีพระภิกษุจำพรรษาอยู่แล้ว 2 รูป แต่ยังไม่มีเจ้าอาวาส ภายในวัดยังไม่มีเสนาสนะใด ๆ อีกทั้งบริเวณวัดรกร้างมากชาวบ้านในละแวกนั้นที่มีความนับถือเลื่อมใสหลวงพ่อเป็นทุนเดิม จึงได้นิมนต์ให้หลวงพ่อลงมาจำพรรษาข้างล่างซึ่งก็คือวัดช่องแคในปัจจุบันนั่นเอง และหลวงพ่อพรหมได้เป็นเจ้าอาวาสรูปแรกของวัดช่องแค โดยที่ชาวบ้านร่วมกันบริจาคที่ดินเพิ่มขึ้น ในปี พ.ศ. 2460 หลวงพ่อได้เริ่มต้นสร้างวัดจากวัดที่รกร้างไม่มีเสนาสนะใด ๆ มาเป็นวัดที่มีกุฏิ ศาลาการเปรียญ โรงครัว ซึ่งส่วนหนึ่งของทรัพย์สินมาจากการขายสมบัติส่วนตัวและมรดกของหลวงพ่อเอง ต่อมาเมื่อทางวัดจะสร้างโบสถ์ซึ่งต้องใช้ทุนทรัพย์สูง คณะกรรมการของวัดจึงขออนุญาตหลวงพ่อสร้างวัตถุมงคลขึ้น ประกอบกับหลวงพ่อพรหมนั้นชอบระฆัง ดังนั้น การสร้างวัตถุมงคลของท่านจึงมีรูประฆังและกลายเป็นเอกลักษณ์อย่างหนึ่งของหลวงพ่อพรหมโดยปริยาย หลวงพ่อพรหมเป็นเจ้าอาวาสวัดช่องแคนานถึง 54 ปี และได้ลาออกในปี พ.ศ. 2514 ก่อนมรณภาพเมื่อปี 2518 ณ โรงพยาบาลบ้านหมี่ จังหวัดลพบุรี รวมอายุท่านได้ 91 ปี
