ถึงจะเปลี่ยนชื่อเป็น “วัดศรีสวรรค์สังฆาราม” แต่ชาวบ้านก็ยังนิยมเรียกขานกันว่า “วัดถือน้ำ” และความสำคัญทางประวัติศาสตร์ของวัดนี้คือการที่เคยเป็นสถานที่ประกอบพิธีถือน้ำพิพัฒน์สัตยาของทางราชการเป็นประจำทุกปี ก่อนที่จะมีการสร้างศาลหลักเมืองขึ้นใหม่ แล้วจึงย้ายสถานที่ไปประกอบพิธีสำคัญดังกล่าวที่ศาลหลักเมืองแทน วัดนี้สร้างขึ้นในปี พ.ศ. 2350 ซึ่งเรียกได้ว่ามีอายุเก่าแก่ไม่ต่ำกว่า 200 ปีแล้ว นับเป็นวัดที่เคารพนับถือของประชาชนทั่วไปรวมทั้งเหล่าทหารหาญ อีกทั้งภายในวัดยังเต็มไปด้วยของเก่าอันทรงคุณค่ามากมาย อาทิเช่น แจกันโบราณสมัยรัชกาลที่ 5 ใบหอก ใบพาย มีดดาบสมัยโบราณ พระพุทธรูปทองคำปางปฐมเทศนาและพระพุทธรูปเนื้อเงิน โดยวัตถุโบราณล้ำค่าเหล่านี้จัดแสดงให้พิพิธภัณฑ์ที่ตั้งอยู่ภายในเจดีย์กาญจนาภิเษก 50 ปี อีกทั้งในปี พ.ศ. 2519 พระบาทสมเด็จพระเจ้าอยู่หัวฯ และสมเด็จพระบรมราชินีนาถ รวมทั้งสมเด็จพระลูกเธอทั้งสองพระองค์ ได้เสด็จฯ มาทรงตัดลูกนิมิต พร้อมกับทรงปลูกต้นพิกุลหน้าพระอุโบสถหลังใหม่ เป็นที่ปลาบปลื้มปิติสำหรับพสกนิกรที่อาศัยในละแวกนั้น
