วัดเก่าแก่มีอายุเก่าแก่กว่า 230 ปีแห่งนี้ สันนิษฐานว่าสร้างขึ้นในสมัยอยุธยาตอนปลาย ประมาณปี พ.ศ. 2305 และยังเป็นวัดที่ตั้งอยู่ใกล้กับโบราณสถานเมืองบน อันเป็นหัวเมืองโบราณในสมัยทวารวดี ที่ปรากฏร่องรอยคูเมืองโบราณอยู่ด้านทิศเหนือของวัด จึงอาจบ่งบอกได้ว่าวัดพระปรางค์เหลืองน่าจะเป็นชุมชน และแหล่งอารยธรรมโบราณมาก่อน และในอดีตที่ผ่านมาพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 เคยเสด็จฯ ณ วัดพระปรางค์เหลืองถึงสามครั้งด้วยกัน โดยครั้งที่มีความสำคัญมากที่สุดคือครั้งที่ 2 เมื่อวันที่ 11 สิงหาคม พ.ศ. 2449 ที่ “หลวงพ่อเงิน” ได้ถวายการรดน้ำมนต์แด่พระองค์ท่าน และจากนั้นท่านก็ได้รับพระราชทานสมณศักดิ์เป็น “พระครูพยุหานุสาสก์” ดำรงตำแหน่งเจ้าคณะอำเภอพยุหะคีรีที่มีชื่อเสียงด้านรดน้ำมนต์ “จินดามณี” โดยภายในวัดมีโบรณสถานสำคัญหลายแห่งที่ควรค่าแก่การเยี่ยมชม น่าชม – องค์พระปรางค์เหลืองที่ปรางค์องค์เดิมนั้นมีเรื่องเล่าสืบต่อกันมาว่า ปรางค์องค์เดิมนั้นมีเรื่องเล่าสืบต่อกันมาว่าเป็นเจดีย์องค์เก่าอยู่ในพื้นที่โบราณสถานเมืองบนสมัยทวารวดีและมีการบูรณะในสมัยอยุธยา โดยหลวงพ่อเงินได้กราบทูลองค์พระยาดำรงราชานุภาพกล่าวว่า บนกองอิฐนั้นน่าจะเป็นองค์พระปรางค์เล็ก ๆ และทาสีเหลืองไว้ สมควรชื่อพระปรางค์เหลือง ซึ่งปัจจุบันพระปรางค์องค์นี้มีลักษณะเป็นพูนอิฐ และดินสูงเหมือนเนินเขาเตี้ย จึงได้มีการสร้างองค์พระปรางค์เหลืององค์ใหม่ เป็นปรางค์ที่มีทัศนียภาพสวยงามตั้งอยู่ริมน้ำเจ้าพระยา โดยทำเป็นสีขาวทั้งองค์ สูงประมาณ 29 เมตร ตั้งอยู่บนฐานสูงสามชั้น ศิลปะสมัยอยุธยาตอนปลาย ตรงกลางขององค์ปรางค์เป็นที่ประดิษฐานพระบรมสารีริกธาตุและพระอรหันต์ธาตุ – วิหารหลวงพ่อโตประดับเครื่องสังคโลก – แพท่าน้ำรับเสด็จ เก๋งเรือพระราชทาน – กุฏิเก่าหลวงพ่อเงิน มีรูปหล่อหลวงพ่อเงิน รวมทั้งภาพถ่ายสำคัญในอดีต
