สันนิษฐานว่าสร้างสมัยกรุงศรีอยุธยาตอนปลาย จากคำบอกเล่า หลวงพ่อใหญ่เล่าว่า วัดสะแกเดิมอยู่ที่วัดโกโรโกโส แต่เดิมเป็นพื้นที่พื้นเดียวกัน ต่อมาในสมัยจอมพล ป. พิบูลสงคราม ได้มีการขุดคลองผ่าซีกวัดให้เป็นสองฝั่ง ทำให้วัดเดิมโดนกระแสน้ำพัดทำลาย จึงย้ายมาสร้างวัดใหม่ในที่ดอนฝั่งตรงข้ามคลองซึ่งเป็นป่าสะแกจึงตั้งชื่อวัดว่า “วัดสะแก”