บริเวณวัดมีการขุดพบซากหอยนางรมยักษ์อายุนับล้านปีจำนวนมาก หลวงพ่อทองกลึงจึงนำซากหอยโบราณมาก่อเป็นเจดีย์ขึ้นที่ด้านหน้าทางเข้าและภายในวัด เปลือกหอยนางรมยักษ์ที่ฝังตัวอยู่ใต้พื้นดินและมีอายุนับพัน ๆ ปีจำนวนมหาศาลที่ถูกนำมาสร้างเป็นเจดีย์ คือที่มาของชื่อวัดเจดีย์หอย ที่สร้างขึ้นเมื่อปี พ.ศ. 2538 โดยท่านพระครูสุนทร คุณธาดา หรือหลวงพ่อทองกลึง สุนทโร โดยหลังจากที่ได้ธุดงค์ที่ประเทศพม่าและพบกับพระอาจารย์ศิลบันตะเป็นเวลาหนึ่งพรรษา ท่านได้ศึกษาวิชาอาคมจนแตกฉานจึงธุดงค์กลับมาที่ถ้ำโอ่งจุก อำเภอศรีสวัสดิ์ จังหวัดกาญจนบุรี ที่นั้นเองท่านได้เกิดนิมิตเห็นว่าสถานที่ตั้งของวัดเจดีย์หอยในปัจจุบัน เมื่อ 8 ล้านปีเป็นเมืองใหญ่ชื่อเมืองรัตนาวดี โดยมีท่านเป็นเจ้าเมืองครองเมือง ท่านจึงตัดสินใจเดินทางตามนิมิตจนพบและตั้งใจสร้างพื้นดินแห่งนี้ให้เป็นบริเวณอารามวัด ในขณะที่กำลังขุดบึงบ่อเพื่อเป็นที่กักเก็บน้ำไว้สำหรับรดพืชสมุนไพรได้เจอกับซากหอยโบราณจำนวนมากมายเกินประมาณ จึงนำมาสร้างเป็นเจดีย์ที่บริเวณด้านหน้าทางเข้าและเจดีย์องค์ใหญ่ในวัด จนได้รับความสนใจจากผู้คนจากทั่วทุกสารทิศ