Di tích Gò Chùa nằm trên một gò đất cao, diện tích khoảng 1.000m2, được bao bọc xung quanh bởi đồng ruộng, cách UBND xã Thạnh Trị khoảng 1km đường chim bay, là loại hình di tích kiến trúc khảo cổ học, thuộc giai đoạn văn hóa Óc Eo ở Nam bộ, có niên đại vào khoảng thế kỷ VII về sau.
Gò Chùa được những cán bộ của Bảo tàng Long An phát hiện từ năm 1989. Tháng 9/2018, di tích được đào thám sát. Sau khi thám sát kết hợp với những vết tích trên bề mặt và phần kiến trúc đã bị đào phá trước đó, bước đầu, các chuyên gia khảo cổ học xác định được ở phía Nam của gò đất có 2 kiến trúc tách biệt, được gọi là kiến trúc phía Bắc và kiến trúc phía Nam. Một phần tường gạch đổ ở gần trung tâm gò và dấu vết của một vỉa gạch đổ nằm về phía Đông có thể là tường bao của 2 kiến trúc gạch cổ.
Kiến trúc phía Nam là một bờ tường gạch với chiều rộng nhất ở đế đo được là 189cm. Hai mặt Bắc và Nam của tường có kết cấu giật cấp (gần giống bậc thang), gồm ít nhất 38 lớp gạch với chiều cao khoảng 230cm. Điểm đặc biệt của kiến trúc này không chỉ là dáng loe chân chuông trong việc xếp gạch mà còn ở việc gạch được xếp không đối xứng nhau ở 2 mặt tường thể hiện được khả năng thẩm mỹ trong trang trí kiến trúc.
Đáng chú ý nhất là bề mặt ở khối kiến trúc trung tâm của kiến trúc phía Bắc là 2 hàng gạch dạng hình thang cân xếp đối đỉnh nhau, gồm ít nhất 16 viên xếp dọc theo hướng Bắc - Nam tạo một dãy rỗng hình thoi rất độc đáo, có thể có tác dụng lấy ánh sáng hay gió tự nhiên cho phần nội điện bên trong. Trong tương lai, nếu điều này được chứng minh và làm sáng tỏ sẽ là một tư liệu quý góp phần cho việc nghiên cứu về nghệ thuật trang trí kiến trúc cổ của cư dân Óc Eo xưa.
Trong Báo cáo khảo sát di tích Gò Chùa của Trung tâm Khảo cổ học, Viện Khoa học Xã hội vùng Nam bộ, có đoạn ghi: “Đây là một di tích kiến trúc cổ, với nhiều kiến trúc có quy mô nhỏ được xây dựng theo một bình đồ chung, thống nhất và đồng hướng, khả năng chúng có cùng niên đại xây dựng. Với kết cấu nền móng đơn giản, có thể xác định rằng đây là những kiến trúc không có mái xây khép kín bằng gạch (như các đền tháp Chăm) mà có thể được sử dụng vật liệu nhẹ để lợp mái, tường chỉ được xây đến một độ cao nhất định”.
So với các di tích văn hóa Óc Eo có dấu tích kiến trúc cổ đã được phát hiện ở vùng trũng Đồng Tháp Mười thì kiến trúc Gò Chùa có quy mô tương đối lớn và còn khá nguyên vẹn. Đây là một trong những di sản văn hóa quý báu có ý nghĩa quan trọng để giáo dục truyền thống lịch sử - văn hóa cho người dân và đưa vào khai thác du lịch, góp phần phát triển KT - XH địa phương. Với những giá trị tiêu biểu về niên đại, kiến trúc, lịch sử - văn hóa nêu trên, di tích được UBND tỉnh xếp hạng là Di tích lịch sử - văn hóa cấp tỉnh tại Quyết định số 1827/QĐ-UBND, ngày 09/3/2021.