กำแพงเมือง ป้อมค่าย ประตูหอรบ ของเดิมแข็งแรงมากทั้ง ๔ ด้าน สันนิษฐานว่าสร้างในสมัยลพบุรี และสร้างเพิ่มเติมอีกครั้งในสมัยพระราเมศวรเสด็จไปครองเมืองลพบุรี ในแผ่นดินสมเด็จพระมหาจักรพรรดิได้โปรดฯให้รื้อกำแพงเมืองเดิม เพราะเกรงข้าศึกจะยึดเป็นที่มั่น และมาสร้างเพิ่มเติมใหม่ในสมัยสมเด็จพระนารายณ์มหาราช เฉพาะบริเวณพระราชวัง ป้อมมุมเมือง และสร้างประตูใหม่