Το κάστρο χτίστηκε από τον Τζαννή Γρηγοράκη, τρίτο κατά σειρά Μπέη της Μάνης, ένα είδος αυτόνομου μεν αλλά φόρου υποτελούς στον Σουλτάνο ηγεμόνα κατά το διάστημα της εξουσίας του (1782-1798) οπόταν το Γύθειο ανακηρύχθηκε σε πρωτεύουσα της περιοχής. Η τοποθεσία για την ανέγερση του οχυρού με τους κυκλικούς πύργους (ή Γουλάδες) επιλέχθηκε έτσι ώστε ο Μπέης να έχει θέα το μεγάλο του επίτευγμα, την πόλη που δημιούργησε.