Καθώς άλλαζε το όνομα της πόλης, έτσι μεταμορφωνόταν και το κάστρο. Τα πρώτα ελληνιστικά τείχη αντικαταστάθηκαν από τα βυζαντινά με πολλές επιδιορθώσεις και ανακατασκευές μέχρι την πτώση της πόλης στους Βενετούς το 1407. Αυτοί αδιαφόρησαν για τον ανερχόμενο κίνδυνο των πυροβόλων όπλων, οπότε ήταν οι Οθωμανοί εκείνοι που εκσυγχρόνισαν το κάστρο με πολλούς νέους προμαχώνες. Η κεντρική είσοδος αντανακλά όλες αυτές τις αλλαγές. Αρχαίοι λίθοι (τετράγωνοι και καλοδουλεμένοι) αποτελούν τη βάση του μεγάλου τετράγωνου πύργου δίπλα στο πάρκινγκ. Τα κάθετα τείχη είναι μεσαιωνικά ενώ οι κεκλιμένες προσόψεις κοντά στη βάση των πύργων είναι βενετικές προσθήκες ώστε να μην μπορούν οι πολιορκητικές μηχανές και οι κλίμακες να φτάσουν τα τείχη. Οι τρεις πύλες και οι δύο αυλές που συγκροτούν την είσοδο είναι οθωμανικές κατασκευές. Το κάστρο αποτελείται από τρία αυτόνομα τμήματα και την ακρόπολη στο ψηλότερο σημείο του λόφου.