Une garnison de l'ancien Molo de Girgenti, l’actuelle Porto Empedocle, sa tour a été construée au XV siècle pour se défendre des incursions des pirates.

Au XVI siècle, pendant l'âge de Charles V, il y eu une reconstruction totale de l'ensemble du bâtiment, qui grâce à l'épaisseur considérable de ses murs, jusqu'à 2 mètres de largeur, il a ensuite été utilisée comme prison locale.

Avec un plan carrée et avec une longeur de 26,20 mt par côté, la Torre Carlo V est bien conservée, ouvert aux visites guidées et siège d'activités artistiques et culturelles.