En el presidio del antiguo desembarcadero llamado "Molo di Girgenti", el actual Porto Empedocle, la Torre fue erguida en el siglo XV para la defensa de las incursiones piratas.

En el siglo XVI, durante la época de Carlo V, se hizo una reconstrucción total del edificio entero que, por el notable espesor de sus muros de 2 metros de largo, fue sucesivamente usado como la prisión del lugar.

De planta cuadrada y una longitud de 26,20 m. por cada lado, la Torre Carlo V está bien conservada, abierta para visistas guiadas y es una sede de iniciativas y actividades artístico-culturales.