Ο Χρυσός Πύργος είναι κληρονομιά των Αλμοχάδων, μιας μαυριτανικής δυναστείας που ήλεγχε μεγάλο μέρος της Νότιας Ισπανίας μέχρι την ανακατάληψη της περιοχής από τους Χριστιανούς τον δέκατο τρίτο αιώνα. Η κορυφή του πύργου σε σχήμα τρούλου είναι μια πιο πρόσφατη προσθήκη- χτίστηκε το 1760.