Rocca Albornoz é uma fortaleza imponente que se ergue na Colina de Sant'Elia, numa posição estratégica e que domina todo o Vale do Spoleto. Construído a partir de 1359, é parte de uma série de fortalezas queria pelo Papa Inocêncio VI para restaurar a autoridade do pontífice, que então residia em Avignon, no território da Itália central que fazem parte do estado da Igreja. Para realizar seu projeto, o Papa enviou para a Itália o poderoso cardeal espanhol Egidio Albornoz, de quem o Castelo de Spoleto toma seu nome, que confiou a Matteo di Giovannello Da Gubbbio a direção das obras, que durou até 1370. A fortaleza de Spoleto foi, portanto, o pivô do sistema defensivo colocado no controle de Flaminia e a partir do qual começaram as ações militares destinadas à recuperação dos territórios de Úmbria, Marche e Romagna. Tornou-se, durante anos, a residência de reitores do Ducado, dos governadores da cidade e dos legados papais, a Fortaleza foi embelezadas com decorações e pinturas, muitos dos quais foram perdidos desde 1816, quando a estrutura foi convertida em uma prisão, uma função que ocupou até 1982.