De vroegste bronnen die het bestaan van het kasteel documenteren verwijzen naar de "Pallavicino Kroniek" van 1087, het jaar waarin Uberto, kleinzoon van Adalberto, het bouwwerk erfde. De familie Pallavicino, één van de belangrijkste aristocratische families op het grondgebied van Parma en Piacenza, hield gedurende meerdere eeuwen de controle over de belangrijkste verbindingswegen tussen Toscane, Emilia en Ligurië door middel van een uitgebreid netwerk van torens, kastelen en burchten. In de loop der eeuwen kwam het bolwerk in handen van machtige families, waaronder de families Visconti en Farnese, hertogen van Parma en Piacenza. In 1828 nam de familie Grossardi, vooral bekend van de Carbonara, het over en begin 1900 vestigde de familie Levacher zich er. Sinds 2001 is het kasteel eigendom van de gemeente Varano De' Melegari.
Top of the World