Het Kasteel van Levanto wordt onder verschillende namen genoemd (Kasteel van San Giorgio, Kasteel van Monale, Kasteel van de Malaspina), maar u moet dit machtige gebouw op de top van een heuvel ten zuiden van de oude stad niet verwarren met andere bouwwerken. Het kasteel dat we nu zien is een 16e-eeuwse reconstructie van een oud 12e-eeuws landhuis. Het werd door de eeuwen heen gebruikt als fort, de zetel van het kapiteinschap van Levanto en een gevangenis; tegenwoordig is het privé-bezit en wordt het alleen bij speciale gelegenheden opengesteld voor bezoekers. Het heeft een vierhoekige vorm en een ronde toren; volgens de plaatselijke legenden is het via ondergrondse gangen verbonden met het strand eronder en met de kerk van de Annunziata.