O Castelo de Levanto faz parte do sistema defensivo construído na Idade Média para proteger a cidade. A disposição das paredes, quase inteiramente preservada, foi concebida no início do século XIII para proteger a cidade das ameaças dos Pisanos, e toda a população participou na construção. A rota parte do castelo, desce até ao riacho Cantarana, sobe em direcção ao monte Costa e no seu ponto mais alto, antes de descer em direcção à Via Guani, junta-se à Torre dell'Orologio (Torre do Relógio), um exemplo excepcional de arquitectura medieval. De facto, as paredes foram pontuadas por seis torres alternando com quatro portais para a aldeia: destas, a Torre do Relógio é a mais bem conservada e, graças à sua posição privilegiada, manteve o seu papel de torre de vigia e controlo em direcção ao mar e rio acima até pelo menos 1600. Uma tarefa também confirmada pela presença de um caminho no topo das muralhas e a abertura em 1600 de uma ligação entre o interior e o exterior da aldeia, mesmo ao lado da Torre. O artefacto ainda se encontra em bom estado de conservação e é acessível no interior desde a entrada até ao topo, onde há um relógio e um terraço panorâmico com vista para todo o vale. A torre do castelo é o ponto de partida de um caminho que permite aos visitantes admirar as muralhas da cidade. A Porta del Fossato, por outro lado, leva ao caminho de Monterosso.