La caratteristica principale del centro di Castiglioncello è il Castello Pasquini, costruito nel 1800, che è diventato un centro culturale della città. Il Castello Pasquini fu costruito su richiesta del barone Lazzaro Patrone sulla proprietà acquisita da Diego Martelli, che fu costretto a vendere le sue proprietà a causa della sua cattiva situazione finanziaria. Il castello, costruito ad immagine e somiglianza di Palazzo Vecchio, sostituì la vecchia casa colonica di Diego Martelli, resa famosa da numerosi dipinti dei Macchiaioli, mentre il terreno agricolo fu trasformato in un parco, creato secondo i gusti romantici dell'epoca, per abbellire e proteggere la privacy della nuova residenza. All'inizio del viale, lungo il muro di cinta, fu costruita la casa del cassiere, con una forma curvilinea (la "Virgola") che ricorda, nei merli che coronano la cima, lo stile gotico dell'edificio principale. Nel 1938, il barone Patrone fu costretto a vendere tutte le sue proprietà, compreso il castello: altri proprietari gli succedettero finché, nella seconda metà degli anni '40, il castello fu acquistato dalla famiglia Pasquini, di cui porta ancora il nome, che vi apportò importanti modifiche, soprattutto al parco. Oggi appartiene al comune di Rosignano e ospita l'associazione culturale Armunia, che promuove teatro, danza e attività culturali nella zona. Mostre, teatro, danza e varie altre attività vi si svolgono durante tutto l'anno. Se si visita in giugno, si può programmare la visita con lo storico 'Festival del pesce' e godere del meglio dei frutti di mare freschi locali.