El centro de Castiglioncello se caracteriza por el Castillo Pasquini, construido en el siglo XIX, que se ha convertido en un centro cultural para la ciudad. El castillo de Pasquini se construyó a petición del barón Lazzaro Patrone en la propiedad adquirida a Diego Martelli, que se vio obligado a vender sus propiedades debido a su mala situación financiera. El castillo, construido a imagen y semejanza del Palazzo Vecchio, sustituyó a la antigua granja de Diego Martelli, que se hizo famosa gracias a las numerosas pinturas de los Macchiaioli, mientras que las tierras de cultivo se transformaron en un parque, creado según el gusto romántico de la época, para embellecer y proteger la intimidad de la nueva residencia. Al principio de la avenida, a lo largo del muro limítrofe, se construyó la casa del cajero, con una forma curvilínea (la "Virgola") que recuerda, en los merlones que coronan la parte superior, el estilo gótico del edificio principal. En 1938, el barón Patrone se vio obligado a vender todas sus propiedades, incluido el castillo: le sucedieron otros propietarios hasta que, en la segunda mitad de la década de 1940, el castillo fue comprado por la familia Pasquini, cuyo nombre aún lleva, que realizó importantes cambios en él, especialmente en el parque. Hoy pertenece al municipio de Rosignano y alberga la asociación cultural Armunia, que promueve el teatro, la danza y las actividades culturales en la zona. Durante todo el año se celebran allí exposiciones, teatro, danza y otras actividades diversas. Si se visita en junio, se puede hacer coincidir la visita con el histórico "Festival del Pescado" y disfrutar de lo mejor del marisco fresco local.