El Castello di Lettere fue construido por el Ducado de Amalfi durante el siglo X para defender sus fronteras del norte y formaba parte de una red de fortificaciones que aseguraban a los amalfitanos el control de los dos lados de las montañas Lattari. El sitio, de hecho, goza todavía de una espléndida posición panorámica que permitía controlar el área desde el puerto de Castellammare hasta la desembocadura del río Sarno y todo el golfo de Nápoles, pero también el Valle del Sarno dominado por el Vesubio y los montes del Sarno hasta Pagani.
Desde su fundación el castillo tuvo la forma de un pueblo fortificado con casas de varios pisos, como dicen los documentos de 1030 y 1033. La construcción de la fortaleza, lo que hoy llamamos el castillo, está probablemente relacionada con el asentamiento de un señor feudal que la construyó como lugar de residencia dentro de las murallas y un símbolo de su poder. El edificio tiene forma trapezoidal y conserva cuatro torres, la más alta de las cuales sirve de torre del homenaje. Dentro de los muros también se construyó una catedral, sede desde 987 de un obispado. En el siglo XII, el hermoso campanario decorado con incrustaciones de toba gris y arenisca amarilla que forman estrellas, cruces y rombos fue añadido a este primer edificio.
En el interior de la Torre del Grano, llamada así porque originalmente se utilizaba como almacén, se está creando el Museo del Parque Arqueológico del Castello di Lettere para albergar los hallazgos encontrados durante las campañas de excavación realizadas desde 2007, como cerámicas, objetos de bronce y muchos huesos de animales. Los objetos expuestos ilustran no sólo la alimentación y la dieta del pueblo entre los siglos X y XVI, sino que también ponen de relieve la red comercial mediterránea en la que se insertó Lettere gracias a las rutas operadas por el pueblo amalfitano, con contenedores de transporte y cerámicas vidriadas procedentes del norte de África, España y Sicilia.