Das Castello di Lettere wurde vom Herzogtum Amalfi im 10. Jahrhundert zur Verteidigung seiner nördlichen Grenzen erbaut und war Teil eines Befestigungsnetzes, das den Amalfikanern die Kontrolle über die beiden Seiten des Lattari-Gebirges sicherte. Die Stätte genießt in der Tat noch immer eine herrliche Panoramalage, die es erlaubte, das Gebiet vom Hafen von Castellammare bis zur Mündung des Sarno und den gesamten Golf von Neapel zu kontrollieren, aber auch das vom Vesuv beherrschte Sarno-Tal und das Sarno-Gebirge bis nach Pagani.
Seit ihrer Gründung hatte die Burg die Form eines befestigten Dorfes mit mehrstöckigen Häusern, wie Dokumente aus den Jahren 1030 und 1033 belegen. Der Bau der Festung, die wir heute die Burg nennen, hängt wahrscheinlich mit der Ansiedlung eines Feudalherren zusammen, der sie als Wohnort innerhalb der Mauern und als Symbol seiner Macht errichtete. Das Gebäude hat eine trapezförmige Form und bewahrt vier Türme, von denen der höchste als Bergfried dient. Innerhalb der Mauern wurde auch eine Kathedrale gebaut, seit 987 Sitz eines Bistums. Im 12. Jahrhundert wurde der schöne Glockenturm mit grauen Tuffsteineinlagen und gelbem Sandstein, die Sterne, Kreuze und Rauten bilden, an dieses erste Gebäude angebaut.
Im Inneren des Torre del Grano, der so genannt wird, weil er ursprünglich als Lagerraum genutzt wurde, wird derzeit das Museum des Archäologischen Parks des Castello di Lettere eingerichtet, in dem die Funde aus den seit 2007 durchgeführten Ausgrabungskampagnen, wie Keramiken, Bronzegegenstände und zahlreiche Tierknochen, untergebracht werden sollen. Die Exponate veranschaulichen nicht nur die Ernährung des Dorfes zwischen dem zehnten und sechzehnten Jahrhundert, sondern beleuchten auch das mediterrane Handelsnetz, in das Lettere dank der von den Amalfikanern betriebenen Routen mit Transportbehältern und glasierten Keramiken aus Nordafrika, Spanien und Sizilien eingefügt wurde.