Castelul Tramontano este situat pe un deal mic, numit Dealul lapillo, cu vedere la centrul istoric al orașului Matera.
În stil aragonez, castelul, cu un mascul central și două turnuri laterale rotunde, dantelate și dotate cu fante, a fost construit din 1501 de Contele Gian Carlo Tramontano, lord feudal din Matera. Noul rege al Neapolelui, Ferdinand al II-lea, a promis materians să nu cedeze orașul la orice feudal, după ce a eliberat deja în sine de mai multe ori din jugul feudal acordând mai multe răscumpărări de a rămâne un oraș liber la un autonome regiment, care este, direct dependentă de Coroana Regală. În schimb, contele Tramontano, care a avut pretenții împotriva trezoreriei regale, a cerut și a obținut Județul Matera în 1496.
Contele a devenit în curând invidios pe materans, deoarece, odată cu trecerea timpului, sa umplut de datorii, pentru a face față cu care a impozitat populația cu impozite grele. Astfel, a început construcția castelului, care a fost situat pe un deal cu vedere la oraș, în afara zidurilor orașului, cu scopul de "feudal" controlul terenului din jur, mai degrabă decât de apărare a orașului în sine. Se pare că, atunci construcția ar fi trebuit să includă alte turnuri de apărare, dintre care unul a fost găsit în Piazza Vittorio Veneto din Matera, împreună cu alte Hypogean medii. Pentru construirea castelului au fost cheltuite până la 25.000 de ducați, ceea ce a dus la o povară și mai mare asupra populației.
A fost, astfel, că unii cetățeni, obosit de continuă abuz, s-au adunat ascunse în spatele unui bolovan, care a fost numit U pizzon' du Mal consigghj, care este, de piatră de mal consigghj, și a organizat asasinatul. La 29 Decembrie 1514, contele, tocmai ieșit din catedrală, a fost ucis pe o stradă laterală a aceluiași, care mai târziu a fost numit elocvent Via del Riscatto. Prin urmare, castelul a rămas neterminat.
