Het Kasteel van Tramontano ligt op een kleine heuvel, lapillo hill genaamd, met uitzicht op het historische centrum van de stad Matera.
In de Aragonese stijl, werd het kasteel, met een centrale man en twee ronde zijtorens, afgeschallopt en uitgerust met spleten, gebouwd uit 1501 door graaf Gian Carlo Tramontano, feodale heer van Matera. De nieuwe koning van Napels, Ferdinand II, had de materianen beloofd de stad niet af te staan aan enig feodaal regime, nadat zij zich reeds verscheidene malen van het feodale juk had bevrijd door meerdere ransoms te betalen om een vrije stad te blijven aan een autonoom regiment, dat direct afhankelijk is van de koninklijke kroon. In plaats daarvan vroeg en verkreeg graaf Tramontano in 1496 het graafschap Matera.
De Graaf werd al snel jaloers op de materans, omdat hij zich met het verstrijken van de tijd volmaakte met schulden, waarmee hij de bevolking belastte met zware belastingen. Zo begon de bouw van het kasteel, dat was gelegen op een heuvel met uitzicht op de stad, buiten de stadsmuren, met het doel van "Feodal" controle van het omliggende land in plaats van de verdediging van de stad zelf. Het lijkt erop dat de constructie andere verdedigingstorens had moeten omvatten, waarvan er één werd gevonden onder het centrale Piazza Vittorio Veneto van Matera samen met andere Hypogeaanse omgevingen. Voor de bouw van het kasteel werden maar liefst 25.000 Dukaten uitgegeven en dit ging nog zwaarder op de bevolking.
Het was zo dat sommige burgers, moe van het voortdurende misbruik, verborgen achter een rots, die sindsdien U pizzon' du Mal consigghj, dat wil zeggen de steen van mal consigghj, genoemd, en organiseerde de moord. Op 29 December 1514 werd de Graaf, net buiten de kathedraal, vermoord in een zijstraat van dezelfde, die later welbespraakt werd genoemd Via del Riscatto. Het kasteel bleef dus onafgemaakt.