Tramontano Castle ligger på en lille bakke, kaldet lapillo hill, med udsigt over det historiske centrum af byen Matera.
I Aragonesisk stil blev slottet med en central mandlig og to runde sidetårne, skulpteret og udstyret med slidser, Bygget fra 1501 af Grev Gian Carlo Tramontano, feudal herre af Matera. Den nye konge af Napoli, Ferdinand II, havde lovet materians ikke at overgive byen til enhver feudatory, efter at det allerede havde befriet sig selv flere gange fra den feudale åg ved at betale flere løsepenge til at forblive en fri by til en selvstændig regiment, der er direkte afhængige af den Kongelige Krone. I stedet Grev Tramontano, der havde krav mod den kongelige statskasse, spurgte og opnåede amt Matera i 1496.
Tællingen blev snart misundelig over materanerne, fordi han med tiden fyldte sig med gæld, for at klare, at han beskattede befolkningen med store skatter. Således begyndte opførelsen af slottet, som var placeret på en bakke med udsigt over byen, uden for byens mure, med henblik på "feudale" kontrol af den omkringliggende jord i stedet for forsvaret af byen selv. Det ser ud til, at konstruktionen skulle have inkluderet andre forsvarstårne, hvoraf den ene blev fundet under den centrale Pia..a Vittorio Veneto fra Matera sammen med andre Hypogeiske miljøer. For opførelsen af slottet blev brugt så meget som 25.000 Ducats og dette gik til Byrde endnu mere på befolkningen.
Det var således, at nogle borgere, trætte af det kontinuerlige misbrug, samlet sig skjult bag en sten, der siden er blevet kaldt U pi..on' du Mal consigghj, det vil sige stenen fra mal consigghj, og organiserede mordet. Den 29. December 1514 blev Greven, lige ud af katedralen, myrdet i en sidegade af samme, som senere veltalende blev kaldt Via del Riscatto. Slottet forblev derfor ufærdigt.