Slottet Tramontano ligger på en liten kulle, kallad lapillo hill, med utsikt över den historiska stadskärnan i staden Matera.
I aragonesisk stil byggdes slottet, med en central manlig och två runda sidotorn, scalloped och utrustad med slitsar, från 1501 av greve Gian Carlo Tramontano, feodal lord of Matera. Den nya kungen av Neapel, Ferdinand II, hade lovat materierna att inte överlåta staden till någon feudatory, efter att den redan hade befriat sig flera gånger från det feodala oket genom att betala flera lösensummor för att förbli en fri stad till ett autonomt regement, det vill säga direkt beroende av den kungliga kronan. I stället räkna Tramontano, som hade fordringar mot kungliga statskassan, frågade och fick länet Matera i 1496.
Greven blev snart avundsjuk på materanerna eftersom han med tiden fyllde sig med skulder för att klara av vilka han beskattade befolkningen med tunga skatter. Således började byggandet av slottet, som ligger på en kulle med utsikt över staden, utanför stadsmuren, med syftet att "feodala" kontroll av det omgivande landet snarare än försvar av själva staden. Det verkar som om konstruktionen skulle ha inkluderat andra försvarstorn, varav en hittades under centrala Piazza Vittorio Veneto i Matera tillsammans med andra Hypogeiska miljöer. För byggandet av slottet spenderades så mycket som 25 000 dukater och detta gick att belasta ännu mer på befolkningen.
Det var således att vissa medborgare, trött på den kontinuerliga övergrepp, samlades gömd bakom en stenblock, som sedan dess har kallats U pizzon' du mal consigghj, det vill säga stenen av mal consigghj, och organiserade mordet. Den 29 December 1514 mördades greven, strax utanför katedralen, på en sidogata av samma, som senare vältaligt kallades Via del Riscatto. Slottet förblev därför oavslutade.
