Tramontano loss asub väikesel mäel, mida nimetatakse lapillo mäeks, vaatega Matera linna ajaloolisele keskusele.
Aragonese stiilis ehitati 1501.aastast Matera feodaalse isanda krahv Gian Carlo Tramontano poolt loss, millel oli keskne mees ja kaks ümmargust külgtorni, mis olid lainelised ja varustatud piludega. Napoli uus kuningas Ferdinand II oli lubanud materlastele mitte loovutada linna ühelegi feodaalsele, kui ta oli juba mitu korda vabanenud feodaalsest ikkest, makstes mitu lunaraha, et jääda vabaks linnaks autonoomsele rügemendile, see tähendab otseselt sõltuvaks kuninglikust kroonist. Selle asemel küsis krahv Tramontano, kellel oli nõudeid kuningliku riigikassa vastu, ja sai Matera Maakonna 1496.aastal.
Krahv muutus peagi materalaste peale kadedaks, sest aja möödudes täitis ta end võlgadega, millega toimetulekuks maksustas ta elanikkonna raskete maksudega. Seega algas ehitus lossi, mis asus mäe vaatega linnale, väljaspool linnamüüre, eesmärgiga " feodaalne" Kontrolli ümbritseva maa asemel kaitse linna ise. Tundub, et siis oleks ehitus pidanud hõlmama ka teisi kaitsetorne, millest üks leiti Matera keskse Piazza Vittorio Veneto all koos teiste Hüpogeani keskkondadega. Lossi ehitamiseks kulutati koguni 25 000 tukatit ja see läks elanikkonnale veelgi rohkem koormama.
Seega kogunesid mõned kodanikud, kes olid väsinud pidevast kuritarvitamisest, peidetud rändrahnu taha, mida on sellest ajast alates kutsutud U pizzon' du mal consigghj, see tähendab mal consigghj kivi, ja korraldasid mõrva. 29. detsembril 1514 mõrvati katedraalist välja jäänud krahv sama kõrvaltänaval, mida hiljem kõnekalt nimetati Via del Riscattoks. Seetõttu jäi loss lõpetamata.
