Das Tramontano-Schloss liegt auf einem kleinen Hügel, dem Lapillo-Hügel, der das historische Zentrum der Stadt Matera überragt.
Im aragonesischen Stil wurde die Burg mit einem männlichen Mittelturm und zwei runden Seitentürmen, die bogenförmig geschweift und mit Schlitzen versehen sind, ab 1501 vom Grafen Gian Carlo Tramontano, Feudalherr von Matera, erbaut. Der neue König von Neapel, Ferdinand II., hatte dem Volk von Matera versprochen, die Stadt an keinen Feudalherren abzutreten, nachdem sie sich bereits mehrmals durch Zahlung mehrerer Lösegelder vom feudalen Joch befreit hatte, um eine freie Stadt mit autonomem Regiment, d.h. direkt abhängig von der Königskrone, zu bleiben. Der Graf Tramontano, der sich mit Schulden gegenüber dem Königlichen Schatzamt brüstete, erbat und erhielt 1496 die Grafschaft Matera.
Der Graf wurde bald unverwundbar für das Volk von Matera, denn mit der Zeit wurde er voll von Schulden, denen er die Bevölkerung mit hohen Steuern belastete. So begann der Bau der Burg, die sich auf einem Hügel über der Stadt, außerhalb der Stadtmauern, befand, mit dem Zweck der Kontrolle "feudal " des umliegenden Landes und nicht der Verteidigung der Stadt selbst. Es scheint, dass der Bau dann auch andere Verteidigungstürme hätte umfassen müssen, von denen einer unter der zentralen Piazza Vittorio Veneto in Matera zusammen mit anderen hypogäischen Umgebungen gefunden wurde. Bis zu 25.000 Dukaten wurden für den Bau des Schlosses ausgegeben, was die Bevölkerung noch mehr belastete.
So kam es, dass sich einige Bürger, müde von den ständigen Misshandlungen, hinter einem Felsbrocken versammelten, der von da an u pizzon' du mal consigghj hieß, das ist der Stein des schlechten Rates, und das Attentat organisierten. Am 29. Dezember 1514 wurde der Graf, sobald er die Kathedrale verließ, in einer Seitenstraße der Kathedrale, die später beredt Via del Riscatto genannt wurde, ermordet. Die Burg blieb unvollendet.