Le château de Tramontano est situé sur une petite colline, appelée colline Lapillo, qui surplombe le centre historique de la ville de Matera.
De style aragonais, le château, avec un mâle central et deux tours latérales rondes, festonnées et munies de fentes, a été construit à partir de 1501 par le comte Gian Carlo Tramontano, seigneur féodal de Matera. Le nouveau roi de Naples, Ferdinand II, avait promis aux habitants de Matera de ne pas céder la ville à un quelconque seigneur féodal, après qu'elle se soit déjà libérée du joug féodal à plusieurs reprises en payant plusieurs rançons pour rester une ville libre à un régiment autonome, c'est-à-dire dépendant directement de la couronne royale. D'autre part, le comte Tramontano, qui se vantait de dettes envers le Trésor royal, a demandé et obtenu le comté de Matera en 1496.
Le comte devint bientôt invulnérable aux yeux des habitants de Matera car, au fil du temps, il devint plein de dettes, auxquelles il imposa de lourds impôts à la population. Ainsi commença la construction du château, qui était situé sur une colline surplombant la ville, en dehors des murs de la ville, dans le but de contrôler " ; féodal " ; les terres environnantes plutôt que de défendre la ville elle-même. Il semble que la construction aurait alors dû inclure d'autres tours de défense, dont l'une a été trouvée sous la Piazza Vittorio Veneto, au centre de Matera, en même temps que d'autres environnements hypogés. Jusqu'à 25 000 ducats ont été dépensés pour la construction du château, ce qui a fait peser un fardeau encore plus lourd sur la population.
C'est ainsi que des citoyens, fatigués des abus constants, se sont rassemblés derrière un rocher, qui s'appelait désormais u pizzon' du mal consigghj, c'est-à-dire la pierre de mauvais conseil, et ont organisé l'assassinat. Le 29 décembre 1514, le comte, dès sa sortie de la cathédrale, fut assassiné dans une rue latérale de la cathédrale, qui fut plus tard appelée avec éloquence Via del Riscatto. Le château est resté inachevé.
