El castillo de Tramontano está situado en una pequeña colina, llamada colina de Lapillo, que domina el centro histórico de la ciudad de Matera.
En estilo aragonés, el castillo, con un macho central y dos torres laterales redondas, festoneadas y dotadas de hendiduras, fue construido a partir de 1501 por el conde Gian Carlo Tramontano, señor feudal de Matera. El nuevo rey de Nápoles, Fernando II, había prometido al pueblo de Matera no ceder la ciudad a ningún señor feudal, después de haberse liberado ya varias veces del yugo feudal pagando varios rescates para seguir siendo una ciudad libre al regimiento autónomo, es decir, directamente dependiente de la Corona Real. Por otro lado, el Conde Tramontano, que se jactaba de tener deudas con el Tesoro Real, pidió y obtuvo el condado de Matera en 1496.
El Conde pronto se volvió invulnerable para el pueblo de Matera porque con el tiempo se llenó de deudas, a las que gravaba a la población con fuertes impuestos. Así comenzó la construcción del castillo, que estaba situado en una colina que dominaba la ciudad, fuera de los muros de la ciudad, con el propósito de controlar "feudal " de las tierras circundantes más que de la defensa de la ciudad misma. Parece que entonces la construcción debería haber incluido otras torres de defensa, una de las cuales fue encontrada bajo la plaza central de Vittorio Veneto en Matera junto con otros ambientes hipogeos. Se gastaron hasta 25.000 ducados para la construcción del Castillo y esto agobió aún más a la población.
Así fue como algunos ciudadanos, cansados de los constantes abusos, se reunieron detrás de una roca, que a partir de entonces se llamó u pizzon' du mal consigghj, que es la piedra del mal consejo, y organizaron el asesinato. El 29 de diciembre de 1514 el Conde, apenas salió de la Catedral, fue asesinado en una calle lateral de la Catedral, que más tarde se llamó elocuentemente Via del Riscatto. El castillo quedó sin terminar.
