O Castelo Tramontano está localizado em uma pequena colina, chamada Colina lapillo, com vista para o centro histórico da cidade de Matera.
Em estilo aragonês, o castelo, com um macho central e duas torres laterais redondas, escoprado e equipado com fendas, foi construído a partir de 1501 pelo Conde Gian Carlo Tramontano, senhor feudal de Matera. O novo rei de Nápoles, Fernando II, tinha prometido aos materianos que não cederiam a cidade a qualquer feudalismo, depois de já se ter libertado várias vezes do jugo feudal pagando vários resgates para permanecer uma cidade livre para um regimento autônomo, ou seja, diretamente dependente da coroa real. Em vez disso, o Conde Tramontano, que tinha reivindicações contra o tesouro real, pediu e obteve o Condado de Matera em 1496.
O Conde logo se tornou invejoso dos materans porque com o passar do tempo ele se encheu de dívidas, para lidar com as quais ele tributou a população com pesados impostos. Assim começou a construção do castelo, que estava localizado em uma colina com vista para a cidade, fora das muralhas da cidade, com o propósito de "feudal" controle da terra circundante, em vez de defesa da própria cidade. Parece que, então, a construção deveria ter incluído outras torres de defesa, uma das quais foi encontrada sob a Piazza Vittorio Veneto central de Matera, juntamente com outros ambientes Hipogeanos. Para a construção do castelo foram gastos até 25.000 ducados e isso foi para sobrecarregar ainda mais a população.
Foi assim que alguns cidadãos, cansados do abuso contínuo, se reuniram escondidos atrás de uma pedra, que desde então tem sido chamado de U pizzon' du Mal consigghj, ou seja, a pedra de mal consigghj, e organizou o assassinato. Em 29 de dezembro de 1514, o Conde, acabado de sair da catedral, foi assassinado em uma rua lateral da mesma, que mais tarde foi eloquentemente chamada Via del Riscatto. O castelo, portanto, permaneceu inacabado.
