A lenda fala de uma Senhora Branca que foi atirada das muralhas de um antigo castelo pelo seu marido malvado. Mas o céu teve pena dela e deu-lhe um corpo de rocha antes de ela cair sobre as rochas. Diz-se que a sua alma ainda está ali, num penhasco com vista para a baía, perto dos restos do antigo castelo de Duino, e que algumas noites ela ganha vida e vagueia incansavelmente.O edifício é uma construção compósita e maciça: a torre do século XVI, acima de tudo, preserva intacta a sua estrutura com dois mil anos; foi em torno desta torre, nas ruínas de um posto avançado romano, que a construção do actual castelo foi empreendida no século XIV, não muito longe do antigo.A partir de 1600, sob os Condes de Thurn Hoffer Valsassina, o Castelo assumiu gradualmente a conotação de um centro humanista que ainda hoje mantém. É possível visitar 15 salas perfeitamente mobiladas, ricas em testemunhos que contam a longa história da família dos Príncipes da Torre e Tasso, cuja linhagem está ligada aos serviços postais europeus desde 1400. O passeio, que dura cerca de uma hora e meia, dá aos visitantes a oportunidade de admirar não só o mobiliário precioso, mas também numerosos documentos históricos, cartas originais, fotografias de família e impressões da época; de particular destaque é o piano Liszt. Uma obra-prima da arquitectura é a escadaria de Palladio.Verdadeiramente impressionante é a vista do topo da torre que varre trezentos e sessenta graus do Karst para o mar, enquanto a atmosfera na capela da família é muito especial. Caminhando pelo parque, podemos apreciar a rica variedade da flora mediterrânica: azinheiras, teixos, oliveiras, ciprestes e numerosas cascatas de flores multicoloridas que colorem e perfumam os caminhos do Castelo. O Bunker do Castelo tem uma superfície de 400 metros quadrados e tem uma profundidade de 18 metros.