La légende raconte qu'une Dame Blanche a été jetée du haut des murs d'un ancien château par son mauvais mari. Mais le ciel a eu pitié d'elle et lui a donné un corps de pierre avant qu'elle ne s'écrase sur les rochers. On dit que son âme est toujours là, sur une falaise surplombant la baie, près des vestiges de l'ancien manoir de Duino, et que certaines nuits, elle s'anime et erre avec agitation. L'édifice est une construction composite et massive : la tour du XVIe siècle domine le tout, conservant intacte sa structure bimillénaire ; c'est autour de cette tour, sur les ruines d'un avant-poste romain, que fut entreprise la construction du château actuel au XIVe siècle, non loin de l'ancien. À partir de 1600, sous les comtes Thurn Hoffer Valsassina, le château prend progressivement la connotation d'un centre humaniste qu'il conserve encore aujourd'hui. Il est possible de visiter 15 pièces parfaitement meublées, riches en témoignages qui racontent la longue histoire de la famille des princes della Torre et Tasso, dont la lignée est liée aux services postaux européens depuis 1400. La visite, qui dure environ une heure et demie, permet aux visiteurs d'admirer non seulement le précieux mobilier, mais aussi de nombreux documents historiques, des lettres originales, des photos de famille et des gravures d'époque ; le piano de Liszt est particulièrement remarquable. L'escalier de Palladio est un chef-d'œuvre architectural. La vue du haut de la tour, qui s'étend sur 360 degrés du Karst à la mer, est vraiment impressionnante, tandis que l'atmosphère de la chapelle familiale est très particulière. En se promenant dans le parc, on peut apprécier la riche variété de la flore méditerranéenne : chênes verts, ifs, oliviers, cyprès et de nombreuses cascades de fleurs multicolores qui colorent et parfument les sentiers du château. Le bunker du château a une superficie de 400 mètres carrés et une profondeur de 18 mètres.