Legenda vorbește despre o Doamnă Albă care a fost aruncată de pe zidurile unui castel antic de către soțul ei rău. Dar cerului i s-a făcut milă de ea și i-a dat un trup de piatră înainte de a se prăbuși pe stânci. Se spune că sufletul ei se află încă acolo, pe o stâncă ce domină golful, lângă rămășițele vechiului conac din Duino, și că în unele nopți prinde viață și rătăcește neliniștit.Clădirea este o construcție compozită și masivă: turnul din secolul al XVI-lea domină totul, păstrând intactă structura veche de două mii de ani; în jurul acestui turn, pe ruinele unui avanpost roman, a fost întreprinsă în secolul al XIV-lea construcția actualului castel, nu departe de cel vechi.Începând cu anul 1600, sub conducerea conților Thurn Hoffer Valsassina, castelul a căpătat treptat conotația de centru umanist pe care o păstrează și astăzi. Se pot vizita 15 încăperi perfect mobilate, bogate în mărturii care povestesc lunga istorie a familiei prinților della Torre și Tasso, a căror descendență este legată de serviciile poștale europene încă din 1400. Turul, care durează aproximativ o oră și jumătate, oferă posibilitatea de a admira nu numai mobilierul prețios, ci și numeroase documente istorice, scrisori originale, fotografii de familie și stampe de epocă; de remarcat este pianul Liszt. O capodoperă arhitecturală este scara lui Palladio.Cu adevărat impresionantă este priveliștea din vârful turnului care se întinde la trei sute șaizeci de grade de la Karst până la mare, în timp ce atmosfera din capela familiei este cu adevărat specială. Plimbându-ne prin parc, putem aprecia bogata varietate a florei mediteraneene: stejari, tei, măslini, chirpici și numeroase cascade de flori multicolore care colorează și parfumează aleile castelului. Buncărul Castelului are o suprafață de 400 de metri pătrați și o adâncime de 18 metri.