Legenden fortæller om en hvid dame, der blev kastet ned fra murene på et gammelt slot af sin onde mand. Men himlen havde medlidenhed med hende og gav hende en krop af sten, inden hun styrtede ned på klipperne. Det siges, at hendes sjæl stadig befinder sig der på en klippe med udsigt over bugten i nærheden af resterne af den gamle herregård Duino, og at den nogle nætter kommer til live og vandrer hvileløst rundt.Bygningen er en sammensat og massiv konstruktion: tårnet fra det 16. århundrede tårner sig op over det hele og har bevaret sin to tusind år gamle struktur intakt; det var omkring dette tårn, på ruinerne af en romersk forpost, at man i det 14. århundrede begyndte at bygge det nuværende slot, ikke langt fra det gamle.Fra 1600 og frem, under greverne Thurn Hoffer Valsassina, fik slottet efterhånden den karakter af et humanistisk center, som det stadig har den dag i dag. Det er muligt at besøge 15 perfekt indrettede værelser, der er rige på vidnesbyrd, der fortæller den lange historie om familien af prinserne della Torre og Tasso, hvis slægt har været knyttet til det europæiske postvæsen siden 1400. Rundvisningen, der varer ca. halvanden time, giver mulighed for at beundre ikke blot de kostbare møbler, men også talrige historiske dokumenter, originale breve, familiefotos og historiske tryk; særligt bemærkelsesværdigt er Liszt-pianoet. Et arkitektonisk mesterværk er Palladios trappe.Virkelig imponerende er udsigten fra toppen af tårnet, der går i 360 grader fra Karsten til havet, og stemningen i familiekapellet er helt speciel. Når man går gennem parken, kan man nyde den rige variation af middelhavsfloraen: stenege, ege, jyder, oliventræer, cypresser og talrige kaskader af mangefarvede blomster, som farver og dufter på slottets stier. Slotsbunkeren har et areal på 400 kvadratmeter og er 18 meter dyb.
