הארמון הממוקם כמעט בקצה התעלה הגדולה, מעוטר עשיר במדליונים של שיש פוליכרום ואבן איסטרית. הוא נבנה על ידי מזכיר הסנאט של הרפובליקה של ונציה ג'ובאני דריו, שהזמין את העבודה לאדריכל פייטרו לומברדו ב-1479.עם זאת, האלגנטיות וההוד שלה מנוגדים למוניטין של ארמון מקולל. מאז בנייתו כל אלה שרכשו את הבית נהרגו באכזריות, התאבדו או מתו מסיבות מקריות מוזרות. בין 1764 ל-1993 לפחות 9 בעלים של פאלאצו דריו מתו בנסיבות מוזרות או התאבדו!השערות שונות הועלו לגבי הבית הארור הזה. יש הטוענים שהארמון נבנה על בית קברות טמפלרי. אחרים חושבים שקא'דריו מושפע לרעה מהקמע שמרחיק את השליליות המונחת על דלת המים של הבניין הסמוך.עוד נאמר שקה דריו עדיין מאוכלסת ברוחות הבעלים הקודמים. הוונציאנים מאמינים בזה, ועוד איך! רבים מתרחקים מהבניין.ללא קשר לכל התיאוריות הללו, אלה שהיו שם אומרים שהם חשו תחושת אי נוחות מוזרה כשנכנסו אליו או אפילו הסתכלו עליו מבחוץ.האם האנגרמה של הכתובת המשמחת בבניין "genio urbis joannes dario" ב-"sub ruina insidiosa genero" מאשרת אולי את התזה של הקללה?