Замок ортенбург був зведений в кінці XI століття міністрами Баварських князів-єпископів Фрайзінга, які тоді володіли великими володіннями в герцогстві Каринтія. Їх нащадки стали називати себе графами Ортенбурзькими. Замок розташований на північному схилі Гайльтальських Альп з видом на долину Драва. Зруйнований землетрусом 1348 року у Фріулі, значення замку зменшилося після зникнення Ортенбургів у 1418 році. Маєтки були успадковані графом Германом II Целе і в 1456 році остаточно захоплені імператорським будинком Габсбургів. У 1524 році титул комітату перейшов до Габріеля фон Саламанки, який побудував свою нову резиденцію-замок порція в сусідньому місті Шпітталь-ан-дер-Драу.