Замак ортенбург быў узведзены ў канцы XI стагоддзя міністрамі баварскіх князёў-біскупаў Фрайзинга, якія тады валодалі вялікімі ўладаннямі ў герцагстве Карынтыя. Іх нашчадкі сталі называць сябе графамі Ортенбургскими. Замак размешчаны на паўночным схіле Гайльтальских Альпаў з выглядам на даліну Драва. Разбураны Фрыульскім землятрусам 1348 года, Значэнне замка зменшылася пасля знікнення Ортенбургов ў 1418 годзе. Маёнтка былі перанятыя графам Германам II Цэле і ў 1456 годзе канчаткова захопленыя імператарскім домам Габсбургаў. У 1524 годзе комитальный тытул перайшоў да Габрыэлю фон Саламанцы, у якога была новая рэзідэнцыя-замак порцыя, пабудаваны ў суседнім горадзе Шпіталь-ан-дэр-Драу.