O Castelo de Aggstein é um dos castelos mais famosos da Áustria e fascina visitantes de todas as idades. As lendárias ruínas do castelo encontram-se sobre uma saliência de rocha a 300 m acima do Danúbio, que cai precipitadamente em três lados. O castelo foi provavelmente construído no início do século XII por Manegold III de Acchispach (Aggsbach). Em 1181 entrou na posse da família Kuenring de Aggsbach-Gansbach. Foi sitiada e conquistada em 1230/31 durante a revolta liderada por Hadmar III e os seus vassalos contra o Duque Frederick II da Áustria. Em polémicas sobre a sucessão de Frederico II, ou herrscherlosen Zeit ("tempo sem governante"), o Kuenring mudou de posição algumas vezes. Leutold Kuenring derrotou assim a nobreza austríaca na revolta contra o Duque Alberto: posteriormente, o castelo foi sitiado e, por sua vez, conquistado em 1295/96. O último Kuenring, Leutoldo II, manteve o castelo de 1348 a 1355. Mais tarde, caiu em desintegração.
Em 1429, o Duque Albert V atribuiu o castelo ao seu camareiro, Jörg (Georg) Scheck von Wald. Albrecht encarregou-o de reconstruir o castelo em ruínas para assegurar a passagem de navios no Danúbio. Em 1438 Scheck von Wald recebeu direitos de portagem para os navios que subiam o rio. Em troca, teve de manter os caminhos de reboque dos quais as barcaças a montante foram puxadas. Também construiu uma cabina de portagem na margem do rio que agora serve de casa florestal. Com o tempo, tornou-se um barão ladrão, atacando navios no Danúbio. Daí o seu apelido, "Schreckenwald", (trocadilho no seu nome de família, Scheck von Wald, que significa "Floresta do Terror"), que se diz ter-lhe sido dado devido à sua crueldade para com a população. Em 1463, o castelo foi novamente sitiado por outro barão assaltante, Georg von Stain. Ele derrotou Scheck von Wald e assumiu o castelo como garantia, uma vez que se dizia que o Duque lhe devia dinheiro. Em 1476 von Stain foi expulso por Ulrich Freiherr von Graveneck, que governou o castelo de 1476 a 1477, até que também ele foi forçado a entregá-lo.
Em 1477, o duque Leopoldo III adquiriu o castelo e ocupou-o com inquilinos e guardiões para impedir as rusgas. Em 1529, o castelo foi arrasado por um grupo de turcos durante o primeiro cerco turco de Viena. Mais uma vez, foi reconstruído e equipado com brechas para peças de artilharia.
Em 1606 Anna Freiin von Polheim und Parz, a viúva do último inquilino, comprou o castelo. Após a sua morte, o castelo foi muito negligenciado. Em 1685 foi transferido para o Conde Ernst Rüdiger von Starhemberg, juntamente com Schloss Schönbühel. Ludwig Josef Gregor von Starhemberg vendeu as propriedades ao Conde Franz von Beroldingen em 1819. Permaneceu na posse de von Beroldingen até 1930, quando a propriedade Schönbühel, juntamente com as ruínas do Castelo de Aggstein, foi vendida ao Conde Oswald von Seilern Aspang.
Diz-se que Hadmar III considerou o castelo inexpugnável. De facto, não há provas de que o castelo tenha alguma vez sido invadido directamente pela força. Apenas outras medidas, como o cerco à fome, levaram à conquista do castelo.