Opactwo Hovedøya zostało założone 18 maja 1147 roku przez mnichów z Opactwa Kirkstead w Anglii na wyspie Hovedøya i poświęcone Najświętszej Marii Panny i Świętemu Edmundowi. Na wyspie stał już kościół pod wezwaniem Edmunda, a zakonnicy przejęli go jako kościół Opacki, modyfikując go tak, aby spełniał wymagania cystersów. Opat Philippus, jest założycielem, przybył na wyspę z Kirkstead w Lincolnshire w maju 1147 roku wraz z 12 mnichami i kilkoma braćmi świeckimi. Reszta klasztoru przebiega według zmodyfikowanego planu zabudowy Cysterskiej, uwzględniającego niewielkie lokalne wzgórze. Sam kościół jest zbudowany w stylu romańskim, reszta klasztoru była prawdopodobnie gotycka. W okresie średniowiecza Opactwo było jedną z najbogatszych instytucji w Norwegii, posiadającą ponad 400 posiadłości, w tym łowisko i tartak.
Zawirowania polityczne podczas sukcesji do tronu Danii-Norwegii doprowadziły do końca klasztoru. Opat, popierając protestanckiego króla Chrystiana II, prawdopodobnie w dążeniu do uzyskania poparcia w obliczu nadchodzącej Reformacji, wszedł w konflikt z komendantem twierdzy Akershus, Mogensem Gyllenstierne, który jak na ironię wspierał Katolickiego księcia Fryderyka I. w 1532 roku opat został wtrącony do więzienia za swoje polityczne zaangażowanie, a Opactwo zostało splądrowane, a następnie podpalone, kończąc tym samym 400-letnią działalność klasztorną w Hovedøya. Wszelkie nadzieje, jakie zakon mógł mieć w odbudowie bogatego opactwa, zostały zaprzepaszczone 4 lata później, gdy Reformacja ogarnęła Danię i Norwegię.
Top of the World