Doorwerthi loss oli varasematel aegadel tuntud kui Dorenweerdi loss. Selle nime praegune kirjapilt pärineb umbes aastast 1800. Esimest, tõenäoliselt Puidust lossi mainiti esmakordselt 1260.aastal, kui see piirati ja põletati selle tagajärjel maani. See ehitati ümber kivisse. 1280.aastal piirati seda teist lossi uuesti ja nüüd põletati bailey maha. See algne loss koosnes tõenäoliselt lihtsast kahe korruse kõrgusest ja 1,20 meetri paksuste seintega saalihoidlast ning ümbritsevast vallikraavist, mida toitis lähedal asuv Reini jõgi. 14. sajandil laiendati lossi pidevalt. Kuni 1402. aastani oli Doorwerthi loss Van Dorenweerdi perekonna omand. Siis oli see pühendatud Gelre krahvile; Reinald IV autor Robert van Dorenweerd. Vastutasuks Anti Robertile loss ja selle maa läänis. Umbes 15. sajandi keskel suurendati lossi uuesti. Seekord Rüütel Reinald van Homoet, Dorenweerdi 10. isand, kes oli ka Doornenburgi lossi omanik. Doorwerthi loss saavutas oma suurima vormi vahetult pärast 16. sajandi keskpaika Dorenweerdi 15. isanda Daem Schellart van Obbendorfi juhtimisel. Ta muutis lossi ja bailey hoonete rühma ühtsuseks ning kohandas need vastavalt vajadusele suurema ruumi ja mugavuse järele. Nii et 1560. aastaks oli Doorwerthi loss saanud oma praeguse ilme. Ja umbes 1637. aastal ehitati bailey oma praeguse väljanägemise järgi ümber ja lossi ümber ehitati Tamm, et vältida selle üleujutamist Reini jõe ääres. Varsti pärast seda vahetas loss rahaliste probleemide tõttu omanikku ja anti läänis Saksa krahvile; Anton i Van Aldenburg. Tema järeltulijad ei muutnud lossi ega baileyt, vaid omandasid ainult rohkem maad. 18. sajandi lõpus ei olnud loss enam asustatud, kuid selle eest hoolitses korrapidaja selle omanikele, kes nüüd elasid Inglismaal. See põhjustas lossi tähelepanuta jätmise, kui parun Jap selle 1837.aastal ostis. van Brakell. Ta IIS läbi lossi põhjaliku restaureerimise ja täieliku moderniseerimise. See lossi taaselustamine kestis vaid lühikest aega. Sest pärast paruni surma 1844.aastal langes loss taas hooletusse ja oleks kindlasti murenenud, kui seda poleks 1910. aastal ostnud pensionile jäänud suurtükiväeohvitser; FA. Hoefer. Jällegi taastati loss põhjalikult, tühistades mõned 19. sajandi muudatused ja täiendused. Pärast 1913.aastat kasutati seda hollandi Suurtükimuuseumina. Loss kannatas tugevalt 1944.aastal, kui see muudeti Saksamaa hävitavuse ja liitlaste mürskude tagajärjel rõõmsaks varemeks. Vahetult pärast II maailmasõda järgnes pikk restaureerimine, mis kestis kuni 1983.aastani. Selleks ajaks oli loss tagasi oma 18. sajandi osariiki ja selle omanik oli "Gelderlandi losside sõbrad"-sihtasutus, kes kasutab lossi nüüd muuseumina. Bailey hooneid kasutatakse hotellina.