Dvorac Lecce najpoznatiji je kao veličanstveni dvorac / dvorac De La gardi na obali jezera Wenern, ali je mnogo stariji. Godine 1298. Brinolf Algotsson, biskup scare, postavio je temelj utvrđenog dvorca. Vjerojatno ne više od Reduta koji okružuje nekoliko jednostavnih domova, ipak je strateški smješten u središtu svoje biskupije. Nakon reformacije 1527. godine, Lyake je prestao biti biskupski dvorac, vraćajući se umjesto krune. Gustav Vasa je došao u posjed. Lyake je neko vrijeme bio u lošem stanju sve dok njegov šogor Svante Sture nije ušao u posjed popravljanjem i poboljšanjem imovine. Slijedio ga je Hogenschild Bjelke, oženjen kćerkom Sture Anne. Proizveden je u bAronu i dobio Lyake kao baronstvo 1571.godine. Njegova izvješća i pisma opisuju sve zadatke i opise u dvorcu. Prema legendi, on je naručio još uvijek sačuvanu sliku u nekoliko soba. Ovaj je par bio poznat i po posjedovanju jedne od najvećih knjižnica tog razdoblja. Nakon raznih problema, Hogenskild Bjelke osuđen je na smrt i pogubljen u Stockholmu 1605.godine. Feldmaršal Jacob Pontusson de la gardi dobio je ovu imovinu 1615.godine. Grof de la gardi krenuo je na opsežnu građevinsku stolicu, uključujući i treći kat tornja. U tom je razdoblju dodan portal u glavno dvorište, kao i zidne slike ljudi i penjanje biljaka pronađenih u nišama, stubištima i sobama na trećem katu.
Grof Magnus Gabriel De La gardi imao je samo 30 godina kada je preuzeo dvorac i županiju. Godine 1654. pokrenuo je velike građevinske projekte u Leccu, uključujući nove prostore i smještaj za osoblje na vratima. Također je dodao kuhinjsko krilo, kapelu dvorca i četvrti kat u dvorcu. Čak i ako srednji vijek lebdi iznad većine dvorca, to je baronski dvorac koji danas vidimo kada posjetimo Lyake.
