Nazwa pochodzi od jednej z większych wsi na południe od Växjö zwanej Telestad. Jego gospodarstwa zostały założone w 1840 roku pod dużym folwarkiem Tuvan przez właściciela ziemskiego J. Aspelina. Pomimo średniowiecznego stylu, Zamek Teleborg został zbudowany w 1900 roku przez firmę architektów Lindvall & Boklund. Zamek został zbudowany jako prezent ślubny od hrabiego Fredrika Bonde Af Björnö do jego żony Anny Koskull. 17 lat później para zmarła, a zamek był używany jako hotel dla młodych dziewcząt i zakwaterowanie w ogóle. W 1964 miasto Växjö zakupiło go i otaczający go park od rodziny Bonde i jest dziś używany głównie do reprezentacji, wesel i konferencji. Obecnie zamek jest wykorzystywany przez Radę Miasta do celów reprezentacyjnych, a pobliski Uniwersytet korzysta również z niektórych części zamku.