Nimi pärineb ühest suuremast Växjöst lõuna pool asuvast külast nimega Telestad. Oma talud pani 1840. aastatel suurtalu Tuvan alla maaomanik J. Aspelin. Vaatamata oma keskealisele stiilile ehitati Teleborgi loss 1900. aastal arhitektibüroo Lindvall & Boklund poolt. Loss ehitati krahv Fredrik Bonde af björnö Pulmakingiks oma naisele Anna Koskullile. 17 aastat hiljem oli paar surnud ja lossi kasutati noorte tüdrukute hotellina ja majutamiseks üldiselt. 1964. aastal ostis Växjö linn selle ja seda ümbritseva pargi Bonde perekonnalt ning seda kasutatakse tänapäeval peamiselt esindamiseks, pulmadeks ja konverentsideks. Tänapäeval kasutab linnus linnavolikogu esinduslikel eesmärkidel ja lähedal asuv ülikool kasutab ka mõnda lossi osa.