Numele provine de la unul dintre satele mai mari de la sud de Växjö numit Telestad. Fermele sale au fost puse în anii 1840 sub ferma mare Tuvan de către proprietarul terenului J. Aspelin. În ciuda stilului său de vârstă mijlocie, Castelul Teleborg a fost construit în 1900 de firma arhitectului Lindvall & Boklund. Castelul a fost construit ca un cadou de nuntă de la contele Fredrik Bonde af Björnö soției sale Anna Koskull. 17 ani mai târziu, cuplul a murit, iar castelul a fost folosit ca hotel pentru fete tinere și pentru cazare în general. În 1964 orașul Växjö a cumpărat-o și parcul înconjurător de la familia Bonde și este astăzi folosit în principal pentru reprezentare, nunți și conferințe. Astăzi, castelul este folosit de Consiliul Local în scopuri de reprezentare, iar Universitatea din apropiere folosește și unele părți ale castelului.