השם מגיע מאחד הכפרים הגדולים יותר מדרום Växjö נקרא Telestad. החוות הונחו בשנת 1840 תחת החווה הגדולה טובאן על ידי בעל הקרקע ג ' יי אספלין. למרות סגנונו בגיל העמידה, טירת טלבורג נבנתה ב-1900 על ידי האדריכל לינדוול ובוקלונד (Lindvall & Boklund). הטירה נבנתה כמתנת חתונה מהרוזן פרדריק בונדה af Björnö לאשתו אנה Koskull. 17 שנים לאחר מכן בני הזוג מתו, והטירה שימשה כמלון לנערות צעירות ולינה באופן כללי. ב-1964 קנתה העיר את הפארק ואת הפארק הסמוך ממשפחת בונדה וכיום היא משמשת בעיקר לייצוג, חתונות וכנסים. כיום, הטירה משמשת את מועצת העיר למטרות ייצוגיות, והאוניברסיטה הסמוכה משתמשת גם בחלקים מסוימים של הטירה.