Observatórium je jedným z najznámejších symbolov mesta a jeho histórie: veža pripomína v skutočnosti tyraniu Ezselina III da Romana v roku 1242 postavil hrad s dvoma vežami, z ktorých, ako hovoria kroniky, bolo miestom, kde tyran držal obmedzené a mučil svojich väzňov. Specola Ďalší páni z Padovy, Carrara, postavili v roku 1374 nový hrad-opevnenie na pozostatkoch starého ako obranný múr a krásna budova zdobená zvnútra aj zvonka. 21. Mája 1761 senát Benátskej republiky vydal dekrét, ktorým sa zriaďuje astronomické observatórium na univerzite v Padove, ktorý sa má používať aj ako tréningové miesto pre budúcich astronómov. Iba o štyri roky neskôr, v septembri 1765, zveril úlohu profesorovi astronómie, geografie a meteorov, opátovi Giuseppe Toaldoovi (1719-1797), navštívil hlavných talianskych pozorovateľov, aby sa opýtal na štruktúru budovy a na hlavné nástroje potrebné pre prácu astronóma. Po návrate z tohto prieskumu Toaldo po predstavení projektu v decembri toho istého roku priniesol z Vicenza architekta Don Domenico Cerato (1715-1792), priateľa a spolužiaka biskupského seminára v Padove a jedného z najskúsenejších architektov tej doby. Toaldo navrhol použiť vysokú vežu Castel Vecchio pre svoje veľké a pevné steny a pre svoju polohu v meste, ideálne pre astronomické pozorovanie. Najmä veža bola vhodná, pretože umožňovala vynikajúce pozorovanie smerom na juh alebo smerom k nebeskému poludníku, čo je rozhodujúci bod pre štúdium pohybu hviezd. A tak sa stalo, že po desiatich rokoch práce sa v roku 1777 veža stala astronomickým observatóriom alebo "astronomickou špekuláciou" podľa latinského slova. Zrkadlový ďalekohľad-ph Danesin Vnútorná časť veže bola zrekonštruovaná na použitie astronomických pozorovaní a bola rozdelená na dve časti: spodnú časť, 16 metrov od zeme na východnej stene, v ktorej bola postavená Zasadacia miestnosť Meridiana na pozorovanie nebeského poludníka a horná časť, 35 metrov od zeme v oblasti cimburie, kde bol vyrobený vysoká miestnosť s vysokými oknami, miestnosť postáv, aby videl oblohu zo všetkých uhlov rôznymi druhmi ďalekohľadov, tiež pomocou priľahlej terasy. Terasa bola tiež postavená nad slnečnými hodinami miestnosti pre štúdium meteorologia.La nuova specola, jedna z najkrajších v Európe osemnásteho storočia, navštívili slávne postavy, ako napríklad nemecký básnik a dramatik Johann Wolfgang Goethe, ktorý v roku 1786 vo svojom cestovnom denníku opísal nádhernú panorámu, ktorú mohol obdivovať z vrcholu hvezdárne.
