Najstarije naselje na tlu modernog grada Graza datira iz Kalkolitskog doba. Međutim, ne postoji istorijski kontinuitet naselja prije srednjeg vijeka. Tokom 12.vijeka vojvode pod Babenbergovom vlašću učinili su grad važnim komercijalnim centrom. Kasnije je Graz došao pod vlast Habsburgovaca, a 1281. godine stekao je posebne privilegije od kralja Rudolpha I.
U 14. stoljeću Graz je postao grad rezidencije unutrašnje austrijske linije Habsburgovaca. Kraljevske porodice su živjele u dvorcu Schloßberg i odatle su vladale Štajerskom, Koruškom, većinom današnjom Slovenijom i dijelovima Italije.
U 16. stoljeću dizajn i planiranje grada prvenstveno su kontrolirali italijanski renesansni arhitekti i umjetnici. Jedna od najpoznatijih zgrada izgrađenih u ovom stilu je Landhaus, koji je dizajnirao Domenico dell'allio, a koji su lokalni vladari koristili kao vladino sjedište.
Graz svjedoči uzornom modelu živog naslijeđa srednjoevropskog urbanog kompleksa pod utjecajem sekularnog prisustva Habsburgovaca i kulturno-umjetničke uloge koju igraju glavne aristokratske porodice. Oni su harmoničan spoj arhitektonskih stilova i umjetničkih pokreta koji su se nasljeđivali od srednjeg vijeka do 18.vijeka, u mnogim susjednim regijama srednje i mediteranske Evrope. Oni predstavljaju raznovrsnu i veoma sveobuhvatnu celinu arhitektonskih, dekorativnih i pejzažnih primera ovih petlji uticaja.
1999.godine Graz je dodan na UNESCO-ov popis Svjetske kulturne baštine, a lokaciju je 2010. godine proširio Schloss Eggenberg.
