Vanim asula tänapäevase Grazi linna territooriumil pärineb Kalkoliitikumi ajastust. Enne keskaega pole asulal siiski ajaloolist järjepidevust. 12. sajandil tegid babenbergi võimu all olevad hertsogid linnast olulise kaubanduskeskuse. Hiljem läks Graz Habsburgide võimu alla ja sai aastal 1281 Kuningas Rudolf I-lt erilised privileegid.
14. sajandil sai Grazist Habsburgide Austria siseliini residentsilinn. Autoritasud elasid Schlo Pirinbergi lossis ja valitsesid sealt Steiermarki, Kärntenit, enamikku tänapäeva Sloveeniast ja osa Itaaliast.
16.sajandil kontrollisid linna kujundust ja planeerimist peamiselt Itaalia renessansi arhitektid ja kunstnikud. Üks kuulsamaid selles stiilis ehitatud hooneid on Landhaus, mille on kujundanud Domenico Dell ' Allio ja mida kohalikud valitsejad kasutavad valitsuse peakorterina.
Graz annab tunnistust Kesk-Euroopa linnakompleksi elava pärandi eeskujulikust mudelist, mida mõjutab Habsburgide ilmalik kohalolek ning peamiste aristokraatlike perekondade kultuuriline ja kunstiline roll. Need on harmooniline segu arhitektuuristiilidest ja kunstiliikumistest, mis on üksteisele järgnenud keskajast kuni 18.sajandini, paljudes Kesk-ja Vahemere-Euroopa naaberpiirkondades. Need kehastavad mitmekesist ja väga terviklikku arhitektuuri ansamblit, dekoratiivsed ja maastikulised näited nendest mõjutuste vahetustest.
1999.aastal lisati Graz UNESCO maailma kultuuripärandi nimekirja ja seda ala laiendas 2010. aastal Schloss Eggenberg.
