byens historiske kerne er vokset op omkring slottet inden for de mure, der blev stort set nedrevet i midten af det 19. århundrede, og hvoraf to porte med udsigt over Umbrien stadig er bevaret: Porta di Mezzo og Porta Monalda, hvorpå der er opsat våbenskjolde fra republikken Siena, Medici og Monaldeschi af Orvieto, som skiftevis kontrollerede Sarteano.Byens arkitektur er præget af prestigefyldte paladser som f.eks. paladset Fanelli, der ligger lige under slottet, fra det 14. århundrede. med den salige Franco da Grottis kapel og rigt freskomalerede lofter; palazzo Gabrielli, der huser museet i sine rum fra det 16. århundrede, men med en struktur fra det 13. århundrede, som det fremgår af "dødemandsdøren"; palazzo Piccolomini, der har en smuk klosterkirke, som blev bygget i slutningen af det 15. århundrede af kardinal Francesco Tedeschini Piccolomini - den senere pave Pius III - med søjler med joniske kapitæler dekoreret med halvmåner og familiens våbenskjold fra det 15. århundrede i facadens øverste venstre hjørne, og endelig Palazzo del Podestà på Piazza XXIV giugno, der blev bygget i det 14. århundrede, men udvidet i anden halvdel af det 16. århundrede, og som har bevaret sine oprindelige vinduer med to lys i to sprosser. I hjørnet af pladsen ligger Palazzo Goti-Fanelli, der engang var hjemsted for Accademia degli Arrischianti, som allerede eksisterede i det 13. århundrede og blev fuldstændig renoveret i 1536 med freskomalerier på væggene, en elegant indre gårdhave og et kapel med fresker af Apollonio Nasini.Kardinal Piccolomini lod også opføre facaden på San Francesco-kirken, hvilket fremgår af rosenvinduet med de pavelige insignier og Piccolominis våbenskjold (men bygningen, der vender ud mod Piazza Bargagli, stammer fra første halvdel af det 13. århundrede). Ved siden af kirken lå et kloster, som var Bargagli-familiens gård i det 19. århundrede og kortvarigt husede deres rige etruskiske samling, som nu befinder sig i Santa Maria della Scala i Siena. Inde i klosteret viser spor af murede vinduer de arkitektoniske rester af en struktur, der oprindeligt var meget raffineret. Et andet kloster ligger i den øvre del af byen, Santa Chiara fra det 16. århundrede, som i dag er restaurant og raffineret bolig. I San Martino-kirken, nær Porta Umbra, findes bebudelsen af Beccafumi, ved siden af en Madonna med barn af Jacopo di Mino del Pellicciaio, en af malerne af guldbaggrundene i Siena i det 14. århundrede, og en Madonna med barn, Sankt Rocco og Sankt Sebastian af Andrea di Niccolò. I kollegiekirken San Lorenzo, der også er blevet restaureret takket være pave Pius III, findes to centrerede paneler med Bebudelsen af Girolamo del Pacchia fra 1514 og et marmortabernakel og ciborium af Lorenzo di Mariano, kendt som Marrina. På Piazza San Lorenzo ligger også Palazzo Cennini med sin nøgterne, lineære facade fra det 15. århundrede og et kloster indenfor, hvor Fattoria di Martignano engang opbevarede sine landbrugsprodukter.
