Edificato da maestro Riccardo nel 1239 come recita l'iscrizione vicino al portale d'ingresso, presenta la forma di un parallelopipedo. La facciata, percorsa da tre file di bifore tra i porta-fiaccole e i porta-stendardi tra i quali è inserita l'unità di misura del comune, la canna volterrana, è infiorata dagli stemmi inghirlandati robbiani dei magistrati fiorentini del XV-XVI sec.. Ai lati, i due pilastri sormontati dai due marzocchi sorreggenti lo scudo fiorentino furono aggiunti nel 1472, quando il palazzo divenne sede del capitano di giustizia, a simboleggiare il dominio fiorentino sulla città. Il palazzo è sormontato da una torre pentagonale che dopo il terremoto del 1846 ebbe l'attuale coronamento dall'architetto Mazzei, che operò altri interventi negli edifici prospicienti la piazza. All'interno, decorato dagli stemmi di capitani fiorentini, sono conservati una Crocifissione e Santi, affresco di Pier Francesco Fiorentino che dipinse anche l'altra Crocifissione nell'anticamera del sindaco, mentre la Vergine con il Bambino è attribuita a Raffaellino del Garbo. Nella sala del Maggior Consiglio, decorate con scritte e stemmi nel XIX sec., spicca l'affresco riportato su tela dell'Annunciazione fra Santi Cosma e Damiano e San Giusto e Ottaviano di Jacopo di Cione e Nicolò di Pietro Gerini. Nella parte destra tela lunettata raffigurante le Nozze di Cana di Donato Mascagni, XVI sec.. Nella sala attigua detta della Giunta: tavola raffigurante Persio Flacco di Cosimo Daddi, un affresco monocromo riportato su tela riproducente San Girolamo, due piccole tele raffiguranti Adorazione dei Magi di Giandomenico Ferretti (XVIII sec.) e Nascita della Vergine di Ignazio Hugford, una tela con il Giobbe di Donato Mascagni. Nella controparete: sinopia dell'affresco dell'Annunciazione esistente nella sala del Consiglio: intorno, postergali lignei finemente intarsiati del XV sec., provenienti dal Monte Pio.