E' un edificio della fine del 1200 inizi del 1300 ed è stato la sede del potere civile di Poggibonsi dopo la distruzione di Poggibonizzo nel 1270 e fino alla costruzione del nuovo Palazzo Comunale nel 1862. Al piano terreno originariamente era presente un loggiato aperto, del quale sono ancora visibili la grandi arcate, adibito alle adunanze pubbliche ed al mercato (prima foto in alto) mentre al piano primo era suddiviso in alcuni locali che comprendevano anche una sala per le adunanze.

Affiancato ad esso è posta la torre del Podestà, preesistente costruzione duecentesca, inglobata della quale sono ancora visibili le varie aperture originarie: Sulla sommità era presente un campanile a vela, dove era alloggiata una campana per dare i segnali al castello nelle varie occasioni: ore, calamità, guerre, assedi (utlima foto in basso). Nel 1895 fu aggiunta la merlatura, fu demolito il campanile a vela e la campana fu donata per il campanile di San Lucchese. Sulla torre era installato anche un orologio, commissionato dal Comune a Messer Guglielmo, teutonico maestro orologiaio, il 7 settembre 1500, che con la demolizione del campanile a vela fu trasferito sulla Torre del campanile della Collegiata e munito degli attuali quattro quadranti.
La costruzione molto probabilmente fu realizzata in due tempi distinti: il loggiato che costituisce il piano terreno ed il piano primo fino all' altezza del davanzale delle finestre è realizzato in pietre di travertino disposte a filaretto, mentre la rimanente parte del piano primo è realizzata in mattoni con alternati conci di travertino.

L' edificio nei secoli ha subito numerosi rimaneggiamenti, tanto che agli inizi del Novecento risultava completamente intonacato con tutte le finestre ad architrave a piattabanda e munite di persiane.Intorno agli anni Trenta fu eseguito un restauro che lo ha riportato all'aspetto originario come lo vediamo oggi. Nei vari secoli i podestà che vi sono succeduti hanno affisso sulla facciata i loro stemmi in pietra ancora ben visibili sopra le arcate del piano terreno. Dal Novembre 1997 l' edificio ospita il Museo di Paleontologia, con testimonianze di Archeologia e Scienze Naturali.