I Carnesecchi alla fine del cinquecento costruirono un primo nucleo unitario accorpando insieme vari edifici preesistenti, risalenti al XII secolo, dei quali sono restati alcuni elementi costruttivi e decorativi sulle paresti esterne del palazzo. Sulla facciata sono visibili i profili di due torri, con i relativi archi di scarico, ora tamponati, e buche pontaie. Di un'altra torre, al centro della facciata, restano visibili le tracce con gli archi ribassati e i resti di un loggiato con quadrifore trilobate al primo piano.